站長(zhǎng)之家(ChinaZ.com) 5月8日 消息:魔搭ModelScope社區(qū)宣布，DeepSeek-V2系列模型現(xiàn)已在魔搭ModelScope社區(qū)開源。
據(jù)悉，幻方公司在5月6日推出了第二代 MoE 模型 DeepSeek-V2，并開源了技術(shù)報(bào)告和模型權(quán)重，該模型引入了 MLA 架構(gòu)和自研 Sparse 結(jié)構(gòu) DeepSeekMoE，以236B 總參數(shù)、21B 激活，實(shí)際部署在8卡 H800機(jī)器上，輸入吞吐量超過每秒10萬 tokens 輸出超過每秒5萬 tokens。
性能方面，在目前大模型主流榜單中，DeepSeek-V2均表現(xiàn)出色:
中文綜合能力（AlignBench）開源模型中最強(qiáng)，與GPT-4-Turbo，文心4.0等閉源模型在評(píng)測(cè)中處于同一梯隊(duì)
英文綜合能力（MT-Bench）與最強(qiáng)的開源模型LLaMA3-70B同處第一梯隊(duì)，超過最強(qiáng)MoE開源模型Mixtral8x22B
知識(shí)、數(shù)學(xué)、推理、編程等榜單結(jié)果也位居前列
支持128K上下文窗口
和DeepSeek67B相比，DeepSeek-V2節(jié)約了42.5%訓(xùn)練成本，推理的KV Cache節(jié)約了93.3%，最大吞吐是之前的576%。
DeepSeek-V2的推理代碼和模型下載鏈接已經(jīng)在魔搭 ModelScope 社區(qū)開源，用戶可以通過該平臺(tái)直接下載模型。
項(xiàng)目地址：
DeepSeek-V2-Chat:
https://modelscope.cn/models/deepseek-ai/DeepSeek-V2-Chat
DeepSeek-V2:
https://modelscope.cn/models/deepseek-ai/DeepSeek-V2
（舉報(bào)）