近日，中國聯(lián)通持續(xù)技術(shù)攻堅(jiān)，依托元景大模型MaaS平臺(tái)成功搭建“大規(guī)模專家并行” 推理集群，實(shí)現(xiàn)DeepSeek MoE 大模型在多節(jié)點(diǎn)間的超有效集群推理，單卡吞吐提升 3 倍，解碼時(shí)延降低 50%。這一成果不僅為人工智能技術(shù)的創(chuàng)新發(fā)展提供了強(qiáng)大助力，也讓各行業(yè)以更有效率應(yīng)用 AI 技術(shù)，加速推動(dòng)千行百業(yè)的數(shù)字化轉(zhuǎn)型。
伴隨大模型MoE結(jié)構(gòu)重大技術(shù)革新，以往少量“全能型”專家的模式逐漸被取代，大量“?？菩汀毙＜抑饾u成為主流。這一轉(zhuǎn)變，極大地提升了模型的針對(duì)性和精細(xì)化程度，使得模型效果顯著改善。
推理應(yīng)用在各行業(yè)的落地隨之全面加速，市場(chǎng)對(duì)于推理服務(wù)的需求呈井噴式增長，Tokens 處理量的需求與日俱增，這對(duì)推理系統(tǒng)的性能提出了更高的要求。為應(yīng)對(duì)這一挑戰(zhàn)，大規(guī)模專家并行推理技術(shù)應(yīng)運(yùn)而生，為大模型推理的加速規(guī)模應(yīng)用提供了強(qiáng)大的技術(shù)支撐。
聯(lián)通元景大模型與昇騰深度合作，圍繞大規(guī)模專家并行推理技術(shù)展開全方位創(chuàng)新，將 DeepSeek 671B滿血版大模型的數(shù)百個(gè)“?？菩汀?小專家按特出方式分布到不同的NPU上，使得單卡權(quán)重占用顯存降低 75%，權(quán)重加載耗時(shí)大幅減少，可用于數(shù)據(jù)計(jì)算的顯存顯著增加。
在通信環(huán)節(jié)，雙方對(duì)集群跨機(jī)通信方案進(jìn)行深度優(yōu)化，通過引入先進(jìn)計(jì)算與通信并行算法，整體通信效率提升40%。此外，雙方聯(lián)合創(chuàng)新多級(jí)負(fù)載均衡算法，準(zhǔn)確識(shí)別并均衡各NPU 的負(fù)載，將卡間負(fù)載差異成功控制在 10% 以下，有效提升系統(tǒng)吞吐和計(jì)算資源利用率。
聯(lián)通元景大模型MaaS平臺(tái)結(jié)合大規(guī)模專家并行推理集群系統(tǒng)，基于DeepSeek 671B 滿血版大模型持續(xù)進(jìn)行針對(duì)性推理優(yōu)化創(chuàng)新，打造高可靠、高性能、易運(yùn)維推理服務(wù)。
圍繞高可靠
依托實(shí)例內(nèi)和實(shí)例間的多級(jí)容災(zāi)機(jī)制，保障業(yè)務(wù)連續(xù)性，提供長穩(wěn)推理服務(wù)。圍繞高性能，進(jìn)行高并發(fā)請(qǐng)求調(diào)度、管理、轉(zhuǎn)發(fā)等，打造整個(gè)集群的有效數(shù)據(jù)請(qǐng)求管理入口。
圍繞易運(yùn)維
進(jìn)行集群內(nèi)推理業(yè)務(wù)狀態(tài)監(jiān)控、以及PD身份和資源管理與決策等，打造整個(gè)推理集群的狀態(tài)監(jiān)控器和決策大腦，持續(xù)提升大規(guī)模專家并行推理集群易用性。
在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的浪潮中，中國聯(lián)通始終勇立潮頭，全面發(fā)力人工智能。從精心搭建智算基礎(chǔ)設(shè)施，構(gòu)建強(qiáng)大算力“引擎”，到成功落地大規(guī)模專家并行推理集群，打造高性能低時(shí)延推理“中樞”，聯(lián)通元景大模型持續(xù)筑牢國產(chǎn)化智算底座，以技術(shù)需求雙輪驅(qū)動(dòng)，打造“普惠速成”的元景MaaS平臺(tái)，讓人工智能更簡單，為 AI 產(chǎn)業(yè)發(fā)展注入強(qiáng)勁的“加速度”。
這一推理創(chuàng)新舉措必將助力各行業(yè)在復(fù)雜多變、競(jìng)爭激烈的市場(chǎng)環(huán)境中搶占先機(jī)，以智能化驅(qū)動(dòng)數(shù)字化轉(zhuǎn)型，進(jìn)而推動(dòng)實(shí)體經(jīng)濟(jì)高質(zhì)量發(fā)展。
（推廣）