4月25日至26日，東南大學鯤鵬昇騰科教創(chuàng)新孵化中心特訓營（首先期）在九龍湖校區(qū)成功舉辦。本次活動由東南大學鯤鵬昇騰科教創(chuàng)新孵化中心主辦，江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心、東南大學網(wǎng)絡與信息中心承辦，圍繞昇騰AI基礎軟硬件解決方案、大模型訓練與推理技術(shù)、DeepSeek架構(gòu)解析及邊緣部署等核心議題，通過課程培訓和實戰(zhàn)演練共2天的培訓營，為東南大學計算機及相關專業(yè)本碩博生提供了一個深度技術(shù)交流平臺?；顒又荚谕苿踊邛H鵬昇騰底座的人才生態(tài)建設，加速國產(chǎn)化AI技術(shù)在高?？蒲信c產(chǎn)業(yè)應用中的落地。
昇騰AI全棧技術(shù):軟硬協(xié)同賦能大模型落地
昇騰產(chǎn)品線專家楊越洋在首日課程中，系統(tǒng)性地介紹了針對大模型訓推場景的昇騰AI基礎軟硬件解決方案。他提出大模型從預訓練走向了預訓練+后訓練，推理部署從單機走向集群，創(chuàng)新迭代速度加快，其中昇騰AI軟硬件技術(shù)提供全場景技術(shù)支撐。硬件層面，昇騰Atlas全系服務器支持高帶寬點對點通信、液冷一體化設計與盲插運維，可覆蓋中心訓練、邊緣推理及大規(guī)模專家并行（EP）部署場景，同時異構(gòu)計算架構(gòu)CANN提供算子、通信等底層技術(shù);軟件層面， MindSpore框架、MindSpeed訓練加速庫、MindIE推理引擎及MindStudio全流程工具鏈，顯著提升模型開發(fā)效率。楊越洋強調(diào)，昇騰通過軟硬協(xié)同設計，已為企業(yè)級大模型訓練、微調(diào)及行業(yè)應用提供了高性能、高可用的技術(shù)底座。
（昇騰產(chǎn)品線專家楊越洋）
MindSpeed加速庫:突破大模型訓練瓶頸
MindSpeed研發(fā)專家劉哲續(xù)從算法、算力與數(shù)據(jù)三大維度剖析了大模型發(fā)展的趨勢與挑戰(zhàn)，并強調(diào)加速套件是算力需求激增下的重點研究課題。期間他介紹了業(yè)界加速套件的現(xiàn)狀并重點解析了MindSpeed的技術(shù)架構(gòu):底層依托昇騰NPU算力，通過通信優(yōu)化、內(nèi)存優(yōu)化（參數(shù)副本壓縮、激活重計算）、計算優(yōu)化(親和改寫，計算融合)、并行優(yōu)化(Swap、融合長序列、NoopLayer負載均衡)等技術(shù)，實現(xiàn)訓練效率躍升。最后介紹了MindSpeed LLM、MM、RL共三大套件。其中，LLM針對大語言模型，支持多預制模型并提供全流程工具;MM聚焦動模態(tài)模型，模塊化組件，主打高性能與模塊化;RL可支持強化學習部署，提供全流程強化學習能力。
（MindSpeed研發(fā)專家劉哲續(xù)）
國產(chǎn)化實踐:從模型對齊到多模態(tài)開發(fā)
昇騰計算工程師雷珍珍和程麟勝，分享了MindSpeed在大模型領域成果。雷珍珍介紹，MindSpeed基于昇騰生態(tài)打造分布式訓練框架，能對主流大模型有效訓練與微調(diào)。她還解析模型開發(fā)七大步驟，強調(diào)確保與開源框架訓練結(jié)果一致的關鍵要點，并分享性能優(yōu)化策略。程麟勝提到，MindSpeed MM是面向大規(guī)模分布式訓練的昇騰多模態(tài)大模型套件，同時支持多模態(tài)生成及多模態(tài)理解，旨在為昇騰芯片提供端到端的多模態(tài)訓練解決方案， 包含預置業(yè)界主流模型，數(shù)據(jù)工程，分布式訓練及加速，預訓練、微調(diào)、在線推理任務等特性。
MindSpeed MM具備統(tǒng)一架構(gòu)、任務流完備、支持靈活組裝二次開發(fā)、數(shù)據(jù)工程豐富、主流模型開箱即用、原生支持MindSpeed-Core加速算法等特點，可實現(xiàn)多模態(tài)訓練全流程加速。MM套件模型遷移開發(fā)鏈路完備，從模型前期摸底到最后性能調(diào)優(yōu)有序推進，實際模型遷移操作便捷，并預置相關易用工具輔助進行精度對齊和性能優(yōu)化。MindSpeed MM的成果有力推動國產(chǎn)AI生態(tài)及多模態(tài)大模型技術(shù)進步，為產(chǎn)業(yè)應用開拓新的可能性。
（昇騰計算工程師雷珍珍）
（昇騰計算工程師程麟勝）
推理技術(shù)縱深:MindIE引擎與DeepSeek架構(gòu)創(chuàng)新
昇騰生態(tài)技術(shù)專家焦?jié)申磐ㄟ^三場專題報告，全面解析基于MindIE的大模型推理和DeepSeek技術(shù)原理與架構(gòu)解析。專家介紹MindIE推理引擎的分層開放架構(gòu)，包括ATB加速框架（優(yōu)化Transformer并行策略與內(nèi)存管理）、LLM組件(降低部署門檻)及服務化支持(運維監(jiān)控工具)。在實戰(zhàn)環(huán)節(jié)，專家演示了從鏡像拉取、模型權(quán)重配置到服務化部署的全流程，并針對Int8量化精度、大模型蒸餾等熱點問題展開研討。
針對DeepSeek技術(shù)原理與架構(gòu)解析，專家逐一剖析了DeepSeek的核心創(chuàng)新技術(shù)，包括DualPipe雙向流水、MoE負載均衡、FP8混合精度訓練兼顧效率與精度等。他特別提到，DeepSeek的開源策略“重塑行業(yè)格局”，推動行業(yè)從“百模大戰(zhàn)”向集約化發(fā)展，其后續(xù)版本與迭代值得期待。
（昇騰生態(tài)技術(shù)專家焦?jié)申牛?/p>
部署實戰(zhàn):從云端到邊緣的模型落地
江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心高檔工程師韓升原現(xiàn)場演示了DeepSeek模型部署全流程，通過權(quán)重量化、多機網(wǎng)絡拓撲優(yōu)化及服務化配置，團隊在昇騰服務器上實現(xiàn)模型的有效推理。強調(diào)“部署需關注版本差異，強化學習對齊的模型更適配實際交互場景?！逼浞窒淼膱箦e排查經(jīng)驗與顯存計算公式，為學員提供了實用參考。
（江蘇鯤鵬·昇騰生態(tài)創(chuàng)新中心高檔工程師韓升原）
邊緣智能:香橙派開發(fā)板上的輕量化創(chuàng)新
昇思MindSpore布道師崔花婷帶領學員在昇騰開發(fā)板 OrangePi Alpro（20T）上完成Janus-Pro模型部署實戰(zhàn)。該開發(fā)板內(nèi)置昇騰AI處理器，結(jié)合MindSpore框架的動態(tài)圖調(diào)試與靜態(tài)圖優(yōu)化能力，支持CV/NLP/生成式領域典型模型及4B以下大模型的邊緣端推理。布道師詳解接口轉(zhuǎn)換(PyTorch至MindSpore)、網(wǎng)絡驗證及性能調(diào)優(yōu)步驟，并展示如何通過三行代碼調(diào)用JIT編譯，實現(xiàn)“訓推一體”的輕量化開發(fā)。學員們通過實操，切身體驗了在終端設備進行模型部署運行的全流程。
（MindSpore布道師崔花婷）
最后，特訓營為學員們舉辦了成果展示與結(jié)營儀式，為學員們頒發(fā)了結(jié)課證書。東南大學網(wǎng)絡與信息中心副主任胡軼寧總結(jié)道:“孵化中心將持續(xù)推進‘科研-教學-產(chǎn)業(yè)’閉環(huán)，培養(yǎng)具備鯤鵬昇騰原生開發(fā)能力的復合型人才?！睍N騰計算技術(shù)開發(fā)團隊負責人則鼓勵學員投身國產(chǎn)AI生態(tài)建設:“從算子開發(fā)到全棧優(yōu)化，每個環(huán)節(jié)都是技術(shù)攻堅的戰(zhàn)場?！?/p>
本次特訓營作為孵化中心在人才培養(yǎng)方面的重要實踐，將持續(xù)開展。該中心自2024年11月成立以來，圍繞大學計算產(chǎn)業(yè)前沿課題研究、課程體系建設、研究人才培養(yǎng)等開展合作。此次特訓營的成功舉辦，進一步推動了校企協(xié)同育人，為產(chǎn)業(yè)輸出高質(zhì)量鯤鵬昇騰原生人才，助力孵化原生科研創(chuàng)新成果。未來，中心將繼續(xù)開展相關活動，推動人工智能技術(shù)進步與產(chǎn)業(yè)發(fā)展。
（推廣）