11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買(mǎi)1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享。快來(lái)騰訊云選購(gòu)吧!
近日,摩爾線程上線了大語(yǔ)言模型高速推理框架開(kāi)源項(xiàng)目vLLM的MUSA移植版本,為開(kāi)發(fā)者提供基于摩爾線程全功能GPU進(jìn)行開(kāi)源項(xiàng)目MUSA移植的范例。摩爾線程表示,正努力圍繞自主研發(fā)的統(tǒng)一系統(tǒng)架構(gòu)GPU、MUSA軟件平臺(tái),構(gòu)建完善好用的MUSA應(yīng)用生態(tài)。摩爾線程通過(guò)MUSA軟件棧對(duì)CUDA軟件棧接口兼容,大幅提升了應(yīng)用移植的效率,縮短了開(kāi)發(fā)周期提供MUSIFY自動(dòng)代碼移植工具等一系列實(shí)用工具和腳本。
魔搭社區(qū)與vLLM和FastChat展開(kāi)合作,聯(lián)合為中國(guó)開(kāi)發(fā)者提供更快更高效的LLM推理和部署服務(wù)。開(kāi)發(fā)者可以使用vLLM作為FastChat中的推理引擎,提供高吞吐量的模型推理。還可以結(jié)合FastChat和vLLM搭建一個(gè)網(wǎng)頁(yè)Demo或者類(lèi)OpenAIAPI服務(wù)器。
大語(yǔ)言模型在改變?nèi)藗兊纳詈吐殬I(yè)方面影響越來(lái)越大,因?yàn)樗鼈儗?shí)現(xiàn)了編程助手和通用聊天機(jī)器人等新應(yīng)用。這些應(yīng)用的運(yùn)行需要大量硬件加速器如GPU,操作成本非常高。更大的模型、更復(fù)雜的解碼算法和更長(zhǎng)的序列會(huì)導(dǎo)致更明顯的改進(jìn)。