只需給大模型“加點小零件”,推理速度立刻提升2倍!不需要額外訓(xùn)練一個模型,也不需要對計算硬件做優(yōu)化,單張A100最快幾小時就能微調(diào)完成。這項新研究名叫Medusa(美杜莎),來自普林斯頓、UIUC、CMU和康涅狄格大學(xué),F(xiàn)lashAttention作者Tri Dao也在其中。目前,它已經(jīng)成功部署到伯
......
本文由站長之家合作伙伴自媒體作者“量子位公眾號”授權(quán)發(fā)布于站長之家平臺,本平臺僅提供信息索引服務(wù)。由于內(nèi)容發(fā)布時間超過平臺更新維護(hù)時間,為了保證文章信息的及時性,內(nèi)容觀點的準(zhǔn)確性,平臺將不提供完全的內(nèi)容展現(xiàn),本頁面內(nèi)容僅為平臺搜索索引使用。需閱讀完整內(nèi)容的用戶,請查看原文,獲取內(nèi)容詳情。
(舉報)