文章要點:

• BLOOMZ是擁有1760億參數(shù)的大規(guī)模語言模型，在Habana Gaudi?2硬件上進行推理時延僅3.7秒。

• Habana Gaudi?2具有強大的計算能力和內(nèi)存容量，可支持大模型的訓(xùn)練和推理。

• 利用DeepSpeed的模型并行技術(shù)，可以在多臺Gaudi?2設(shè)備上分布一個極大規(guī)模的模型進行推理。

站長之家（ChinaZ.com）8月25日 消息:最近，Anthropic公司開源了語言理解模型BLOOMZ，它擁有高達1760億個參數(shù)，是目前公開的參數(shù)量最大的語言模型之一。以這種規(guī)模的模型進行推理，對硬件的算力和內(nèi)存提出了極高的要求。

論文地址:https://arxiv.org/abs/2211.05100

Habana Labs推出的第二代AI芯片Gaudi?2在此方面具有獨特優(yōu)勢。單塊Gaudi?2芯片就具有96GB內(nèi)存，8塊芯片可以組成一個服務(wù)器，提供768GB的總內(nèi)存。Habana自主研發(fā)的SynapseAI軟件棧可以將模型有效分配到多塊芯片上，實現(xiàn)模型并行。

Hugging Face的工程師使用Gaudi?2對BLOOMZ模型進行了測試。結(jié)果顯示，在8塊芯片上以16位浮點精度進行推理，延遲只有3.7秒，達到了接近實時的速度。相比之下，在第一代Gaudi芯片上推理需時20秒。Habana團隊表示，通過持續(xù)優(yōu)化，有望進一步提升BLOOMZ的推理性能。

Gaudi?2芯片強大的算力和巨大的內(nèi)存，配合Habana自主研發(fā)的SynapseAI軟件棧，可以輕松支持千億級參數(shù)的語言模型進行實時推理。這為大模型的實際應(yīng)用帶來了新的可能性。未來Habana計劃支持更低精度的推理，以進一步提升性能并降低功耗。

（舉報）