文章概要:

- SambaNova發(fā)布了一款智能AI芯片SN40L，可運行高達5萬億參數的模型，實現快速可擴展的推理和訓練，而不損害模型準確性。

- 這款由TSMC制造的SN40L芯片可以在單個系統節(jié)點上為5萬億參數模型提供256k+的序列長度，這是通過整合技術的新突破，大大提高了模型質量、推理速度，并降低了總擁有成本。

- SambaNova的全棧大語言模型（LLM）平臺將由SN40L芯片提供動力，該平臺可解決企業(yè)在部署生成式人工智能時面臨的挑戰(zhàn)，包括訓練和推理成本、序列長度限制以及LLM速度。

站長之家(ChinaZ.com) 9月26日 消息:9月26日，位于加利福尼亞帕洛阿爾托的SambaNova Systems公司宣布推出一款革命性的新芯片，名為SN40L。這款芯片將為SambaNova的全棧大語言模型（LLM）平臺SambaNova Suite提供動力，并具有革命性的內部設計:在內部，它提供了密集和稀疏計算，同時包括大內存和快速內存，使其成為一款真正的“智能芯片”。

圖源備注：圖片由AI生成，圖片授權服務商Midjourney

SambaNova的SN40L芯片由TSMC制造，可以為5萬億參數模型提供256k+的序列長度，這在單個系統節(jié)點上實現，這是通過整合技術的新突破，大大提高了模型質量，同時實現更快的推理和訓練速度，降低了總擁有成本。

SambaNova Systems的聯合創(chuàng)始人兼CEO Rodrigo Liang表示:“今天，SambaNova提供了唯一的全棧LLM平臺——SambaNova Suite，現在還有一款智能AI芯片;這對全球2000家企業(yè)來說是一個改變游戲規(guī)則的產品?！彼€表示:“我們現在能夠在一個芯片中提供這兩種能力——更多內存的能力，以及最智能的計算核心——使組織能夠充分利用廣泛應用人工智能的承諾，擁有自己的LLM，可以媲美GPT-4及更高級別的模型。”

這款新芯片只是SambaNova全棧LLM平臺的一部分，該平臺解決了企業(yè)在部署生成式人工智能時面臨的最大挑戰(zhàn):“我們已經開始看到對較小模型的需求增加，但更大的模型仍然更好，更大的模型將開始變得更加模塊化，”SambaNova Systems的聯合創(chuàng)始人Kunle Olukotun表示，“客戶要求擁有像GPT-4這樣的千億參數模型的LLM，但他們也希望擁有根據他們的數據進行優(yōu)化的模型。通過新的SN40L芯片，我們迄今為止最先進的AI芯片，集成到全棧LLM平臺中，我們?yōu)榭蛻籼峁┝诉\行最大LLM模型的關鍵，具有更高的訓練和推理性能，而不損害模型準確性。”

SN40L芯片的獨特之處在于它可以同時處理高帶寬內存（HBM）和動態(tài)隨機存取內存(DRAM)，使人工智能算法能夠選擇最適合當前任務的內存，從而直接訪問遠比以前更多的內存。此外，通過使用SambaNova的可重構數據單元(RDU)架構，芯片設計以更智能的計算方式高效運行稀疏模型。

SambaNova Suite中的新模型和功能包括Llama2變種（7B、70B），使客戶能夠自適應、擴展并運行最佳的LLM模型，同時保留這些模型的所有權。此外，還有BLOOM176B，這是開源社區(qū)中最準確的多語言基礎模型，使客戶能夠通過各種語言解決更多問題，同時還可以擴展模型以支持新的低資源語言。

SambaNova 還包括一個用于基于向量的檢索增強生成的新嵌入模型，使客戶能夠將其文檔嵌入到向量嵌入中，在問答過程中檢索這些嵌入，而不會導致幻覺。LLM然后將結果用于分析、提取或總結信息。此外，還有世界領先的自動語音識別模型，用于轉錄和分析語音數據，以及其他多模態(tài)和長序列長度功能。此外，還提供了推理優(yōu)化系統，配備了3層數據流內存，以實現高帶寬和高容量。

（舉報）