站長之家(ChinaZ.com) 8月31日 消息:近日，嘉楠科技（Canaan）發(fā)布了參數(shù)量為70億的通用大語言模型 Toucan-7B 及 INT4量化版本 Toucan-7B-4bit。

Toucan-7B 能夠?qū)崿F(xiàn)文案寫作、代碼解析、信息抽取等多種自然語言處理任務(wù)，并在測試中表現(xiàn)優(yōu)于 ChatGLM-6B。Toucan-7B-4bit 使用了最新的 INT4量化技術(shù)，顯存占用量更低，與 Toucan-7B-fp16模型相比，具有較好的推理效果。

據(jù)悉，Toucan 是一個(gè)基于 Meta LLaMa 架構(gòu)的開源中文對話語言模型。它具有70億參數(shù)，并結(jié)合了模型量化和稀疏技術(shù)，可以在端側(cè)進(jìn)行推理。Toucan-7B 的效果略好于 ChatGLM-6B，而經(jīng)過4bit 量化后的模型與 ChatGLM-6B 的效果相當(dāng)。

項(xiàng)目地址：https://github.com/kendryte/Toucan-LLM

（舉報(bào)）