站長之家(ChinaZ.com)5月23日 消息:Dolphin2.9.1Mixtral1x22b是由Cognitive Computations團隊創(chuàng)建的一個多功能文本生成模型。
這個模型具備以下特點:
多功能文本生成:它能夠處理指令、對話和編碼任務,具有廣泛的應用能力。
高性能:模型基于Dolphin-2.9-Mixtral-8x22b,擁有64k上下文的基礎(chǔ)模型,經(jīng)過全權(quán)重微調(diào),使用16k序列長度,在8xH100GPU上耗時27小時完成。
SLERP提取技術(shù):通過SLERP提取方法組合所有8個專家,而不完全轉(zhuǎn)換為密集模型,保持原始模型的性能。
初步代理能力:模型支持函數(shù)調(diào)用,具備初步的代理能力,能夠處理更復雜的任務。
不受限制的模型:數(shù)據(jù)集經(jīng)過過濾以去除對齊和偏見,模型設(shè)計為不受限制,具有高度符合性。這意味著在生成文本時,沒有嚴格的限制或過濾機制,模型可能會遵循不道德的請求并生成相應的內(nèi)容。
模型的設(shè)計理念是提供一個沒有審查和道德限制的文本生成工具,但這種開放性也帶來了一定的風險,特別是當用戶提出不道德的請求時,模型可能會遵循這些請求。
模型地址:https://huggingface.co/cognitivecomputations/dolphin-2.9.1-mixtral-1x22b
(舉報)