站長之家(ChinaZ.com) 9月25日 消息:度小滿推出全新的金融行業(yè)大模型“軒轅70B”，標(biāo)志著金融大模型邁向新的高度。該模型在通用能力和專業(yè)金融領(lǐng)域表現(xiàn)出色，名列各項(xiàng)開源模型評(píng)測榜單前列，特別在中文任務(wù)評(píng)測和金融領(lǐng)域十大類權(quán)威考試方面提供專業(yè)支持。

“軒轅70B”是一個(gè)重要的金融對(duì)話大模型項(xiàng)目，旨在提供卓越的自然語言處理能力。該項(xiàng)目構(gòu)建在Llama2-70B模型的基礎(chǔ)上，經(jīng)過中文增強(qiáng)和大量通用與金融領(lǐng)域的預(yù)訓(xùn)練，形成了一系列強(qiáng)大的金融大模型。

項(xiàng)目地址:https://github.com/Duxiaoman-DI/XuanYuan

“軒轅70B”是首個(gè)擁有70B參數(shù)量級(jí)和上下文長度可達(dá)8k以上的開源大模型。它在預(yù)訓(xùn)練階段融入了大量的專業(yè)金融語料，旨在提高通用能力的同時(shí)顯著增強(qiáng)金融專業(yè)性能。模型訓(xùn)練采用了一系列加速優(yōu)化策略，具備出色的訓(xùn)練效率。

這一模型已經(jīng)在開源社區(qū)全面開放，包括模型權(quán)重和訓(xùn)練語料，為金融行業(yè)提供了一個(gè)高效的中文基座模型，用戶還可以根據(jù)需要進(jìn)行自定義的微調(diào)。這一創(chuàng)新將有助于金融領(lǐng)域的自然語言處理和信息抽取等任務(wù)，為行業(yè)發(fā)展帶來新的機(jī)遇。

核心功能:

1. 中文增強(qiáng):XuanYuan-70B基于Llama2-70B模型進(jìn)行了中文增強(qiáng)，通過大量通用與金融領(lǐng)域數(shù)據(jù)的預(yù)訓(xùn)練，擴(kuò)充了中文詞表，大幅提升了金融領(lǐng)域的理解能力。

2. 上下文長度擴(kuò)展:為滿足金融領(lǐng)域的長文本需求，XuanYuan-70B在預(yù)訓(xùn)練階段將上下文長度擴(kuò)展到了8k和16k，這是首個(gè)在70B參數(shù)級(jí)別上實(shí)現(xiàn)如此高上下文長度的開源大模型。

3. 通用能力:該模型在通用能力評(píng)測中表現(xiàn)出色，不僅在英文評(píng)測數(shù)據(jù)上表現(xiàn)優(yōu)秀，還在多種中文評(píng)測數(shù)據(jù)集上表現(xiàn)出眾，涵蓋了STEM、人文學(xué)科、社會(huì)科學(xué)等領(lǐng)域。

4. 金融領(lǐng)域應(yīng)用:XuanYuan-70B在金融領(lǐng)域評(píng)測中取得顯著的提升，這使得它成為處理金融領(lǐng)域文本的理想選擇。

5. 對(duì)話能力:XuanYuan-70B-Chat模型經(jīng)過通用和金融指令微調(diào)，具備出色的對(duì)話生成能力，可以用于生成金融領(lǐng)域的文本摘要以及回答各種問題。

（舉報(bào)）