夕小瑤科技說 分享
Lucy，是距今 320 萬年最早的人類祖先，也是被輸入某種“物質(zhì)”后大腦開發(fā)到高的超智能人類，能感知宇宙萬物，擁有人類所有知識(shí)。如果大模型是Lucy，那么LucyEval即是助力其更智能的奇妙”物質(zhì)“。
隨著大語言模型不斷調(diào)優(yōu)，大模型擁有了更優(yōu)越的理解人類話語、指令并且生成類似人類語言文本的能力。機(jī)器和人類終歸不同，如何最快速地判斷機(jī)器是否能正確理解人類的知識(shí)和語言，成為我們共同關(guān)注的問題。
由此，甲骨易AI研究院推出了中文大語言模型成熟度評(píng)測(cè)——LucyEval，能夠通過對(duì)模型各方面能力的客觀測(cè)試，找到模型的不足，幫助設(shè)計(jì)者和工程師更加準(zhǔn)確地調(diào)整、訓(xùn)練模型，助力大模型不斷邁向更智能的未來。
Lucy的每一個(gè)字母背后都代表了不同的意義，包含著甲骨易AI研究院設(shè)計(jì)LucyEval時(shí)所考量的維度和堅(jiān)持的理念。
L - Linguistic Fundamentals: 基礎(chǔ)理解能力
U - Utilization of Knowledge: 知識(shí)運(yùn)用能力
C - Cognitive Reasoning: 推理能力
Y - Yield of Specialized Outputs: 特殊生成能力
"Lucy" 包含以下含義：
Linguistic Fundamentals (基礎(chǔ)理解能力) ：描述模型對(duì)基礎(chǔ)語法、詞匯和句子結(jié)構(gòu)的理解程度。
Utilization of Knowledge (知識(shí)運(yùn)用能力)：衡量模型在回答問題或生成文本時(shí)如何運(yùn)用其內(nèi)嵌的知識(shí)。
Cognitive Reasoning (推理能力)：評(píng)價(jià)模型是否能從給定的信息中進(jìn)行邏輯推斷或解決復(fù)雜問題。
Yield of Specialized Outputs (特殊生成能力）：測(cè)試模型在生成特定類型或風(fēng)格的文本（例如詩歌、代碼或?qū)I(yè)文章）時(shí)的效能。
目前，LucyEval已發(fā)布如下兩項(xiàng)測(cè)試集。
大規(guī)模多任務(wù)中文理解能力測(cè)試?Massive Multitask Chinese Understanding
2023 年 4 月 25 日，針對(duì)中文大模型理解能力測(cè)試缺失且推出高質(zhì)量中文評(píng)測(cè)數(shù)據(jù)集迫在眉睫這一現(xiàn)狀，甲骨易AI研究院率先發(fā)布（首 發(fā)）了一套大規(guī)模多任務(wù)中文大模型理解能力測(cè)試。
測(cè)試所包含的題目來自醫(yī)療、法律、心理學(xué)和教育四個(gè)科目的 11900 個(gè)問題，包含單項(xiàng)選擇和多項(xiàng)選擇題，目的旨在使測(cè)試過程中模型更接近人類考試的方式，覆蓋學(xué)科面廣，專業(yè)知識(shí)難度高，適合用來評(píng)估大模型的綜合理解能力。
中文大模型多學(xué)科生成能力自動(dòng)化評(píng)測(cè)基準(zhǔn)?Chinese Generation Evaluation
目前領(lǐng)域內(nèi)的評(píng)測(cè)大多都只針對(duì)模型的中文理解能力，通過選擇題由模型直接生成答案，或者提取模型對(duì)各個(gè)答案選項(xiàng)的輸出概率。從評(píng)測(cè)大模型的生成能力的角度，這些評(píng)測(cè)基準(zhǔn)就存在很大的局限性。
在率先發(fā)布國內(nèi)首 個(gè)中文大模型理解能力測(cè)試后，甲骨易AI研究院于 8 月 9 日正式發(fā)布一套自動(dòng)測(cè)評(píng)中文大模型多學(xué)科生成能力的評(píng)測(cè)基準(zhǔn)。
基準(zhǔn)包含 11000 道題目，涵蓋科技工程、人文與社會(huì)科學(xué)、數(shù)學(xué)計(jì)算、醫(yī)師資格考試、司法考試、注冊(cè)會(huì)計(jì)師考試等科目下的 55 個(gè)子科目。題型分為名詞解釋、簡(jiǎn)答題和計(jì)算題三種類型。同時(shí)，甲骨易AI研究院還設(shè)計(jì)了一套復(fù)合打分方式Gscore，使評(píng)分過程更加合理、科學(xué)。
甲骨易AI研究院使用本評(píng)測(cè)基準(zhǔn)對(duì)以下模型進(jìn)行了zero-shot測(cè)試，包括GPT-4、ChatGLM-Std、訊飛星火Spark Desk、文心一言ERNIE Bot等。
本次受測(cè)中文大語言模型
從所有模型在六大類科目的平均分來看，GPT- 4 取得最 高分41.12，比最 低分32. 28 高出8. 84 分。
本次受測(cè)中文大語言模型平均得分
未來，甲骨易AI研究院將矢志不移地為提升中文大語言模型能力為目標(biāo)，持續(xù)研究適應(yīng)其發(fā)展的測(cè)試集，期待與同樣關(guān)注大語言模型發(fā)展的業(yè)界同仁攜手共建。
（推廣）