10 月 25 日，汽車行業(yè)AI產(chǎn)品和業(yè)務(wù)解決方案提供商易慧智能發(fā)布了汽車行業(yè)頭個(gè)大模型評(píng)測(cè)集。此次評(píng)測(cè)旨在全面評(píng)估市面上主流大模型在汽車行業(yè)中的實(shí)際應(yīng)用效果，特別關(guān)注于汽車營(yíng)銷場(chǎng)景的應(yīng)用評(píng)估。在此基礎(chǔ)上，易慧智能重磅推出創(chuàng)新的模型路由技術(shù)方案——基于多模型的YiAgent群體智能技術(shù)框架。

此技術(shù)框架不僅融合了大模型路由技術(shù)，還巧妙地將大模型庫(kù)、汽車行業(yè)大模型評(píng)測(cè)集以及YiAgent群體智能平臺(tái)這三個(gè)子系統(tǒng)整合為一個(gè)有機(jī)整體。在這個(gè)創(chuàng)新的技術(shù)框架中，大模型路由依據(jù)汽車大模型評(píng)測(cè)的效果，為YiAgent群體智能平臺(tái)中的每個(gè)Agent所負(fù)責(zé)的技能挑選出效果理想的模型，從而實(shí)現(xiàn)技能的特出化配置和效用比較大化。技術(shù)框架為企業(yè)客戶提供以多個(gè)大模型驅(qū)動(dòng)的群體智能協(xié)同工作平臺(tái)，全力支持企業(yè)客戶實(shí)現(xiàn)智能化轉(zhuǎn)型。

應(yīng)對(duì)復(fù)雜場(chǎng)景需求多模型成為主流

鑒于當(dāng)下大模型使用場(chǎng)景的多樣性、任務(wù)復(fù)雜度的提升，以及垂直行業(yè)專業(yè)需求的特殊性，當(dāng)前無論是通用大模型還是垂直大模型，均展現(xiàn)出各自的局限性和不足。以內(nèi)容創(chuàng)作為例，此領(lǐng)域涵蓋了寫作、翻譯、知識(shí)問答、代碼輔助、邏輯推理等多個(gè)維度，對(duì)于不同任務(wù)，各大模型表現(xiàn)差異較大，沒有一家大模型可在所有任務(wù)上均達(dá)到特出。這一現(xiàn)狀也為混合大模型的興起提供了契機(jī)。

混合大模型旨在將市場(chǎng)中的主流大模型進(jìn)行有機(jī)融合，針對(duì)特定任務(wù)需求，準(zhǔn)確調(diào)用表現(xiàn)特出的模型，以實(shí)現(xiàn)準(zhǔn)確解決特定問題的目標(biāo)。通過“專業(yè)分工，協(xié)同合作”的理念，混合大模型致力于比較大化各項(xiàng)任務(wù)的處理效能。近期， 360 公司推出的AI助手便是一個(gè)典型例證，該助手集成了國(guó)內(nèi) 15 家先進(jìn)大模型，構(gòu)建了CoE專家網(wǎng)絡(luò)模型，通過規(guī)?；馁Y源整合，集中各模型之優(yōu)勢(shì)，最終實(shí)現(xiàn)了更為卓越的性能與效率提升。

在汽車行業(yè)的營(yíng)銷領(lǐng)域，其核心能力與任務(wù)包含行業(yè)知識(shí)的深度掌握、內(nèi)容創(chuàng)作的準(zhǔn)確定位、有效對(duì)話能力的展現(xiàn)、數(shù)據(jù)分析的精細(xì)處理以及智能體支持的全面覆蓋等多個(gè)維度。這些綜合且復(fù)雜的需求，對(duì)大模型的能力提出了很高的挑戰(zhàn)，也使得當(dāng)前市場(chǎng)上的單一模型在應(yīng)對(duì)此類復(fù)雜場(chǎng)景與任務(wù)時(shí)顯得力不從心。而混合大模型方案的提出，則為解決這一系列難題提供了最為優(yōu)化和可行的思路。

汽車營(yíng)銷領(lǐng)域頭個(gè)垂直行業(yè)大模型評(píng)測(cè)集

據(jù)悉，易慧智能作為聚焦汽車行業(yè)的AI產(chǎn)品和業(yè)務(wù)解決方案提供商，擁有海量的用戶行為數(shù)據(jù)和車型數(shù)據(jù)，在汽車行業(yè)數(shù)字營(yíng)銷、數(shù)字化轉(zhuǎn)型方面擁有企業(yè)級(jí)的深刻理解和豐富的應(yīng)用場(chǎng)景。易慧智能此次重磅發(fā)布汽車行業(yè)大模型評(píng)測(cè)集，并同步推出模型路由技術(shù)方案——基于多模型的YiAgent群體智能技術(shù)框架，這一舉措深刻體現(xiàn)了其在技術(shù)創(chuàng)新領(lǐng)域的領(lǐng)導(dǎo)地位，同時(shí)也是其堅(jiān)定踐行以客戶為中心發(fā)展理念的重要里程碑。

作為汽車營(yíng)銷領(lǐng)域頭個(gè)大模型評(píng)測(cè)集，易慧智能選擇了國(guó)內(nèi)外具有代表性的 8 個(gè)閉源/開源的模型以及自研大模型共 9 個(gè)模型。針對(duì)汽車營(yíng)銷領(lǐng)域行業(yè)知識(shí)、內(nèi)容創(chuàng)作、對(duì)話能力、數(shù)據(jù)分析、智能體支持等 5 大核心能力和超過 20 個(gè)子任務(wù)能力進(jìn)行嚴(yán)格評(píng)測(cè)，并對(duì)每個(gè)評(píng)測(cè)類別制定獨(dú)特的評(píng)測(cè)標(biāo)準(zhǔn)和方法，原創(chuàng)評(píng)測(cè)題目超過 1000 道。

在評(píng)測(cè)過程中，易慧智能重點(diǎn)關(guān)注大模型在汽車營(yíng)銷關(guān)鍵領(lǐng)域的表現(xiàn)。首先，就行業(yè)知識(shí)而言，評(píng)估大模型對(duì)汽車行業(yè)基礎(chǔ)知識(shí)的掌握深度，以及其在看車、選車、購(gòu)車、使用等全流程中展現(xiàn)出的專業(yè)知識(shí)理解和應(yīng)用能力。

其次，在內(nèi)容創(chuàng)作方面，考察大模型汽車領(lǐng)域內(nèi)容生成能力，特別是其在撰寫汽車種草圖文、汽車短視頻文案等方面的表現(xiàn)。特別關(guān)注大模型在營(yíng)銷內(nèi)容創(chuàng)作上的多樣性、準(zhǔn)確性，以及其對(duì)字?jǐn)?shù)、人設(shè)、場(chǎng)景等維度要求的指令遵循能力。

此外，在對(duì)話能力方面，測(cè)試大模型與用戶進(jìn)行自然語言交流的能力，包括但不限于語義理解、情緒識(shí)別、實(shí)體識(shí)別、對(duì)話推理等對(duì)話場(chǎng)景中的核心能力。

同時(shí)，數(shù)據(jù)分析也是評(píng)測(cè)的重要環(huán)節(jié)。易慧智能將考察大模型在處理和分析汽車行業(yè)相關(guān)數(shù)據(jù)方面的能力，如銷售數(shù)據(jù)、用戶行為數(shù)據(jù)等，并評(píng)估其在營(yíng)銷決策支持中的應(yīng)用效果。具體的能力維度包括text2sql、指標(biāo)計(jì)算、圖表推薦以及報(bào)告撰寫等。

最后，在智能體支持方面，易慧智能將評(píng)估大模型在支持智能體進(jìn)行任務(wù)規(guī)劃、流程推理、工具檢索、參數(shù)理解以及工具使用等方面的能力，特別是在營(yíng)銷自動(dòng)化和個(gè)性化推薦中的實(shí)際應(yīng)用效果。

經(jīng)過此次嚴(yán)格評(píng)測(cè)，結(jié)果顯示無一模型能在所有能力上均排名靠前。其中，在汽車知識(shí)與對(duì)話能力方面，自主研發(fā)的大模型以82. 17 與80. 62 的高分脫穎而出。值得注意的是，盡管GPT-4o仍保持其領(lǐng)先地位，但國(guó)內(nèi)大模型正迅速追趕，差距正在逐步縮小。

此次評(píng)測(cè)結(jié)果還反映出通用大模型在應(yīng)對(duì)具有行業(yè)特性的任務(wù)時(shí)顯現(xiàn)出明顯的局限性。無論其源自國(guó)內(nèi)還是國(guó)外，相較于專為汽車領(lǐng)域定制的自研大模型，在汽車領(lǐng)域知識(shí)掌握及對(duì)話交互能力的核心指標(biāo)上，得分普遍較低。這一發(fā)現(xiàn)也揭示出當(dāng)前通用大模型在處理行業(yè)專屬任務(wù)時(shí)遭遇的瓶頸，尤其是在需要深度專業(yè)知識(shí)與準(zhǔn)確上下文解析的場(chǎng)景中更為凸顯。相比之下，行業(yè)大模型由于擁有針對(duì)性的訓(xùn)練與優(yōu)化，能夠更為準(zhǔn)確地捕捉并處理特定領(lǐng)域的專業(yè)知識(shí)與對(duì)話內(nèi)容。因此，針對(duì)專業(yè)性要求很高的行業(yè)應(yīng)用場(chǎng)景而言，選擇垂直大模型無疑是更為合理且有效的決策。

易慧智能CTO葉明登表示，易慧智能此次評(píng)測(cè)的目標(biāo)是提供一個(gè)全面、客觀的評(píng)估框架，幫助汽車行業(yè)的決策者和技術(shù)開發(fā)者更好地理解和利用大模型技術(shù)，以實(shí)現(xiàn)汽車行業(yè)的智能化升級(jí)。特別是在營(yíng)銷場(chǎng)景下，我們的評(píng)測(cè)集能夠更準(zhǔn)確地衡量大模型在實(shí)際商業(yè)環(huán)境中的表現(xiàn)和價(jià)值。

易慧智能CTO葉明登

在此次評(píng)測(cè)中表現(xiàn)優(yōu)異的自研大模型負(fù)責(zé)人同時(shí)也是易車副總裁張磊表示，自研大模型基于易車在汽車行業(yè)多年的深耕與積累，結(jié)合比較新的人工智能技術(shù)，5T+的PT數(shù)據(jù)，萬級(jí)SFT（Supervised Fine-Tuning，監(jiān)督微調(diào)）數(shù)據(jù)，DPO（Direct Preference Optimization，是一種用于對(duì)齊大模型與人類偏好的方法）安全對(duì)齊，實(shí)現(xiàn)了大模型在汽車領(lǐng)域的全場(chǎng)景支持、汽車知識(shí)及時(shí)更新、效果領(lǐng)跑，全面賦能汽車行業(yè)。此次評(píng)測(cè)結(jié)果的發(fā)布不僅揭示了大模型在汽車行業(yè)的應(yīng)用現(xiàn)狀，還突顯了行業(yè)大模型相較于通用大模型在指導(dǎo)技術(shù)決策、推動(dòng)技術(shù)創(chuàng)新、促進(jìn)行業(yè)定制化、提升應(yīng)用效能、推動(dòng)私有化部署等垂直領(lǐng)域的獨(dú)特優(yōu)勢(shì)。

易車副總裁張磊

模型路由技術(shù)方案切實(shí)提升群體智能協(xié)同平臺(tái)工作效能

此次易慧智能重磅推出的模型路由技術(shù)方案——基于多模型的YiAgent群體智能技術(shù)框架，作為一個(gè)有機(jī)系統(tǒng)，包含了大模型庫(kù)、汽車行業(yè)大模型評(píng)測(cè)集、YiAgent群體智能平臺(tái)三個(gè)子系統(tǒng)。

子系統(tǒng)一——大模型庫(kù)優(yōu)選當(dāng)前主流大模型，通過定期的換入換出機(jī)制，緊跟當(dāng)前業(yè)內(nèi)比較新技術(shù)動(dòng)態(tài)進(jìn)展。大模型庫(kù)中的所有大模型都會(huì)在大模型路由中進(jìn)行注冊(cè)，并統(tǒng)一訪問接口。為了滿足不同企業(yè)客戶對(duì)不同場(chǎng)景的業(yè)務(wù)需要，該大模型庫(kù)中覆蓋了各個(gè)維度的大模型，包括國(guó)內(nèi)模型和國(guó)外模型、商業(yè)模型和開源模型、Saas模型和可私有化部署模型、通用模型和行業(yè)模型，未來將持續(xù)增加更多的優(yōu)秀模型補(bǔ)充進(jìn)來。

考慮到各個(gè)外部模型的持續(xù)更新迭代，易慧智能會(huì)定期對(duì)大模型進(jìn)行升級(jí)迭代，尤其是微調(diào)參數(shù)量較小的模型，不斷提升模型效果，降低成本。

子系統(tǒng)二——汽車行業(yè)大模型評(píng)測(cè)集覆蓋行業(yè)最全面的基礎(chǔ)知識(shí)和營(yíng)銷核心場(chǎng)景能力，可根據(jù)真實(shí)應(yīng)用場(chǎng)景實(shí)時(shí)更新評(píng)測(cè)數(shù)據(jù)，定期刷新大模型庫(kù)中所有模型的評(píng)測(cè)結(jié)果，并將評(píng)測(cè)結(jié)果同步至大模型路由。

子系統(tǒng)三——YiAgent群體智能平臺(tái)可以根據(jù)任務(wù)動(dòng)態(tài)選擇某個(gè)單體agent（數(shù)字員工）或者群體agent（數(shù)字員工團(tuán)隊(duì)）。Agent路由作為用戶需求的總?cè)肟?，?zhí)行“CEO”的角色。

單體agent（數(shù)字員工）完成任務(wù)所需不同技能可通過大模型路由動(dòng)態(tài)選擇特出大模型。

在YiAgent群體智能平臺(tái)子系統(tǒng)中，大模型路由模塊承擔(dān)著為各項(xiàng)技能準(zhǔn)確匹配特出大模型的重任。鑒于各大模型在專長(zhǎng)領(lǐng)域上的差異，系統(tǒng)依據(jù)評(píng)測(cè)結(jié)果，為每項(xiàng)技能分配表現(xiàn)最為出色的模型。在模型表現(xiàn)相近的情況下，系統(tǒng)秉持成本效益原則，優(yōu)先選用參數(shù)量較少的模型，以實(shí)現(xiàn)資源的特出化配置。此外，大模型路由模塊還兼具負(fù)載均衡功能，當(dāng)某一模型負(fù)載達(dá)到閾值時(shí)，能夠智能地將部分請(qǐng)求引導(dǎo)至次優(yōu)模型，確保服務(wù)的連續(xù)性與穩(wěn)定性，有效規(guī)避服務(wù)中斷的風(fēng)險(xiǎn)。

據(jù)業(yè)內(nèi)佼佼者人士分析指出，模型路由技術(shù)方案的發(fā)布，為大模型在汽車營(yíng)銷領(lǐng)域的實(shí)際部署與效能提升，開辟了一條相當(dāng)價(jià)值的參考途徑。此舉不僅強(qiáng)化了易慧智能在汽車AI產(chǎn)品與服務(wù)解決方案領(lǐng)域的優(yōu)勢(shì)地位，更將實(shí)質(zhì)性地推動(dòng)AI技術(shù)在汽車行業(yè)內(nèi)的創(chuàng)新步伐，實(shí)現(xiàn)行業(yè)整體效率與客戶競(jìng)爭(zhēng)力的顯著提升。

（推廣）