11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買(mǎi)1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵?lái)騰訊云選購(gòu)吧!
智源研究院近期提出了一項(xiàng)新技術(shù),通過(guò)數(shù)據(jù)濃縮技術(shù)獲得高質(zhì)量訓(xùn)練數(shù)據(jù),從提升多模態(tài)小模型的性能。他們將LAION-2B壓縮成2M核心集,得到更豐富的預(yù)訓(xùn)練數(shù)據(jù),同時(shí)精選數(shù)據(jù)集進(jìn)行指令微調(diào),訓(xùn)練出性能強(qiáng)勁的小模型。通過(guò)數(shù)據(jù)濃縮技術(shù)獲得高質(zhì)量訓(xùn)練數(shù)據(jù),Bunny系列小模型在多模態(tài)任務(wù)上表現(xiàn)優(yōu)異,將促進(jìn)大模型技術(shù)的發(fā)展和普及。
智源研究院聯(lián)合清華和北郵團(tuán)隊(duì)推出text-to-3D生成模型GeoDream,能夠?qū)⑤斎氲奈淖置枋鲛D(zhuǎn)化為高質(zhì)量和多視角一致性的3D資產(chǎn)。與傳統(tǒng)的方法不同,GeoDream通過(guò)解耦的方式利用2D和3D先驗(yàn),解決了3D結(jié)構(gòu)不一致性的問(wèn)題,并支持導(dǎo)出高保真的texturemeshes和高分辨率的渲染圖片。GeoDream展示了對(duì)復(fù)雜輸入的生成結(jié)果,支持導(dǎo)出meshes和高分辨率UVmaps,方便后續(xù)的3D創(chuàng)作和應(yīng)用。
智源研究院提出了首個(gè)用于自然語(yǔ)言理解任務(wù)的1bit輕量化預(yù)訓(xùn)練模型BiPFT。與傳統(tǒng)的FP32模型相比,BiPFT模型在推理階段顯著減少了操作數(shù)量和內(nèi)存使用。該模型在不同超參數(shù)設(shè)定下都能取得更好的效果,具有較好的獨(dú)立學(xué)習(xí)能力和超參數(shù)魯棒性。
TACO是一個(gè)專注于算法的代碼生成數(shù)據(jù)集,旨在為代碼生成模型提供更具挑戰(zhàn)性的訓(xùn)練數(shù)據(jù)集和評(píng)測(cè)基準(zhǔn)。與當(dāng)前主流代碼評(píng)測(cè)基準(zhǔn)相比,TACO在數(shù)據(jù)規(guī)模、數(shù)據(jù)質(zhì)量和細(xì)粒度評(píng)測(cè)方案上具有明顯優(yōu)勢(shì)。提供細(xì)粒度標(biāo)簽:TACO數(shù)據(jù)集中每個(gè)題目均包含任務(wù)主題、算法、技能及難度等細(xì)粒度標(biāo)簽,為代碼生成模型的訓(xùn)練與評(píng)測(cè)更精確的參考。
2023年12月21日,智源研究院發(fā)布了新一代多模態(tài)基礎(chǔ)模型Emu2。Emu2通過(guò)大規(guī)模自回歸生成式多模態(tài)預(yù)訓(xùn)練,顯著推動(dòng)了多模態(tài)上下文學(xué)習(xí)能力的突破。相比于Emu1,Emu2采用了更簡(jiǎn)單的建模框架,訓(xùn)練了更好的解碼器,并將模型規(guī)?;?7B參數(shù)。
智源研究院最近發(fā)布了LM-Cocktail模型治理策略,旨在為大模型開(kāi)發(fā)者提供一個(gè)低成本持續(xù)提升模型性能的方式。該策略通過(guò)融合多個(gè)模型的優(yōu)勢(shì),實(shí)現(xiàn)在目標(biāo)任務(wù)上性能的提升,同時(shí)保持在通用任務(wù)上的強(qiáng)大能力。LM-Cocktail已在實(shí)驗(yàn)中展現(xiàn)了良好的性能。
智源研究院開(kāi)源了一種名為JudgeLM的裁判模型,可以高效準(zhǔn)確地評(píng)判各類(lèi)大模型。與GPT-4相比,JudgeLM僅需1/120的成本,就能達(dá)到90%以上的評(píng)判結(jié)果一致性。JudgeLM團(tuán)隊(duì)將進(jìn)一步完善這一裁判模型,提供更準(zhǔn)確、高效、覆蓋更多場(chǎng)景的大語(yǔ)言模型評(píng)判。
智源研究院最近開(kāi)源發(fā)布了一個(gè)10億參數(shù)的三維視覺(jué)通用模型Uni3D。該模型是當(dāng)前最大的三維視覺(jué)模型之一,能夠處理點(diǎn)云數(shù)據(jù),取得了主流三維視覺(jué)任務(wù)的全方位技術(shù)突破,展現(xiàn)出超強(qiáng)的通用視覺(jué)能力。智源研究院表示,Uni3D的開(kāi)源發(fā)布為未來(lái)三維計(jì)算機(jī)視覺(jué)的研究和應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。
智源研究院發(fā)布了最強(qiáng)開(kāi)源中英雙語(yǔ)大模型——悟道?天鷹340億。這個(gè)新模型在推理、泛化等方面表現(xiàn)出色,在智能體、代碼生成、文獻(xiàn)檢索等場(chǎng)景方面取得了一系列成績(jī)。智源研究院還發(fā)布了FlagScale高效并行訓(xùn)練框架和FlagAttention高性能Attention算子集,進(jìn)一步推動(dòng)大模型研究的發(fā)展。
智源研究院發(fā)布了FlagPerfv1.0,這是一個(gè)開(kāi)源開(kāi)放的AI硬件評(píng)測(cè)引擎。FlagPerf的評(píng)測(cè)指標(biāo)體系包括功能正確性指標(biāo)、性能指標(biāo)、資源使用指標(biāo)和生態(tài)適配指標(biāo)。所有測(cè)試代碼都已開(kāi)源,測(cè)試過(guò)程和數(shù)據(jù)可復(fù)現(xiàn)。