11.11云上盛惠!海量產(chǎn)品 · 輕松上云!云服務(wù)器首年1.8折起,買1年送3個(gè)月!超值優(yōu)惠,性能穩(wěn)定,讓您的云端之旅更加暢享??靵眚v訊云選購吧!
令人失望的Llama4,只是前奏已。接下來我們恐將看到——全球局勢的改變,將徹底阻止AI進(jìn)步!最近,一位AICEO做出長視頻,逐級(jí)對(duì)Llama4身上的六大疑點(diǎn)進(jìn)行了扒皮。GaryMarcus正在尋找對(duì)開發(fā)更可靠替代方法有興趣的投資者。
【新智元導(dǎo)讀】DeepSeek新論文來了!在清華研究者共同發(fā)布的研究中,他們發(fā)現(xiàn)了獎(jiǎng)勵(lì)模型推理時(shí)Scaling的全新方法。DeepSeekR2,果然近了。他們用包含300個(gè)樣本的降采樣測試集測試了DeepSeek-R1,發(fā)現(xiàn)其性能甚至不如236BMoERFT模型,這表明延長推理任務(wù)的思維鏈并不能顯著提升通用RM的性能。
蒸餾模型的性能可以量化估算了。知識(shí)蒸餾技術(shù)當(dāng)前正被大模型領(lǐng)域廣泛使用,它可以在大幅壓縮模型體量的同時(shí)保持一定的性能、降低模型時(shí)延、提升模型精度,與此同時(shí)還能對(duì)知識(shí)域進(jìn)行集成和遷移。正如監(jiān)督擴(kuò)展減輕了監(jiān)督預(yù)訓(xùn)練中的風(fēng)險(xiǎn)一樣,新工作為生產(chǎn)更小、更強(qiáng)大的模型提供了路線圖,并增強(qiáng)了測試時(shí)擴(kuò)展的可行性。
明天就是辭舊迎新的春節(jié)假期,咱來點(diǎn)不一樣的——送上一份「年初展望」,站在2025年伊始,把AI科技領(lǐng)域不同領(lǐng)域的熱點(diǎn)趨勢,淺淺盤了一圈。從人型機(jī)器人、AI眼鏡,從推理模型到AICoding……分別從產(chǎn)品側(cè)和技術(shù)側(cè),把今年最有料的8個(gè)大熱門趨勢一網(wǎng)打盡,干貨過年。若有掛一漏萬之處請(qǐng)諸位海涵,也歡迎小伙伴們?cè)谠u(píng)論區(qū)指出和探討。
ScalingLaw又能續(xù)命了?如何通過語言智能體的高級(jí)規(guī)劃來Scaling推理時(shí)計(jì)算?答案就是——使用LLM作為世界模型。使用GPT-4o來預(yù)測網(wǎng)站上操作的結(jié)果,可以提供強(qiáng)大的性能,同時(shí)還能提高安全性和效率。其他還有多模態(tài),基礎(chǔ)、規(guī)劃與推理,合成數(shù)據(jù)和智能體安全。
就連「量化」也不管用,scalinglaw真的要終結(jié)了嗎?一提scalinglaw,人們重點(diǎn)關(guān)注的是參數(shù)規(guī)模、數(shù)據(jù)量等因素,卻忽視了「精度」這一關(guān)鍵變量。哈佛斯坦福MIT等機(jī)構(gòu)研究人員竟發(fā)現(xiàn),低精度訓(xùn)練會(huì)降低模型的「有效參數(shù)量」!對(duì)此,他們提出了「精度感知」scalinglaw。他的研究旨在通過對(duì)簡單建模變化的深入實(shí)證調(diào)查來改進(jìn)LLM。
Ilya終于承認(rèn),自己關(guān)于Scaling的說法錯(cuò)了!現(xiàn)在訓(xùn)練模型已經(jīng)不是「越大越好」是找出Scaling的對(duì)象究竟應(yīng)該是什么。SSI在用全新方法擴(kuò)展預(yù)訓(xùn)練。如果GPT的發(fā)展沒有加速,是不是就意味著末日論者錯(cuò)了——AI不會(huì)進(jìn)入所謂的遞歸自我改進(jìn)循環(huán),在這個(gè)循環(huán)中,AI會(huì)一次又一次地找出如何制造下一個(gè)更好版本的自己?對(duì)此,MarcAndreessen認(rèn)為,這種明顯的平臺(tái)期意味著這樣的恐懼目前看
半年兩次大融資后,這家具身智能黑馬再次獲得融資!作為柏睿資本首次投資的具身智能企業(yè),千尋智能不僅擁有出身自伯克利系聯(lián)創(chuàng),在技術(shù)、硬件、商業(yè)化上,也讓人極有信心。我們意外發(fā)現(xiàn),具身智能領(lǐng)域的明星初創(chuàng)公司千尋智能,悄悄完成了工商變更。具身智能這盤大棋,接下來就看千尋智能如何交卷了。
OpenAIo1的發(fā)布,再次給AI領(lǐng)域帶來了一場地震。o1能像人類一樣「思考」復(fù)雜問題,擁有優(yōu)秀的通用推理能力。從SambaNova的RDU開始,人工智能領(lǐng)域可能正在翻開全新的一頁。
OpenAI的新模型o1,可謂是開啟了ScalingLaw的新篇章——隨著更多的強(qiáng)化學(xué)習(xí)和更多的思考時(shí)間,o1在邏輯推理能力上已經(jīng)達(dá)到了目前天花板級(jí)別。尤其是在北大給出的一項(xiàng)評(píng)測中,o1-mini模型的跑分比o1-preview還要高:這就展示一種新的思路和可能性——小模型專門加強(qiáng)推理能力,放棄在參數(shù)中存儲(chǔ)大量世界知識(shí)。我們希望通過這個(gè)專欄,讓更多的人了解CPU在AI推理加速,甚至是整個(gè)A