站長之家(ChinaZ.com)4月4日 消息:即將到來的強大AI聊天機器人時代很可能會以激進和不可預(yù)見的方式重塑世界,但同時也可能也會付出巨大的環(huán)境代價。
日前,斯坦福大學人工智能研究所發(fā)布的一份新報告估計,訓練像OpenAI的GPT-3這樣的人工智能模型所需消耗的能量,足以可以讓一個普通美國家庭用上數(shù)百年了。在研究中審查的三種人工智能模型中,OpenAI 的系統(tǒng)是迄今為止最耗能的。
ChatGPT耗能嚴重
這項研究在斯坦福最近發(fā)布的人工智能指數(shù)中得到了強調(diào),該研究借鑒了最近測量與訓練四種模型相關(guān)的碳成本的研究:DeepMind 的 Gopher、BigScience inititiaives 的BLOOM、Meta 的 OPT和OpenAI 的 GPT-3。據(jù)報道,OpenAI 的模型在訓練期間釋放了502公噸碳。它釋放的碳含量是 Gopher 的1.4倍,是 BLOOM 的20.1倍。GPT-3的耗電量也是最大的,達1,287MWh。
每個模型的能耗受很多因素影響,包括數(shù)據(jù)點或參數(shù)的數(shù)量,它們接受的培訓以及它們所在的數(shù)據(jù)中心的能效。盡管能耗存在明顯差異,四個模型中有三個(DeepMind的Gopher除外)都是在大致相當?shù)?750億個參數(shù)上進行訓練的。OpenAI并沒有透露其新發(fā)布的GTP-4訓練了多少參數(shù),鑒于該模型前幾個版本之間所需數(shù)據(jù)的巨大飛躍,可以肯定GTP-4比之前的版本需要更多數(shù)據(jù)。
一位人工智能愛好者估計,GPT-4預(yù)計用100萬億個參數(shù)進行訓練,不過OpenAI首席執(zhí)行官薩姆·奧特曼后來稱這個數(shù)字“完全是胡扯”。
斯坦福大學研究員彼得·亨德森去年表示:“如果我們只是擴大規(guī)模而不考慮對環(huán)境的影響,可能會讓自己陷入一種對機器學習模型弊大于利的境地。真的希望盡可能減輕這種影響,并帶來凈社會效益?!?/p>
毫無疑問,人工智能模型訓練非常依賴數(shù)據(jù),但斯坦福大學的報告指出,現(xiàn)在說這是否一定意味著會帶來一場環(huán)境災(zāi)難還為時過早。未來強大的人工智能模型可以用來優(yōu)化數(shù)據(jù)中心和其他環(huán)境的能耗。例如,在一項為期三個月的實驗中,DeepMind的BCOOLER代理能夠在谷歌數(shù)據(jù)中心實現(xiàn)約12.7%的節(jié)能,同時仍然保持建筑物足夠涼爽,以便人們舒適地工作。
AI的環(huán)境成本反映挖礦帶來的氣候困境
這些聽起來是不是很熟悉?那是因為幾年前,我們基本上看到了同樣的環(huán)境動態(tài),即加密貨幣和web3技術(shù)帶來的困擾。比如,比特幣成為該行業(yè)明顯的環(huán)境痛點,因為在其工作量證明模型中,挖礦需要大量能源。據(jù)估計,僅比特幣一項每年所需的能源就超過了挪威全年的用電量。
多年來環(huán)保人士的批評也促進了加密行業(yè)做出了一些改變。以太坊是區(qū)塊鏈上的第二大貨幣,去年正式轉(zhuǎn)向權(quán)益證明模型,支持者聲稱該模型可以將其功耗降低99%以上。其他較小的代幣在設(shè)計時也同樣考慮到了能源效率。從大局來看,大型語言模型仍處于起步階段,它的環(huán)境影響尚不能確定。
大型語言模型訓練越來越貴
能源需求并不是新LLM(大語言模型)快速增長的唯一數(shù)字,它所需投入的資金量也是如此。2019年OpenAI發(fā)布GPT2時,斯坦福大學的報告指出,該公司僅花費5萬美元就訓練了基于15億個參數(shù)構(gòu)建的模型。僅僅三年后,谷歌就發(fā)布了自己強大的PaLM模型,該模型根據(jù)5400億個參數(shù)進行了訓練,而花費的金額已經(jīng)飆升到800萬美元。根據(jù)這份報告,PaLM比GPT-2大360倍,但價格卻高出160倍。同樣,這些模型,無論是OpenAI還是谷歌發(fā)布的,都只會越來越大。
報告指出,“總整體說,大型語言和多模態(tài)模型變得越來越大,越來越貴”。
斯坦福大學估計,2022年全球人工智能私人投資額是2013年的18倍。至少在美國,各個行業(yè)與人工智能相關(guān)的職位招聘也在增長,并在2022年從1.7%增長到1.9%。在全球范圍內(nèi),美國在人工智能的整體投資方面遙遙領(lǐng)先,據(jù)報道,2022年美國對人工智能技術(shù)的投資為474億美元,是中國的3.5倍。說到燒錢,美國無人能及。
針對AI的立法問題
最近一波強大的聊天機器人,以及圍繞它們的道德和法律問題,悄悄困擾著人工智能工程師之外的幾乎所有人,包括立法者。
可以肯定的是,立法者正試圖在立法上迎頭趕上。根據(jù)斯坦福大學的報告,2021年,所有涉及人工智能的聯(lián)邦法案中,只有2%真正成為法律。這一數(shù)字去年攀升至10%。許多類似的法案是在當前圍繞GPT4和一些研究人員過早地將其描述為“人工通用智能”之前寫的。
立法者對人工智能也比以往任何時候都更感興趣。2022年,斯坦福大學確定了110起在美國聯(lián)邦和州法院提起的人工智能相關(guān)法律案件,這比2016年發(fā)現(xiàn)的案例多出6.5倍。這些案件大部分發(fā)生在加利福尼亞州、伊利諾伊州和紐約州。大約29%的人工智能案件涉及民法,而19%涉及知識產(chǎn)權(quán)。如果最近作家和藝術(shù)家對AI生成器使用他們的風格提出的投訴有任何指導意義,那么產(chǎn)權(quán)案件的比例可能會增加。
(舉報)