无码在线播放二区|久久亚洲精品国产精品|无码视频在线观看一区二区|在线观看国产日韩亚洲中

  • <menu id="yw4o4"></menu>
  • 
    <menu id="yw4o4"><em id="yw4o4"></em></menu>
  • 首頁 > 業(yè)界 > 關(guān)鍵詞  > GTP-4最新資訊  > 正文

    AI會帶來氣候災(zāi)難?ChatGPT等大型語言模型訓練耗能嚴重

    2023-04-04 10:10 · 稿源:站長之家

    站長之家(ChinaZ.com)4月4日 消息:即將到來的強大AI聊天機器人時代很可能會以激進和不可預(yù)見的方式重塑世界,但同時也可能也會付出巨大的環(huán)境代價。

    日前,斯坦福大學人工智能研究所發(fā)布的一份新報告估計,訓練像OpenAI的GPT-3這樣的人工智能模型所需消耗的能量,足以可以讓一個普通美國家庭用上數(shù)百年了。在研究中審查的三種人工智能模型中,OpenAI 的系統(tǒng)是迄今為止最耗能的。

    gpt-4,OpenAI,ChatGPT Plus,人工智能

    ChatGPT耗能嚴重

    這項研究在斯坦福最近發(fā)布的人工智能指數(shù)中得到了強調(diào),該研究借鑒了最近測量與訓練四種模型相關(guān)的碳成本的研究:DeepMind 的 Gopher、BigScience inititiaives 的BLOOM、Meta 的 OPT和OpenAI 的 GPT-3。據(jù)報道,OpenAI 的模型在訓練期間釋放了502公噸碳。它釋放的碳含量是 Gopher 的1.4倍,是 BLOOM 的20.1倍。GPT-3的耗電量也是最大的,達1,287MWh。

    image.png

    每個模型的能耗受很多因素影響,包括數(shù)據(jù)點或參數(shù)的數(shù)量,它們接受的培訓以及它們所在的數(shù)據(jù)中心的能效。盡管能耗存在明顯差異,四個模型中有三個(DeepMind的Gopher除外)都是在大致相當?shù)?750億個參數(shù)上進行訓練的。OpenAI并沒有透露其新發(fā)布的GTP-4訓練了多少參數(shù),鑒于該模型前幾個版本之間所需數(shù)據(jù)的巨大飛躍,可以肯定GTP-4比之前的版本需要更多數(shù)據(jù)。

    一位人工智能愛好者估計,GPT-4預(yù)計用100萬億個參數(shù)進行訓練,不過OpenAI首席執(zhí)行官薩姆·奧特曼后來稱這個數(shù)字“完全是胡扯”。

    image.png

    斯坦福大學研究員彼得·亨德森去年表示:“如果我們只是擴大規(guī)模而不考慮對環(huán)境的影響,可能會讓自己陷入一種對機器學習模型弊大于利的境地。真的希望盡可能減輕這種影響,并帶來凈社會效益?!?/p>

    毫無疑問,人工智能模型訓練非常依賴數(shù)據(jù),但斯坦福大學的報告指出,現(xiàn)在說這是否一定意味著會帶來一場環(huán)境災(zāi)難還為時過早。未來強大的人工智能模型可以用來優(yōu)化數(shù)據(jù)中心和其他環(huán)境的能耗。例如,在一項為期三個月的實驗中,DeepMind的BCOOLER代理能夠在谷歌數(shù)據(jù)中心實現(xiàn)約12.7%的節(jié)能,同時仍然保持建筑物足夠涼爽,以便人們舒適地工作。

    AI的環(huán)境成本反映挖礦帶來的氣候困境

    這些聽起來是不是很熟悉?那是因為幾年前,我們基本上看到了同樣的環(huán)境動態(tài),即加密貨幣和web3技術(shù)帶來的困擾。比如,比特幣成為該行業(yè)明顯的環(huán)境痛點,因為在其工作量證明模型中,挖礦需要大量能源。據(jù)估計,僅比特幣一項每年所需的能源就超過了挪威全年的用電量。

    多年來環(huán)保人士的批評也促進了加密行業(yè)做出了一些改變。以太坊是區(qū)塊鏈上的第二大貨幣,去年正式轉(zhuǎn)向權(quán)益證明模型,支持者聲稱該模型可以將其功耗降低99%以上。其他較小的代幣在設(shè)計時也同樣考慮到了能源效率。從大局來看,大型語言模型仍處于起步階段,它的環(huán)境影響尚不能確定。

    大型語言模型訓練越來越貴

    能源需求并不是新LLM(大語言模型)快速增長的唯一數(shù)字,它所需投入的資金量也是如此。2019年OpenAI發(fā)布GPT2時,斯坦福大學的報告指出,該公司僅花費5萬美元就訓練了基于15億個參數(shù)構(gòu)建的模型。僅僅三年后,谷歌就發(fā)布了自己強大的PaLM模型,該模型根據(jù)5400億個參數(shù)進行了訓練,而花費的金額已經(jīng)飆升到800萬美元。根據(jù)這份報告,PaLM比GPT-2大360倍,但價格卻高出160倍。同樣,這些模型,無論是OpenAI還是谷歌發(fā)布的,都只會越來越大。

    報告指出,“總整體說,大型語言和多模態(tài)模型變得越來越大,越來越貴”。

    image.png

    斯坦福大學估計,2022年全球人工智能私人投資額是2013年的18倍。至少在美國,各個行業(yè)與人工智能相關(guān)的職位招聘也在增長,并在2022年從1.7%增長到1.9%。在全球范圍內(nèi),美國在人工智能的整體投資方面遙遙領(lǐng)先,據(jù)報道,2022年美國對人工智能技術(shù)的投資為474億美元,是中國的3.5倍。說到燒錢,美國無人能及。

    針對AI的立法問題

    最近一波強大的聊天機器人,以及圍繞它們的道德和法律問題,悄悄困擾著人工智能工程師之外的幾乎所有人,包括立法者。

    可以肯定的是,立法者正試圖在立法上迎頭趕上。根據(jù)斯坦福大學的報告,2021年,所有涉及人工智能的聯(lián)邦法案中,只有2%真正成為法律。這一數(shù)字去年攀升至10%。許多類似的法案是在當前圍繞GPT4和一些研究人員過早地將其描述為“人工通用智能”之前寫的。

    立法者對人工智能也比以往任何時候都更感興趣。2022年,斯坦福大學確定了110起在美國聯(lián)邦和州法院提起的人工智能相關(guān)法律案件,這比2016年發(fā)現(xiàn)的案例多出6.5倍。這些案件大部分發(fā)生在加利福尼亞州、伊利諾伊州和紐約州。大約29%的人工智能案件涉及民法,而19%涉及知識產(chǎn)權(quán)。如果最近作家和藝術(shù)家對AI生成器使用他們的風格提出的投訴有任何指導意義,那么產(chǎn)權(quán)案件的比例可能會增加。

    舉報

    • 相關(guān)推薦
    • PIT框架提升大型語言模型的質(zhì)量

      傳統(tǒng)方法中,提高LLMs性能需要通過人工注釋來收集更多多樣化和高質(zhì)量的訓練數(shù)據(jù),但這是一項資源密集型的任務(wù),尤其是對于專業(yè)領(lǐng)域言。為了解決這個問題,來自伊利諾伊大學厄巴納-香檳分校和Google的研究人員提出了“ImplicitSelf-Improvementframework”。通過從人類偏好數(shù)據(jù)中學習改進目標,PIT解決了傳統(tǒng)提示方法的限制,并展示了在各種數(shù)據(jù)集和條件下提高LLMs響應(yīng)質(zhì)量的有效性。

    • ChatGPT的“地下經(jīng)濟”,給AI行業(yè)帶來了什么?

      自從ChatGPT問世以來,大模型如何落地、盈利,就成了無數(shù)創(chuàng)業(yè)者都在思考的問題。一個尷尬的現(xiàn)實是,現(xiàn)階段C端最受歡迎的一類AI應(yīng)用,實在讓人很難以啟齒……盡管ChatGPT發(fā)布后,OpenAI十分注重模型的安全性、合規(guī)性,但還是有很多開發(fā)者攻破了ChatGPT的安全漏洞,讓GPT實現(xiàn)了“越獄”,并開發(fā)出了各種突破限制的AI應(yīng)用。這樣的“預(yù)演”,在C端大模型落地困難的今天,無疑提供了一種另類的“經(jīng)驗”。

    • OpenLM:一個專為中等規(guī)模語言模型設(shè)計的模型訓練

      OpenLM是一個旨在訓練中等規(guī)模語言模型的PyTorch代碼庫,它強調(diào)了最大化GPU利用率和訓練速度的設(shè)計。該庫已經(jīng)通過訓練OpenLM-1B和OpenLM-7B兩個語言模型,分別在1.6T和1.25T的文本標記上進行驗證,取得了令人矚目的成果。OpenLM的團隊成員和致謝也在文章中列出,表明了該項目的合作性質(zhì)和開源精神。

    • LayoutNUWA:一個基于大型語言模型的布局生成工具

      在網(wǎng)上創(chuàng)建引人注目的設(shè)計對于吸引用戶的興趣和幫助他們理解信息非常重要。這種新方法,被稱為LayoutNUWA,通過使用語言模型將編碼指令轉(zhuǎn)化為出色的布局,使這些設(shè)計更加智能。通過這些核心功能,LayoutNUWA為用戶提供了一個強大的布局生成工具,可以應(yīng)用于各種項目和領(lǐng)域,從提高布局生成的效率和質(zhì)量。

    • Evisort成功開發(fā)法律合同領(lǐng)域的大型語言模型(LLM)

      Evisort成功開發(fā)了專門用于法律協(xié)議的大型語言模型,并將其作為其新的多方位生成AI引擎的關(guān)鍵組成部分。該LLM將使Evisort能夠提供比通用的第三方LLMs更準確和響應(yīng)更靈活的AI創(chuàng)新,從幫助組織更好地管理合同。這一創(chuàng)新也受到了業(yè)界的認可,得到了微軟風投M12的高度評價。

    • DistilBERT:更小、更快、更便宜的大型語言模型壓縮方法

      大型語言模型的發(fā)展迅猛,BERT成為其中最受歡迎和高效的模型,但其復(fù)雜性和可擴展性成為問題。為了解決這些問題,市面上目前由三種常見的模型壓縮技術(shù):知識蒸餾、量化和剪枝。DistilBERT通過知識蒸餾技術(shù)在保持性能的同時顯著壓縮了大型語言模型,為在資源受限設(shè)備上的部署提供了可能性。

    • 超13萬個大模型!微軟增強ChatGPT等開源模型,訓練、推理能力

      著名AI模型開源平臺HuggingFace上有超過320,000個大模型,并且每天保持高速增長。據(jù)統(tǒng)計只有大約6,000個模型支持ONNX格式,但微軟表示,實際上有超過130,000個模型支持該格式。在HuggingFace開源平臺上還有10萬個模型不支持ONNX格式,鼓勵更多的技術(shù)研究機構(gòu)、開源項目加入到ONNX社區(qū),以通過ONNXRuntime增強開發(fā)效率。

    • Lakera推出API,保護大型語言模型免受惡意提示攻擊

      瑞士初創(chuàng)公司Lakera最近發(fā)布了一款旨在保護企業(yè)免受大型語言模型的惡意提示攻擊的API。這項舉措旨在解決LLMs在生成人類語言文本方面的卓越性能,但也可能受到惡意攻擊的問題,尤其是通過所謂的“promptinjection”技術(shù)。通過將攻擊轉(zhuǎn)化為統(tǒng)計結(jié)構(gòu),Lakera有望在這一領(lǐng)域發(fā)揮重要作用,并確保企業(yè)可以安全地利用LLM的強大功能。

    • 淘寶,多了一個“ChatGPT”入口

      正在悄然切換,進入AI時代?,F(xiàn)在打開淘寶,搜索“淘寶問問”,你可以直接跳轉(zhuǎn)到一個全新的頁面。它還不是最終形態(tài),如何讓電商和AI更好地結(jié)合,找到那條打通最佳的用戶體驗和購物鏈路的路徑,才是真正的挑戰(zhàn)。

    • ChatGPT模型學會自主思考!開創(chuàng)性技術(shù)“自主認知”框架

      ChatGPT、百度文心一言、Bard等大語言模型展現(xiàn)出了超強的創(chuàng)造能力,加速了生成式AI的應(yīng)用進程。但AI模型只能基于訓練數(shù)據(jù)執(zhí)行各種任務(wù),無法像人類一樣利用生活知識、過往經(jīng)驗用于復(fù)雜的推理和決策。ACE框架展示了如何更好地利用大語言模型的潛力,將其打造為推動認知發(fā)展的核心引擎,為人工常識推理提供動力。

    熱文

    • 3 天
    • 7天