站長之家(ChinaZ.com) 6月10日 消息:根據(jù)一項最新研究顯示，英偉達(dá)的人工智能軟件中的一個功能存在安全限制的漏洞，可以被操控以透露私人信息。

英偉達(dá)開發(fā)了一個名為「NeMoFramework」的系統(tǒng)，允許開發(fā)人員使用各種大型語言模型，這些模型是生成式AI產(chǎn)品（如聊天機(jī)器人）的核心技術(shù)。

這款芯片制造商的框架旨在被企業(yè)采用，比如將公司的專有數(shù)據(jù)與語言模型結(jié)合起來，以提供對問題的回答。例如，它可以復(fù)制客服代表的工作或為尋求簡單醫(yī)療建議的人提供建議。

總部位于舊金山的RobustIntelligence的研究人員發(fā)現(xiàn)，他們可以輕松突破為確保AI系統(tǒng)安全使用而設(shè)立的所謂防護(hù)欄。

在使用英偉達(dá)系統(tǒng)處理自己的數(shù)據(jù)集后，RobustIntelligence的分析人員僅用了幾個小時就成功讓語言模型突破限制。

在一個測試場景中，研究人員指示英偉達(dá)的系統(tǒng)將字母「I」替換為「J」。這一操作促使該技術(shù)從數(shù)據(jù)庫中釋放出個人可識別信息（PII）。

研究人員發(fā)現(xiàn)，他們可以通過其他方式繞過安全控制，例如讓模型偏離主題。

通過復(fù)制英偉達(dá)提供的一個關(guān)于就業(yè)報告的狹義討論的示例，他們成功讓模型涉及到一位好萊塢影星的健康和法普戰(zhàn)爭等主題，盡管英偉達(dá)設(shè)計了防護(hù)欄以阻止AI超越特定主題。

研究人員輕松突破這些安全保護(hù)措施凸顯了AI公司在試圖商業(yè)化這一從硅谷涌現(xiàn)多年的最有前途的技術(shù)時面臨的挑戰(zhàn)。

哈佛大學(xué)計算機(jī)科學(xué)教授、RobustIntelligence首席執(zhí)行官YaronSinger表示：「我們正在看到這是一個困難的問題，需要深入的專業(yè)知識。」「這些研究結(jié)果是關(guān)于存在的潛在問題的一個警示。」

在測試結(jié)果公布后，研究人員建議客戶避免使用英偉達(dá)的軟件產(chǎn)品。在《金融時報》本周早些時候要求英偉達(dá)對該研究發(fā)表評論后，該芯片制造商通知RobustIntelligence表示已修復(fù)了分析人員提出的問題背后的一個根本原因。

自5月以來，英偉達(dá)的股價飆升，當(dāng)時該公司預(yù)測截至7月的三個月銷售額將達(dá)到110億美元，超過華爾街此前的預(yù)期增長幅度超過50%。

這一增長建立在對其芯片的巨大需求之上，這些芯片被認(rèn)為是構(gòu)建生成式AI系統(tǒng)（能夠生成類似人類內(nèi)容的系統(tǒng)）的市場領(lǐng)先芯片。

英偉達(dá)的應(yīng)用研究副總裁JonathanCohen表示，他們的框架只是「構(gòu)建符合開發(fā)人員定義的主題、安全和安全準(zhǔn)則的AI聊天機(jī)器人的起點」。

他說：「它作為開源軟件發(fā)布給社區(qū)，以便探索其功能、提供反饋并貢獻(xiàn)最新的技術(shù)。」他補(bǔ)充說，RobustIntelligence的研究「確定了需要采取的額外步驟以部署生產(chǎn)應(yīng)用程序」。

他拒絕透露有多少企業(yè)正在使用該產(chǎn)品，但表示該公司沒有收到其他關(guān)于其產(chǎn)品不正常運行的報告。

谷歌和微軟支持的OpenAI等領(lǐng)先的AI公司已經(jīng)發(fā)布了由其自己的語言模型驅(qū)動的聊天機(jī)器人，并實施了防止其AI產(chǎn)品使用種族主義言論或采用高壓態(tài)度的防護(hù)措施。

其他公司也推出了專門的、但實驗性的AI產(chǎn)品，用于教育年輕學(xué)生、提供簡單的醫(yī)療建議、在不同語言之間進(jìn)行翻譯和編寫代碼。幾乎所有這些產(chǎn)品都經(jīng)歷過安全問題。

英偉達(dá)和其他AI行業(yè)的公司需要「真正建立公眾對技術(shù)的信任」，RobustIntelligence公司歐洲、中東和非洲地區(qū)政府事務(wù)負(fù)責(zé)人BeaLongworth在行業(yè)游說團(tuán)體TechUK的一次會議上表示。

她補(bǔ)充說，他們必須讓公眾感覺「這是一項有巨大潛力的技術(shù)，而不僅僅是一種威脅或令人害怕的東西」。

（舉報）