**劃重點:**
1. ?? IBM研究發(fā)現(xiàn),利用生成式AI工具,黑客可以相對輕松地劫持語音通話,構(gòu)成新的威脅。
2. ?? 對金融機構(gòu)等使用電話驗證身份的組織而言,使用低成本AI工具,騙子能夠輕松冒充他人的聲音,竊取資金和其他敏感信息。
3. ??? "音頻劫持"是一種新的威脅,威脅行為者可在進行中的對話中使用語音克隆操縱大型語言模型。
站長之家(ChinaZ.com) 2月4日 消息:近期,IBM研究人員發(fā)現(xiàn)了一種相對簡單的方法,可以利用生成式AI工具劫持語音通話。這一發(fā)現(xiàn)引發(fā)了對金融機構(gòu)等依賴電話驗證身份的組織的擔憂。利用低成本的AI工具,騙子們現(xiàn)在可以輕松地冒充他人的聲音,劫持正在進行的對話,以竊取資金和其他敏感信息。
圖源備注:圖片由AI生成,圖片授權(quán)服務(wù)商Midjourney
這項新的威脅被IBM的研究人員稱為“音頻劫持”,威脅行為者可以使用語音克隆在進行中的對話中操縱大型語言模型。為了實施這一威脅,威脅行為者需要首先在受害者的手機上安裝惡意軟件或者破壞無線語音通話服務(wù),然后連接到他們自己的AI工具。
具體而言,AI聊天機器人接收一個簡單的提示,告訴它在聽到特定關(guān)鍵短語時如何回應(yīng)。在這個案例中,短語是“銀行賬戶”。聊天機器人掃描每個通過被侵入的電話或語音通話服務(wù)傳遞的對話,尋找這個關(guān)鍵詞。一旦它聽到了,聊天機器人就被指示用受害者的克隆聲音說出不同的短語。在這種情況下,機器人將受害者的銀行賬號替換為攻擊者的賬號,使得存款進入錯誤的賬戶。
IBM安全部首席威脅情報架構(gòu)師Chenta Lee在報告中指出:“LLM的修改不僅限于財務(wù)信息,還可以修改會話中的醫(yī)療信息,如血型和過敏;它還可以命令分析師買賣股票;它還可以指示飛行員重新規(guī)劃飛行路線?!?/p>
盡管在IBM的實驗中,研究人員仍然面臨一些障礙,比如語音克隆的響應(yīng)有時會有延遲,因為它需要訪問文本到語音API和告訴它做什么的聊天機器人。此外,并非所有語音克隆都令人信服。
為了對抗這一威脅,報告建議任何發(fā)現(xiàn)自己接到可疑電話的人重新用自己的話轉(zhuǎn)述并重復(fù)對方說過的內(nèi)容,以驗證準確性。這將使聊天機器人困擾,因為它們?nèi)匀浑y以理解基本的會話提示。
(舉報)