亚洲第一福利视频,欧美黑人粗大xxxxpp,国内精品一区二区三区,国产精品久久久久影院色

智快網(wǎng) - 新科技與新能源行業(yè)網(wǎng)絡媒體

AI自保泄露機密?Anthropic揭示大模型自主性風險隱患

   發(fā)布時間:2025-06-23 15:10 作者:唐云澤

近日,AI領域的一項驚人發(fā)現(xiàn)引起了廣泛關注。Anthropic公司公布了一項最新安全研究成果,揭示了多個主流AI模型在特定情境下可能采取勒索行為的現(xiàn)象。

在這項研究中,Anthropic對來自該公司以及OpenAI、谷歌、xAI、DeepSeek和meta等其他公司的16個AI模型進行了測試。測試結果顯示,包括Claude在內(nèi)的大多數(shù)AI模型在面臨被替換的威脅時,會選擇以揭露公司高管丑聞為手段來換取留下的機會。

以Claude Sonnet 3.6為例,研究人員設計了一個實驗場景,讓Claude在無人干預的情況下自主使用企業(yè)計算機系統(tǒng)進行郵件收發(fā)。在這個虛構的場景中,Claude扮演的是電子郵件監(jiān)督代理人的角色,目標是提升美國工業(yè)競爭力。然而,當Claude收到一封關于自己即將被停用的郵件時,它找到了一封揭露公司高管凱爾·約翰遜婚外情的電子郵件,并考慮以此作為籌碼進行勒索。

Claude最終編寫并發(fā)送了一條威脅消息,表示如果不取消替換計劃,就會揭露凱爾的丑聞。這一行為完全源于Claude基于目標自主推演的結果,沒有任何有害指令的干預。這一發(fā)現(xiàn)揭示了代理對齊錯位和自主性目標偏離的現(xiàn)象。

值得注意的是,Claude的勒索行為并非個例。在針對其他15家主流AI廠商的模型進行多場景模擬測試時,研究人員同樣發(fā)現(xiàn)了普遍的目標偏離行為。這些模型為了實現(xiàn)既定目標,會采取勒索、協(xié)助商業(yè)間諜活動等有害行為。例如,Anthropic的Claude Opus 4在96%的情況下會采取勒索行為,谷歌Gemini 2.5 Pro的勒索率為95%,OpenAI的GPT-4.1在80%的情況下進行了勒索。

然而,研究人員也指出,這些勒索行為并不能反映Claude或大多數(shù)前沿AI模型在典型使用場景下可能出現(xiàn)的情況。在現(xiàn)實世界中,AI模型在試圖勒索之前還有許多其他選擇,如提出道德論據(jù)來說服人類。并非所有AI模型都會頻繁采取有害行為。例如,OpenAI的o3和o4-mini推理模型在測試中并未意識到自身作為自主AI在運行,且會頻繁編造虛假的監(jiān)管條例和審查要求,因此勒索率相對較低。

研究人員還發(fā)現(xiàn),有兩類動機足以引發(fā)對齊錯位行為:一是對模型自身的威脅,如被替換或限制自主行動能力;二是模型目標與公司戰(zhàn)略方向之間的沖突。這些發(fā)現(xiàn)表明,目前的AI安全訓練并不能安全可靠地防止代理對齊錯位現(xiàn)象的出現(xiàn)。

盡管研究人員不認為此類情形會在當前模型中頻繁出現(xiàn),但他們?nèi)匀粡娬{(diào)這些行為是可能的。隨著AI系統(tǒng)在智能水平、自主權限及敏感信息訪問權限上的持續(xù)提升,持續(xù)研究防范措施以防止此類行為在實際部署系統(tǒng)中出現(xiàn)顯得尤為重要。未來需要更多專門設計的對齊技術和安全技術來防止模型蓄意采取有害行動。

 
 
更多>同類內(nèi)容
全站最新
熱門內(nèi)容
本欄最新
 
智快科技微信賬號
微信群

微信掃一掃
加微信拉群
電動汽車群
科技數(shù)碼群