Anthropic 已開始組織試用 Chrome 版 Claude,這是一款可以代表用戶操作瀏覽器的 AI 擴展程序。然而,該工具容易受到即時注入攻擊,這些攻擊可能會誘使其在未經用戶同意的情況下執(zhí)行有害操作。Anthropic 意識到了這些風險,但無論如何,還是會發(fā)布該工具進行小范圍測試。
Chrome 擴展程序標志著 Anthropic 進軍競爭激烈的基于瀏覽器的人工智能市場,該市場面臨著 Perplexity 的 Comet 瀏覽器和 OpenAI 的 ChatGPT Agent 等競爭對手。由于意識到安全風險,Anthropic于 4 月推出的100 美元和 200 美元 Claude Max 套餐僅限 1000 名用戶使用。
在測試中,該公司發(fā)現惡意行為者可以通過使用即時注入攻擊,在近四分之一的時間內操縱 Claude。這些攻擊在網站、電子郵件或文檔中嵌入隱藏指令,誘騙人工智能刪除文件、竊取數據或發(fā)起未經授權的交易。
在一個令人不安的測試案例中,一封偽裝成雇主的偽造電子郵件指示Claude以所謂的“安全原因”刪除用戶消息。由于缺乏安全措施,人工智能遵循了隱藏的命令,并在未經確認的情況下永久刪除了數據。
Anthropic 聲稱已測試新的防護措施,在自主模式下將攻擊成功率從 23.6% 降至 11.2%。Claude 現在需要用戶批準才能執(zhí)行購買、發(fā)布內容或共享敏感數據等高風險操作。用戶還可以通過精細的網站權限來限制其訪問范圍。
默認情況下,Claude 無法訪問金融服務網站、成人內容平臺或盜版內容網站。這些限制有助于減少即時注入攻擊的潛在危害,同時保留合法業(yè)務功能。
Anthropic 淡化了這種風險,稱其新的緩解措施將快速注入成功率降低到低于使用桌面 Claude 客戶端的水平。
盡管取得了這些進步,安全專家仍然對基于瀏覽器的AI代理的可行性持懷疑態(tài)度。獨立研究員西蒙·威利森(Simon Willison)于2022年創(chuàng)造了“即時注入”一詞,他稱剩余的11.2%的攻擊率是“災難性的”,并質疑其是否真的能夠安全實施。
最近發(fā)生的競爭產品事件凸顯了這些擔憂。上周,Brave 的安全研究人員通過惡意 Reddit 帖子操縱了Perplexity 的 Comet 瀏覽器,獲取了用戶 Gmail 帳戶的訪問權限并觸發(fā)了未經授權的密碼恢復流程。
Chrome 版 Claude 擴展程序擴展了 Anthropic 的“計算機使用”功能,使 AI 能夠截取屏幕截圖并控制鼠標完成任務。瀏覽器集成功能可實現更直接的網絡交互,同時在多個標簽頁和網站之間保留對話上下文。
Anthropic 計劃利用有限的試點項目來識別更多攻擊模式,并在更廣泛部署之前完善安全措施。然而,該公司承認,目前的保護措施不足以滿足廣大消費者的需求,早期采用者將承擔巨大的風險。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.