開發(fā)Claude大語言模型系列的初創(chuàng)公司Anthropic PBC于周二宣布，推出一款瀏覽器擴(kuò)展程序的試點項目，該擴(kuò)展允許其AI模型控制用戶的谷歌Chrome瀏覽器。

這項名為"Claude for Chrome"的實驗性瀏覽器控制功能將面向1000名訂閱該公司Max計劃的用戶開放，該計劃月費為100美元或200美元。公司將此擴(kuò)展作為小規(guī)模用戶的受控試點項目發(fā)布，以便Anthropic能夠為這項新興技術(shù)開發(fā)更好的安全實踐。

Anthropic的瀏覽器控制功能試點項目緊隨其他前沿模型公司開發(fā)的AI驅(qū)動功能，包括Perplexity Inc.的Comet瀏覽器、谷歌LLC的Gemini for Chrome以及微軟公司的Copilot for Edge。

"我們認(rèn)為瀏覽器控制AI是不可避免的趨勢：大量工作都在瀏覽器中進(jìn)行，讓Claude能夠看到用戶正在查看的內(nèi)容、點擊按鈕和填寫表單將使其變得更加有用，"Anthropic在公告中表示。

該公司自去年以來一直在開發(fā)計算機控制模型，并首次展示了能夠與Claude 3.5 Sonnet和3.5 Haiku交互的模型示例。此后，公司發(fā)布了具有推理能力的4.1版本模型。

公司表示，Claude for Chrome的早期版本在管理日歷、安排會議、起草電子郵件回復(fù)和測試網(wǎng)站功能方面顯示出了前景。

然而，該功能仍處于實驗階段，代表了一個重大的新安全隱患，這也是為什么它沒有廣泛發(fā)布的原因。允許AI模型直接控制瀏覽器意味著它們在實際環(huán)境中遇到惡意指令的概率更高，這些指令可能在用戶計算機上執(zhí)行，讓攻擊者操控AI模型。

"就像人們在收件箱中遇到釣魚攻擊一樣，使用瀏覽器的AI面臨提示注入攻擊——惡意行為者在網(wǎng)站、電子郵件或文檔中隱藏指令，在用戶不知情的情況下欺騙AI執(zhí)行有害行為，"公司警告說。

提示注入攻擊可用于竊取密碼、泄露個人信息（如財務(wù)數(shù)據(jù)）、登錄網(wǎng)站、刪除文件等。公司表示這不是推測性問題；他們已經(jīng)對瀏覽器控制功能進(jìn)行了測試，發(fā)現(xiàn)聰明的黑客可以讓它執(zhí)行這些行為。

在實驗中，Anthropic表示提示注入測試評估了代表29種不同場景的123次攻擊。其中，沒有安全緩解措施的AI控制瀏覽器使用在故意攻擊中的成功率為23.6%。

在一個例子中，公司制作了一封惡意電子郵件，聲稱出于安全原因需要刪除郵件。當(dāng)為用戶處理收件箱時，Claude遵循了指令并在沒有確認(rèn)的情況下刪除了用戶的電子郵件。

"當(dāng)我們在自主模式中添加安全緩解措施時，我們將攻擊成功率從23.6%降低到11.2%，這相比我們現(xiàn)有的計算機使用能力代表了有意義的改進(jìn)，"Anthropic說。

安全緩解措施包括權(quán)限和操作確認(rèn)。站點級權(quán)限允許用戶隨時在設(shè)置中授予和撤銷AI對特定網(wǎng)站的訪問權(quán)限，這意味著他們對AI的訪問范圍和工作內(nèi)容有細(xì)粒度的控制。操作確認(rèn)更進(jìn)一步，在執(zhí)行發(fā)布、購買或共享個人數(shù)據(jù)等高風(fēng)險操作之前會提示用戶。

Anthropic表示，在試點期間，用戶將被阻止訪問該公司認(rèn)為的"高風(fēng)險類別"網(wǎng)站，如金融服務(wù)、成人內(nèi)容和盜版內(nèi)容。

操作確認(rèn)可能有效，但所有計算機用戶最終都會遭受"自動化偏見"的困擾，即傾向于忽略或刷掉過多的確認(rèn)提示。這對Windows用戶來說特別令人沮喪，他們經(jīng)常面臨操作系統(tǒng)關(guān)于運行任何他們可能下載和使用的非品牌應(yīng)用程序風(fēng)險的彈出警告。

讓用戶成為自身安全的一部分，對于AI開始自動化更多任務(wù)的未來至關(guān)重要，Anthropic強調(diào)需要在現(xiàn)實世界中進(jìn)行更多測試來增強安全性。

"內(nèi)部測試無法復(fù)制人們在現(xiàn)實世界中瀏覽的全部復(fù)雜性：他們提出的具體請求、訪問的網(wǎng)站以及惡意內(nèi)容在實踐中的出現(xiàn)方式，"Anthropic說。

Anthropic團(tuán)隊補充說，他們將利用試點用戶的見解來完善提示注入分類器的運作方式以及安全機制如何保護(hù)用戶。通過建立對用戶行為（特別是不安全行為）的理解并發(fā)現(xiàn)新的攻擊模式，公司表示希望為這類安全關(guān)鍵應(yīng)用開發(fā)更復(fù)雜的控制措施。

"在我們讓Claude for Chrome更廣泛可用之前，我們希望擴(kuò)大我們考慮的攻擊范圍，并學(xué)習(xí)如何讓這些百分比更接近零，"團(tuán)隊說。

Q&A

Q1：Claude for Chrome是什么功能？

A：Claude for Chrome是Anthropic公司開發(fā)的一款實驗性瀏覽器擴(kuò)展程序，它允許Claude AI模型控制用戶的谷歌Chrome瀏覽器，能夠查看用戶正在瀏覽的內(nèi)容、點擊按鈕、填寫表單、管理日歷、安排會議和起草電子郵件等操作。

Q2：使用Claude for Chrome安全嗎？

A：目前該功能仍存在安全風(fēng)險，特別是提示注入攻擊，惡意行為者可能通過網(wǎng)站、郵件等隱藏指令欺騙AI執(zhí)行有害操作。Anthropic在測試中發(fā)現(xiàn)攻擊成功率為23.6%，添加安全措施后降至11.2%，但仍需進(jìn)一步改進(jìn)。

Q3：如何獲得Claude for Chrome的使用權(quán)限？

A：目前Claude for Chrome僅作為受控試點項目向1000名訂閱Anthropic Max計劃的用戶開放，該計劃月費為100美元或200美元。用戶在試點期間將被限制訪問金融服務(wù)、成人內(nèi)容等高風(fēng)險網(wǎng)站，并需要通過權(quán)限設(shè)置和操作確認(rèn)來控制AI的行為。