Claude AI 控制電腦引發網絡安全擔憂

Ai

**Claude AI 現可控制電腦,引發安全專家關注**

隨著最新更新,由亞馬遜支持的 Anthropic 開發的 Claude AI 工具現在能夠控制你的電腦。這項功能旨在讓 Claude 像人類一樣使用電腦,但一些 AI 和安全專家警告,這可能促進網絡犯罪或影響用戶隱私。

這項被稱為「電腦使用」的功能,意味著 Claude 可以自動在你的電腦上完成一些任務,比如移動光標、打開網頁、輸入文字、下載文件等。目前,該功能已通過 Claude API 首先向開發者推出,並包含在 Claude 3.5 Sonnet 測試版中,未來可能會添加到更多型號中。Anthropic 警告說,這項新功能可能會出錯或犯錯,因為它仍處於早期階段。

Anthropic 表示,像 Asana、Canva 和 DoorDash 這些公司已經在測試這項新功能,讓 Claude 完成通常需要「數十甚至數百個步驟」才能完成的工作。這可能意味著美國經濟自動化程度的提高,員工通過自動化工作任務來達成最後期限或提高效率。但如果更多項目更快完成,也可能導致工作機會減少。

Claude 可能會拒絕完成某些可以完全自動化社交媒體和電子郵件帳戶的任務。然而,一位程式員聲稱他已經能夠創建一個「包裝器」來繞過這些限制。

「想到網絡犯罪分子可能利用這個工具,我就冒汗。」
—— Rachel Tobac

從安全角度來看,Equianas Institute 的創始人 Jonas Kgomo 稱 Claude 的電腦使用功能為「未經測試的 AI 安全領域」,強調使用這項新工具進行網絡攻擊是完全可能的。

Parrot AI 的創始人 Paul Morville 向 PCMag 表示,雖然 Anthropic 建議只在監督的情況下使用這項新功能是明智的,但「無論是故意還是無意的安全問題的潛力都是巨大的」,未來可能會被用來幫助黑客部署自動遠程訪問木馬(AI RATs)。

自稱黑客的社交安全公司 SocialProof Security 的 CEO Rachel Tobac 表示,她想到網絡犯罪分子可能利用這個工具就冒汗了。

「這輕鬆自動化了讓機器訪問網站並下載惡意軟件或提供機密的任務,這可能擴大攻擊規模(在更短時間內入侵更多機器),」Tobac 在週二寫道。「我還能想像網頁可能會有惡意提示,讓 AI 工具劫持請求的 AI 任務!」

Tobac 列舉了 Claude 的電腦使用可能出錯的多種情況。這可能導致人類責任和監督減少,意味著如果 AI 的行為導致網絡攻擊或數據洩漏,人們可能會聲稱他們不負責。攻擊者還可以設計網站,知道這項工具的存在,並注入惡意代碼或提示來覆蓋 AI,讓其下載惡意文件或執行攻擊。

「我真心希望 Anthropic 有巨大的防護措施,」Tobac 補充道。「這真是嚴重的問題。」

但正如 Datasette 創始人 Simon Willison 所指出的,Anthropic 警告用戶它沒有這樣的防護措施,因為它無法在某些情況下阻止 AI 被劫持。

Anthropic 在一篇文章中寫道:「我們的信任與安全團隊對我們的新電腦使用模型進行了廣泛分析,以識別潛在漏洞。他們發現的一個問題是『提示注入』,這是一種網絡攻擊,惡意指令被傳遞給 AI 模型,導致其覆蓋先前指令或執行偏離用戶原意的未預期行動。由於 Claude 能夠解釋連接到互聯網的電腦截圖,它可能會接觸到包括提示注入攻擊的內容。」

然而,Anthropic 為這項功能的推出辯護,認為這樣的工具是不可避免的。它認為現在推出比在假設的未來更好,因為 AI 模型的能力還沒有達到最終可能的程度。

「當未來模型需要 AI 安全等級 3 或 4 的保護措施時,因為它們會帶來災難性風險,電腦使用可能會加劇這些風險,」它說。「我們判斷現在引入電腦使用可能更好,因為模型仍然只需要 AI 安全等級 2 的保護措施。這意味著我們可以在風險太高之前開始處理任何安全問題,而不是在一個風險更大的模型中首次添加電腦使用功能。」

Adlumin 的資深總監 Will Ledesma 向 PCMag 表示,考慮到 Anthropic 的使用指南以及 Claude 如何儲存或分享敏感數據,Claude 的電腦使用令人擔憂。「建議使用虛擬機器意味著他們已經擔心它可能會做什麼。[但]從虛擬機器甚至容器中突破來訪問根系統並不是不可能的,」Ledesma 說。

「此外,還有一個擔憂是他們存儲這些敏感數據的地方,例如截圖,他們表示如果有法律要求,他們會交出截圖。這可能會被武器化,」Ledesma 繼續道。「例如,如果壞人獲得這個軟件的訪問權限,他們可以用它來監控個人。這裡的權衡是使用便捷性與隱私之間的權衡。許多人願意放棄隱私以使某些事情『更簡單』,但這就是風險。如果執法機構用它對他們有合法監控權的終端進行監控,他們也可能濫用這一點。」

**評論**

這篇文章揭示了 Claude AI 的新功能可能帶來的潛在風險和挑戰。自動化雖然提高了工作效率,但也可能成為網絡犯罪的工具。這提醒我們在享受科技便利的同時,必須嚴肅對待安全問題。Anthropic 的立場是趁早面對這些風險,在某種程度上是理性的,但這也需要他們在技術和道德上設置更強的防護措施。香港的科技界和用戶應該密切關注這類技術的發展,並在使用時謹慎評估風險與收益。

以上文章由特價GPT API KEY所翻譯

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *