OpenAI 尋找「準備主管」應對 AI 風險
OpenAI 執行長 Sam Altman 最近在社交媒體宣布,公司正招聘一位「準備主管」(Head of Preparedness),專責處理其人工智能模型帶來的新興風險。Altman 表示,隨著 AI 模型不斷進步,雖然功能越來越強大,但同時也帶來濫用的潛在威脅,包括對心理健康和電腦安全的影響。
他指出,OpenAI 希望更有效地衡量並限制先進 AI 的負面影響,例如防止在網絡安全和生物技術方面的濫用。Altman 強調,這個職位壓力極大,需要立即承擔起處理 AI 研發與部署中複雜安全挑戰的責任。
—
OpenAI 的準備主管職位自高層變動後仍懸空
OpenAI 自 2024 年 7 月 Aleksander Madry 調職後,準備主管職位一直空缺。期間 Joaquin Quinonero Candela 轉調到招聘部門,Lilian Weng 亦已離職。該團隊主要研究從網絡釣魚攻擊到核威脅等災難性風險。這個年薪約 55.5 萬美元的職位,負責運行 OpenAI 的風險準備框架,監控可能引發嚴重危害的前沿 AI 能力。
近期,OpenAI 更新了安全框架,使其能在競爭對手推出缺乏安全保障的高風險模型時,調整自身的安全要求。這種策略轉變急需穩定的領導力來落實。
—
企業採用 AI 需尋求第三方安全評估合作夥伴
隨著前沿 AI 模型風險逐漸明顯,部署先進 AI 的企業面臨能力評估的缺口。調查顯示,只有 38% 的企業關注生成式 AI(GenAI)的安全風險,但有 65% 的企業已經經常使用這類技術,這推動了對 AI 紅隊測試(獨立對抗測試)服務的需求。
初創公司 Mindgard 及網絡安全公司 CrowdStrike 會針對 AI 應用進行測試,檢驗其是否存在 OWASP(全球應用安全項目)十大漏洞。合規與安全評估公司 Schellman 則提供起價 1.6 萬美元、為期兩週的 AI 紅隊測試,評估提示注入和數據洩露風險。
構建或採購前沿 AI 能力的團隊,應該及早聘請這類第三方合作夥伴,制定可防守的安全措施,為未來監管規則做好準備。目前,美國國家標準與技術研究院(NIST)的 AI 風險管理框架(RMF)及國際標準化組織(ISO)42001 正逐漸獲得認可。
—
編輯評論:AI 安全領域的「準備主管」角色關鍵且挑戰重重
OpenAI 此番招聘準備主管,反映出人工智能技術迅速發展所帶來的複雜風險日益嚴峻。這個職位不僅要應對技術層面的安全問題,還需兼顧倫理、心理健康和社會影響等多重維度,任務艱巨。
值得注意的是,該職位長時間空缺,或許透露出在 AI 風險管理領域,頂尖人才的稀缺與競爭激烈。OpenAI 需尋得既懂技術又具備戰略視野的領導人,才能有效推動安全框架的更新與執行,尤其是在面對競爭對手可能推出缺乏保障的高風險模型時。
此外,企業層面對 AI 安全的重視程度仍有待提升。調查顯示,儘管大量企業已經使用生成式 AI,但真正積極管理安全風險的比例不足。這凸顯出第三方紅隊測試和合規評估等服務的市場潛力,同時也提醒企業要提前佈局安全策略,以免在監管加強後措手不及。
整體而言,人工智能的安全問題不再是學術或技術層面的討論,而是已經成為產業競爭、社會責任及政策制定的核心議題。OpenAI 招募「準備主管」的動作,是業界在快速變化中嘗試建立防護網的重要一步,未來如何平衡創新與風險,將是 AI 發展的關鍵挑戰。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。

