OpenAI招募安全主管應對AI風險挑戰

zero comment

OpenAI 尋找「準備主管」應對 AI 風險

OpenAI 執行長 Sam Altman 最近在社交媒體宣布，公司正招聘一位「準備主管」（Head of Preparedness），專責處理其人工智能模型帶來的新興風險。Altman 表示，隨著 AI 模型不斷進步，雖然功能越來越強大，但同時也帶來濫用的潛在威脅，包括對心理健康和電腦安全的影響。

他指出，OpenAI 希望更有效地衡量並限制先進 AI 的負面影響，例如防止在網絡安全和生物技術方面的濫用。Altman 強調，這個職位壓力極大，需要立即承擔起處理 AI 研發與部署中複雜安全挑戰的責任。

—

OpenAI 的準備主管職位自高層變動後仍懸空

OpenAI 自 2024 年 7 月 Aleksander Madry 調職後，準備主管職位一直空缺。期間 Joaquin Quinonero Candela 轉調到招聘部門，Lilian Weng 亦已離職。該團隊主要研究從網絡釣魚攻擊到核威脅等災難性風險。這個年薪約 55.5 萬美元的職位，負責運行 OpenAI 的風險準備框架，監控可能引發嚴重危害的前沿 AI 能力。

近期，OpenAI 更新了安全框架，使其能在競爭對手推出缺乏安全保障的高風險模型時，調整自身的安全要求。這種策略轉變急需穩定的領導力來落實。

—

企業採用 AI 需尋求第三方安全評估合作夥伴

隨著前沿 AI 模型風險逐漸明顯，部署先進 AI 的企業面臨能力評估的缺口。調查顯示，只有 38% 的企業關注生成式 AI（GenAI）的安全風險，但有 65% 的企業已經經常使用這類技術，這推動了對 AI 紅隊測試（獨立對抗測試）服務的需求。

初創公司 Mindgard 及網絡安全公司 CrowdStrike 會針對 AI 應用進行測試，檢驗其是否存在 OWASP（全球應用安全項目）十大漏洞。合規與安全評估公司 Schellman 則提供起價 1.6 萬美元、為期兩週的 AI 紅隊測試，評估提示注入和數據洩露風險。

構建或採購前沿 AI 能力的團隊，應該及早聘請這類第三方合作夥伴，制定可防守的安全措施，為未來監管規則做好準備。目前，美國國家標準與技術研究院（NIST）的 AI 風險管理框架（RMF）及國際標準化組織（ISO）42001 正逐漸獲得認可。

—

編輯評論：AI 安全領域的「準備主管」角色關鍵且挑戰重重

OpenAI 此番招聘準備主管，反映出人工智能技術迅速發展所帶來的複雜風險日益嚴峻。這個職位不僅要應對技術層面的安全問題，還需兼顧倫理、心理健康和社會影響等多重維度，任務艱巨。

值得注意的是，該職位長時間空缺，或許透露出在 AI 風險管理領域，頂尖人才的稀缺與競爭激烈。OpenAI 需尋得既懂技術又具備戰略視野的領導人，才能有效推動安全框架的更新與執行，尤其是在面對競爭對手可能推出缺乏保障的高風險模型時。

此外，企業層面對 AI 安全的重視程度仍有待提升。調查顯示，儘管大量企業已經使用生成式 AI，但真正積極管理安全風險的比例不足。這凸顯出第三方紅隊測試和合規評估等服務的市場潛力，同時也提醒企業要提前佈局安全策略，以免在監管加強後措手不及。

整體而言，人工智能的安全問題不再是學術或技術層面的討論，而是已經成為產業競爭、社會責任及政策制定的核心議題。OpenAI 招募「準備主管」的動作，是業界在快速變化中嘗試建立防護網的重要一步，未來如何平衡創新與風險，將是 AI 發展的關鍵挑戰。