**安全專家能否在沒有提示工程技能的情況下利用生成式AI？**
在2024年10月，Megan Crouse撰寫了一篇文章，探討安全專家是否能在缺乏提示工程技能的情況下，利用生成式AI。這項研究由Rensselaer理工學院在ISC2安全大會上提出，焦點在於生成式AI是否能有效地創造信息安全培訓材料。
**實驗涉及使用ChatGPT創建網絡培訓**
實驗的主要問題是：「我們如何訓練安全專業人士，以便讓AI創建更真實的安全培訓？」以及安全專業人士是否需要成為提示工程師才能設計有效的生成式AI培訓？
研究者將同樣的任務分配給三組人：擁有ISC2認證的安全專家、自稱為提示工程專家的個人，以及同時具備這兩種資格的人。他們的任務是使用ChatGPT創建網絡安全意識培訓，然後將培訓材料分發給校園社區，讓用戶提供對材料效果的反饋。
研究者假設培訓質量不會有顯著差異，但若有差異，則可揭示哪些技能最為重要。由安全專家或提示工程專家創建的提示會更有效嗎？
**培訓受試者對材料評價很高，但ChatGPT犯錯**
研究者將結果材料（經過輕微編輯，主要為AI生成內容）分發給Rensselaer的學生、教職員。結果顯示：
– 由提示工程師設計的培訓使參與者覺得自己更擅長避免社交工程攻擊和密碼安全。
– 由安全專家設計的培訓使參與者覺得自己更擅長識別和避免社交工程攻擊、檢測釣魚攻擊和提示工程。
– 由雙重專家設計的培訓使參與者覺得自己在網絡威脅和檢測釣魚方面更有能力。
Callahan指出，安全專家訓練的學員自我感覺在提示工程方面更優秀，這似乎有些奇怪。然而，那些創建培訓的人普遍對AI生成的內容評價不高。
他表示，沒有人認為他們的初稿足以交給人們，需要進一步修訂。在某個案例中，ChatGPT創建了一個看似完整的釣魚郵件報告指南，但內容全不正確。後來，要求ChatGPT鏈接到RPI的安全門戶，才生成正確的指導。
**揭示培訓是否由AI撰寫至關重要**
Callahan表示，若能正確提示，ChatGPT或許能了解你的政策。RPI是一所公立大學，其所有政策都可以在線獲得。
研究者在培訓結束後才透露內容是AI生成的，反應不一。許多學生「無所謂」，預期未來會有些材料由AI撰寫；其他人則「懷疑」或「害怕」；有些人覺得「諷刺」，因為信息安全培訓是由AI創建的。
Callahan指出，任何使用AI創建真實培訓材料的IT團隊都應披露AI的使用。
他強調，生成式AI能成為有價值的工具，但如同其他工具，存在風險。部分培訓內容不正確、過於寬泛或通用。
**實驗的一些限制**
Callahan指出，ChatGPT和其他生成式AI會讓人感覺自己學到了東西，但事實未必如此。測試實際技能而非自我報告需要更多時間。
在演講後，我詢問Callahan和Sugarman是否考慮過使用全人類撰寫的控制組。他們表示有考慮，但因研究的重點是將培訓創建者分為網絡安全專家和提示工程師，所以未設立這樣的對照組。
本次實驗的參與者數量有限，僅有15名受試者和3名創建者。Callahan在後續電郵中表示，最終發表的版本將包括更多參與者，因為初步實驗仍在進行中。
**評論**
這項研究揭示了AI在創建安全培訓材料方面的潛力和挑戰。生成式AI的應用，特別是在需要精確和專業知識的領域，如網絡安全，需謹慎行事。儘管AI能快速生成內容，但其準確性和可靠性仍是問題。這提醒我們，在追求技術創新時，仍需保持批判性思維和專業審查。未來，AI與人類專業技能的結合可能帶來更強大的工具，但透明度和準確性將是成功的關鍵。
以上文章由特價GPT API KEY所翻譯
