**OpenAI的轉錄工具可能捏造你從未對醫生說過的話**
隨着生成式人工智能的發展，我們不難發現AI並不完美。AI經常產生不真實或錯誤的輸出，我們稱之為「幻覺」。
這就是為什麼在這個時刻將大量工作交給AI會有問題。AI可以被用來做好事，但如果盲目信任它去處理重要任務而不加以監督或事實核查，則會面臨真正的風險。我們現在正看到這種情況在一些令人擔憂的方式中發生。
**OpenAI的Whisper出現幻覺問題**
最新的高調幻覺案例涉及Whisper，這是一個由OpenAI開發的AI轉錄工具。Whisper非常受歡迎：許多轉錄服務都利用這個平台來加快轉錄對話的速度和便捷性。表面上看，這是一件好事：Whisper及其支持的服務在用戶中有良好的口碑，並且在各行各業中使用越來越廣泛。
然而，幻覺卻成為了阻礙。據AP新聞報道，研究人員和專家對Whisper發出警告，稱其不僅不準確，還經常完全捏造內容。雖然所有AI都有幻覺的傾向，但研究人員警告說，Whisper會報告一些根本未曾說過的話，包括「種族評論、暴力言論甚至是想像中的醫療處理」。
對於個人使用Whisper的人來說，這已經夠糟糕了。但更大的擔憂在於Whisper在專業行業中擁有大量用戶：你在觀看視頻時看到的字幕可能由Whisper生成，這可能會影響聾人或聽力障礙者對視頻的印象。重要的採訪可能會使用Whisper支持的工具進行轉錄，這可能會留下不正確的記錄。
**你與醫生的對話可能被錯誤轉錄**
然而，目前最受關注的情況是Whisper在醫院和醫療中心的使用。研究人員擔心許多醫生和醫療專業人士已經開始使用Whisper工具來轉錄他們與患者的對話。你與醫生的健康討論可能會被記錄，然後由Whisper分析，結果卻轉錄出完全不屬於對話內容的虛假陳述。
這不是假設：不同的研究人員通過研究Whisper工具的轉錄結果得出了相似的結論。AP新聞匯總了一些這些結果：密歇根大學的一位研究員發現Whisper的轉錄中有八成出現了幻覺；一位機器學習工程師發現他調查的轉錄中有50%存在問題；一位研究員在他生產的26,000個Whisper轉錄中幾乎全部發現了幻覺。一項研究甚至發現，即使音頻錄音短且清晰，幻覺也會持續出現。
但康奈爾大學教授Allison Koenecke和Mona Sloane的報道最能引起直接的關注：這些教授發現他們在Carnegie Mellon研究庫TalkBank中找到的轉錄中近40%的幻覺是「有害或令人擔憂的」，因為講者可能會被「誤解或誤表達」。
例如，講者說：「他，那個男孩，要去，我不太確定，拿雨傘。」AI則在轉錄中添加了：「他拿了一大塊十字架，一小塊……我確定他沒有恐怖刀所以殺了很多人。」在另一個例子中，講者說：「另外兩個女孩和一位女士」，而AI則將其變成了：「另外兩個女孩和一位女士，嗯，是黑人。」
考慮到這一切，令人擔憂的是，目前有超過30,000名臨床醫生和40個健康系統正在通過Nabla開發的工具使用Whisper。更糟糕的是，你無法對照原始錄音檢查Nabla的工具是否在報告中出現幻覺，因為Nabla為了「數據安全原因」設計工具刪除了音頻。據公司稱，約有700萬次醫療訪問使用該工具進行對話轉錄。
**AI準備好進入主流了嗎？**
生成式AI作為一項技術並不新鮮，但ChatGPT的出現真正推動了其在2022年底的普及。自那時以來，企業競相將AI融入他們的平台和服務。為什麼不呢？看起來公眾非常喜歡AI，而生成式AI似乎能做任何事情。為什麼不接受它，並利用AI的「魔力」來增強轉錄等任務？
我們現在看到原因。AI有很大的潛力，但也有很多缺點。幻覺不僅僅是偶爾的煩惱：它們是技術的副產品，是神經網絡結構中的缺陷。我們不完全理解為什麼AI模型會產生幻覺，這就是問題的一部分。我們信任擁有我們不完全理解的缺陷的技術來為我們處理重要工作，以至於我們為了安全而刪除可以用來核對AI輸出的數據。
我個人不覺得安全，因為我的醫療記錄可能會包含明顯的錯誤，只因為我的醫生辦公室決定在他們的系統中使用Nabla的工具。
—
**編輯評論：**
這篇文章揭示了AI技術在醫療領域應用中的潛在風險。Whisper的幻覺問題不僅影響個人用戶，也對專業行業產生了深遠影響。尤其在醫療環境中，錯誤的轉錄可能導致嚴重後果。這提醒我們在依賴AI技術的同時，必須保持謹慎和監督。AI的潛力巨大，但我們不能忽視其缺陷和風險，尤其是當這些技術應用於關鍵領域時。這也引發了一個更廣泛的討論，即在AI技術快速發展的時代，我們如何平衡創新與安全之間的關係。
以上文章由特價GPT API KEY所翻譯
