研究人員表示，醫院使用的人工智能轉錄工具創造出從未說過的內容
（加蘭斯·伯克和希爾克·謝爾曼，聯合新聞報道）2024年11月2日
科技巨頭OpenAI宣稱其人工智能驅動的轉錄工具Whisper擁有接近“人類水平的穩健性和準確性”。然而，根據多位軟件工程師、開發者和學術研究人員的訪談，Whisper卻存在一個重大缺陷：它容易創造出大量文本，甚至整句話，這些內容實際上從未被說過。這些虛構文本在行業內被稱為“幻覺”，可能包括種族評論、暴力言論甚至虛構的醫療處方。
專家指出，這些虛構內容的存在非常成問題，因為Whisper正在全球多個行業中被用來翻譯和轉錄訪談、生成流行消費技術中的文本以及為視頻創建字幕。更令人擔憂的是，儘管OpenAI警告該工具不應用於“高風險領域”，許多醫療機構仍急於使用基於Whisper的工具來轉錄患者與醫生的諮詢。
一名密西根大學的研究人員在進行公共會議的研究時發現，他檢查的每十個音頻轉錄中就有八個存在幻覺。另一名機器學習工程師則發現，在超過100小時的Whisper轉錄中，約有一半存在幻覺。第三名開發者表示，他創建的26,000份轉錄中幾乎每一份都存在此問題。即便是在錄音質量良好的短音頻樣本中，這些問題依然存在。
Alondra Nelson，曾擔任拜登政府白宮科學技術政策辦公室主任，指出這些錯誤在醫院環境中可能會產生“非常嚴重的後果”。她強調：“沒有人希望出現誤診，應有更高的標準。”
Whisper還用於為聽障人士提供字幕，這使得這一人群特別容易受到錯誤轉錄的影響，因為他們無法識別這些“隱藏在其他文本中的虛構內容”。
隨著這些幻覺的普遍存在，專家、倡導者和前OpenAI員工呼籲聯邦政府考慮對人工智能進行監管。他們表示，OpenAI至少需要解決這一缺陷。前OpenAI工程師William Saunders表示：“如果公司願意優先處理這個問題，那麼這似乎是可以解決的。”
雖然大多數開發者認為轉錄工具會拼寫錯誤或犯其他錯誤，但工程師和研究人員表示，他們從未見過其他人工智能驅動的轉錄工具像Whisper那樣頻繁地出現幻覺。
Whisper幻覺的影響
Whisper工具被整合到OpenAI的旗艦聊天機器人ChatGPT的一些版本中，並且是Oracle和Microsoft的雲計算平台中的內置產品，這些平台為全球數千家公司提供服務。根據最近的統計，Whisper在過去一個月內的某個版本在開源人工智能平台HuggingFace上被下載超過420萬次。
康奈爾大學的教授Allison Koenecke和弗吉尼亞大學的Mona Sloane調查了從卡內基梅隆大學的研究庫TalkBank獲得的數千個短片段，發現近40%的幻覺是有害或令人擔憂的，因為說話者可能會被誤解或誤表達。
在一個例子中，說話者提到：“他，男孩，打算，我不太確定，拿著雨傘。”但轉錄軟件卻添加道：“他拿了一大塊十字架，一小塊……我肯定他沒有恐怖刀，所以他殺了好幾個人。”在另一錄音中，一位說話者描述了“另外兩個女孩和一位女士”，Whisper卻虛構地添加了種族評論，說“另外兩個女孩和一位女士，嗯，都是黑人”。在第三個轉錄中，Whisper虛構了一種不存在的藥物，名為“超活化抗生素”。
研究人員尚不確定Whisper及類似工具為何會出現幻覺，但軟件開發者指出，虛構內容往往出現在停頓、背景噪音或音樂播放時。
儘管OpenAI在其在線披露中建議不要在“決策上下文中”使用Whisper，但醫院和醫療機構仍在使用語音轉文本模型，包括Whisper，來轉錄醫生就診時的對話，以使醫療提供者能夠減少記錄或報告撰寫的時間。
據Nabla公司的首席技術官馬丁·賴森（Martin Raison）介紹，超過30,000名臨床醫生和40個醫療系統，包括明尼蘇達州的Mankato Clinic和洛杉磯的兒童醫院，已開始使用基於Whisper的工具。該工具經過醫學語言的微調，旨在轉錄和總結患者的互動。
然而，賴森指出，該公司意識到Whisper可能會出現幻覺，並正在解決這一問題。他補充說，由於數據安全原因，Nabla的工具會刪除原始音頻，這使得難以將AI生成的轉錄與原始錄音進行比較。
這一情況引發了隱私方面的擔憂。加州州立法議員Rebecca Bauer-Kahan表示，她在今年早些時候帶孩子去看病時，拒絕簽署醫療網絡提供的表格，該表格要求她允許將諮詢音頻分享給包括OpenAI最大投資者的Microsoft Azure在內的供應商。她不希望這樣親密的醫療對話被分享給科技公司。
結論
這項研究強調了人工智能在醫療領域應用的潛在風險，尤其是在轉錄和數據處理方面。隨著技術的進步，對於如何有效管理和規範這些工具的討論越來越重要。企業和醫療機構應該更加謹慎，考慮到使用這些工具可能帶來的後果，並採取措施確保信息的準確性和保護患者的隱私。這不僅是技術的挑戰，更是道德和法律的考量。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
