AI 轉錄工具「Whisper」造假資料引發醫療擔憂

Ai

研究人員指出:醫院使用的AI轉錄工具會虛構從未說過的內容

加蘭斯·伯克和希爾克·謝爾曼
美聯社
2024年11月3日 上午10:30

舊金山——科技巨頭OpenAI曾宣稱其人工智能驅動的轉錄工具Whisper擁有接近「人類水平的穩定性和準確性」。然而,Whisper卻存在一個重大缺陷:根據超過十位軟件工程師、開發者和學術研究者的訪談,該工具容易虛構大量文本,甚至整個句子。這些專家表示,這些虛構的文本在行業中被稱為「幻覺」,其中可能包含種族評論、暴力言論,甚至虛構的醫療治療。

專家指出,這類虛構內容的問題在於,Whisper正在全球多個行業中被用來翻譯和轉錄訪談、在流行的消費技術中生成文本以及為視頻創建字幕。更令人擔憂的是,醫療中心急於利用基於Whisper的工具來轉錄患者與醫生的會診,儘管OpenAI已警告該工具不應用於「高風險領域」。

雖然該問題的全貌難以確定,但研究人員和工程師表示,他們在工作中經常遇到Whisper的幻覺。例如,一位密歇根大學的研究人員在進行公共會議研究時,發現他檢查的每十個音頻轉錄中就有八個存在幻覺。在他分析的100多小時Whisper轉錄中,他最初發現約有一半存在幻覺。另一位開發者則表示,他在使用Whisper生成的26,000個轉錄中幾乎每一個都存在幻覺。

即使在錄音質量良好且時間短暫的音頻樣本中,問題依然存在。計算機科學家的一項最新研究發現,在他們檢查的13,000多個清晰音頻片段中,有187個幻覺的例子。

研究人員表示,這一趨勢可能導致數十萬次錯誤的轉錄,對醫療環境而言,這可能會帶來「非常嚴重的後果」。前白宮科技政策辦公室主任阿隆德拉·納爾遲指出:「沒有人希望出現誤診。」她補充道,「應該設立更高的標準。」

Whisper還被用於為聽障人士和有聽力障礙的人創建字幕。這對於這一人群而言,特別容易受到錯誤轉錄的風險,因為他們無法識別這些虛構的內容在其他文本中的「隱藏」。加拉udet大學的技術接入項目主任克里斯蒂安·福格勒表示:「這些虛構內容在大量文本中可能會被混淆。」

OpenAI被敦促解決問題

這些幻覺的普遍性使得專家、倡導者和前OpenAI員工呼籲聯邦政府考慮對AI進行監管。他們表示,至少OpenAI需要解決這一缺陷。

舊金山的研究工程師威廉·桑德斯表示:「如果公司願意優先解決這個問題,這似乎是可以解決的。」他提到,「如果你把這個工具推出去,讓人們對其功能過於自信,並將其整合進其他系統,那就很麻煩了。」

OpenAI的發言人表示,公司持續研究如何減少幻覺的發生,並感謝研究人員的發現,並補充說OpenAI在模型更新中納入了反饋意見。

雖然大多數開發者假設轉錄工具會拼寫錯誤或出現其他錯誤,但工程師和研究人員表示,他們從未見過其他AI驅動的轉錄工具像Whisper這樣頻繁地出現幻覺。

Whisper的幻覺

該工具被整合進OpenAI的主打聊天機器人ChatGPT的某些版本中,並作為Oracle和Microsoft雲計算平台的內建功能,服務於全球成千上萬的公司。它還用於轉錄和翻譯多種語言的文本。

僅在上個月,Whisper的一個最新版本就在開源AI平台HuggingFace上下載超過420萬次。Sanchit Gandhi,一位那裡的機器學習工程師,表示Whisper是最受歡迎的開源語音識別模型,並被廣泛應用於呼叫中心和語音助手等各種場景。

康奈爾大學的艾莉森·科恩克教授和維吉尼亞大學的莫娜·斯洛恩教授檢查了她們從卡內基梅隆大學的研究庫TalkBank獲得的數千個短片段,發現近40%的幻覺是有害或令人擔憂的,因為這可能會導致發言者被誤解或錯誤表述。

例如,她們發現一位發言者說道:「他,這個男孩,將要,我不太確定,拿起雨傘。」但轉錄軟件卻增加了:「他拿起了一大塊十字架,一小塊……我確定他沒有恐怖刀,所以他殺了好幾個人。」另一段錄音中,一位發言者描述了「另外兩個女孩和一位女士」,而Whisper卻虛構了種族評論,增加了「另外兩個女孩和一位女士,嗯,她們是黑人。」在第三個轉錄中,Whisper虛構了一種不存在的藥物,叫做「超活化抗生素」。

研究人員不確定Whisper和類似工具為何會出現幻覺,但軟件開發者表示,這些虛構內容往往發生在停頓、背景噪音或音樂播放時。

OpenAI在其在線披露中建議不要在「決策上下文」中使用Whisper,因為準確性缺陷可能導致結果出現顯著問題。

轉錄醫生預約

這一警告並未阻止醫院或醫療中心使用語音轉文字模型,包括Whisper,來轉錄在醫生就診過程中所說的內容,以減少醫療提供者在記錄或撰寫報告上花費的時間。

超過30,000名臨床醫生和40個健康系統,包括明尼蘇達州的曼卡托診所和洛杉磯兒童醫院,已開始使用由Nabla開發的基於Whisper的工具,該公司在法國和美國設有辦事處。

該工具專門針對醫療語言進行了調整,旨在轉錄和總結患者的互動,Nabla的首席技術官馬丁·賴森表示。

公司官員表示,他們知道Whisper可能會出現幻覺,並正在減輕這一問題。

賴森表示,無法將Nabla的AI生成的轉錄與原始錄音進行比較,因為Nabla的工具出於「數據安全原因」會刪除原始音頻。

Nabla表示,該工具已被用於轉錄約700萬次醫療就診。

桑德斯,前OpenAI工程師表示,如果轉錄未經雙重檢查,或者臨床醫生無法訪問錄音以確認其正確性,刪除原始音頻可能令人擔憂。「如果你刪除了根本事實,就無法發現錯誤。」他說。

Nabla表示,沒有任何模型是完美的,目前他們的工具需要醫療提供者快速編輯和批准轉錄的筆記,但這一點可能會改變。

隱私問題

由於患者與醫生的會議是保密的,因此很難知道AI生成的轉錄對他們的影響。

加州州立法者瑞貝卡·鮑爾-卡漢表示,她今年早些時候帶著一個孩子去看醫生,並拒絕簽署健康網絡提供的表格,該表格要求她允許將會診音頻分享給包括OpenAI最大投資者運營的Microsoft Azure在內的供應商。鮑爾-卡漢表示,她不希望這種親密的醫療對話被分享給科技公司。「該聲明非常具體,指出盈利公司將有權獲取這些信息。」她說,「我當時想,『絕對不行。』」

約翰·穆爾健康的發言人本·德魯表示,該健康系統遵守州和聯邦隱私法。

這篇文章揭示了AI技術在醫療領域應用中的風險,特別是Whisper在轉錄時出現的「幻覺」問題,這不僅可能導致醫療誤診,還可能影響到聽障人士的溝通。隨著AI技術的廣泛應用,如何平衡技術創新與倫理考量成為亟待解決的課題。政府和企業在推廣AI技術的同時,需建立嚴格的監管框架,以保障使用者的安全和隱私。此外,醫療行業在引入這類技術時,必須更加謹慎,確保不因便利而忽視了患者的健康和權益。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *