**AI在醫院中使用的轉錄工具發現捏造內容**
舊金山（美聯社）— 科技巨頭OpenAI推廣其人工智能驅動的轉錄工具Whisper，宣稱其接近“人類級別的穩定性和準確性”。
然而，Whisper存在一個重大缺陷：它容易捏造大量文本，甚至整句話。根據與多位軟件工程師、開發人員和學術研究人員的訪談，這些專家指出，這些捏造的文本——在行業中稱為幻覺——可能包括種族評論、暴力言論，甚至是虛構的醫療治療。
專家表示，這些捏造的內容問題嚴重，因為Whisper被廣泛應用於全球多個行業，用於翻譯和轉錄訪談、生成流行消費技術中的文本以及為視頻創建字幕。
更令人擔憂的是，儘管OpenAI警告不應在“高風險領域”使用該工具，醫療中心依然急於使用基於Whisper的工具來轉錄患者與醫生的對話。
問題的全面性難以辨別，但研究人員和工程師表示，他們經常在工作中發現Whisper的幻覺。一位密歇根大學的研究人員在研究公共會議時發現，檢查的每10個音頻轉錄中有8個存在幻覺。
一位機器學習工程師表示，在分析超過100小時的Whisper轉錄時，他最初發現約一半存在幻覺。另一位開發人員則表示，他在創建的26,000個轉錄中幾乎每一個都發現了幻覺。
即使是錄音清晰、簡短的音頻樣本，問題依然存在。最近一項計算機科學家的研究在檢查的13,000多個清晰音頻片段中發現了187個幻覺。
研究人員表示，這種趨勢可能會導致數以萬計的錯誤轉錄。
這樣的錯誤在醫院環境中可能會有“非常嚴重的後果”，白宮科技政策辦公室前負責人Alondra Nelson指出。
“沒有人希望被誤診，”身在普林斯頓新澤西高等研究院的Nelson教授說。“應該有更高的標準。”
Whisper還被用於為聾人和聽力障礙者創建字幕——這是一個特別容易受到錯誤轉錄影響的人群。因為聾人和聽力障礙者無法辨別捏造的內容“隱藏在所有其他文本中”，Gallaudet大學技術接入計劃的主管Christian Vogler說。
**OpenAI被敦促解決問題**
幻覺的普遍存在促使專家、倡導者和前OpenAI員工呼籲聯邦政府考慮AI監管。他們表示，至少OpenAI需要解決這個缺陷。
“如果公司願意優先考慮這個問題，這似乎是可以解決的，”舊金山的研究工程師William Saunders說，他因對公司方向的擔憂於二月辭去了OpenAI的職位。“如果你將這個工具推出，而人們對其功能過於自信並將其整合到所有其他系統中，這是有問題的。”
OpenAI的一位發言人表示，公司一直在研究如何減少幻覺，並感謝研究人員的發現，並表示OpenAI在模型更新中會納入反饋。
**Whisper幻覺**
該工具被整合到OpenAI的旗艦聊天機器人ChatGPT的某些版本中，並作為Oracle和Microsoft雲計算平台的內置服務，這些平台為全球數千家公司提供服務。它還被用於轉錄和翻譯多種語言的文本。
僅在上個月，Whisper的一個最近版本就從開源AI平台HuggingFace下載了超過420萬次。那裡的機器學習工程師Sanchit Gandhi表示，Whisper是最受歡迎的開源語音識別模型，被嵌入到從呼叫中心到語音助手的各種應用中。
康奈爾大學的Allison Koenecke和弗吉尼亞大學的Mona Sloane教授檢查了他們從卡內基梅隆大學的TalkBank研究庫獲得的數千個短片段。他們確定近40%的幻覺是有害或令人擔憂的，因為說話者可能會被誤解或錯誤地表達。
在他們發現的一個例子中，一位說話者說：“他，那個男孩，將要，我不確定，拿雨傘。”但轉錄軟件補充說：“他拿了一大塊十字架，一小塊……我肯定他沒有恐怖刀，所以他殺了很多人。”
在另一個錄音中，一位說話者描述了“另外兩個女孩和一位女士。”Whisper虛構了種族評論，補充說“另外兩個女孩和一位女士，嗯，是黑人。”
在第三個轉錄中，Whisper虛構了一種不存在的藥物，稱為“超激活抗生素”。
研究人員不確定為何Whisper和類似工具會產生幻覺，但軟件開發人員表示，這些捏造內容往往出現在停頓、背景聲音或播放音樂的時候。
OpenAI在其在線披露中建議不要在“決策上下文中使用Whisper，因為準確性的缺陷可能導致結果的明顯缺陷。”
**轉錄醫生約診**
這一警告並未阻止醫院或醫療中心使用語音轉文本模型，包括Whisper，來轉錄醫生訪問中的談話，以減少醫療提供者在記錄或報告撰寫上花費的時間。
包括明尼蘇達州的Mankato Clinic和洛杉磯兒童醫院在內的超過30,000名臨床醫生和40個健康系統已經開始使用由法國和美國的Nabla公司開發的基於Whisper的工具。
該工具在醫學語言上進行了調整，以轉錄和總結患者的互動，Nabla的首席技術官Martin Raison說。
公司官員表示，他們知道Whisper可能會產生幻覺，並正在緩解這個問題。
由於“數據安全原因”，Nabla的工具會刪除原始音頻，因此無法將Nabla的AI生成的轉錄與原始錄音進行比較。
Nabla表示，該工具已被用於轉錄約700萬次醫療訪問。
Saunders，前OpenAI工程師表示，如果轉錄沒有經過雙重檢查或者臨床醫生無法訪問錄音來驗證其正確性，刪除原始音頻可能令人擔憂。
“如果你拿走了真相，你就無法發現錯誤，”他說。
Nabla表示，沒有模型是完美的，目前需要醫療提供者快速編輯和批准轉錄的筆記，但這可能會改變。
**隱私問題**
由於患者與醫生的會面是保密的，很難知道AI生成的轉錄如何影響他們。
加州州議員Rebecca Bauer-Kahan表示，她今年早些時候帶其中一個孩子去看醫生，並拒絕簽署健康網絡提供的表格，該表格要求她允許與包括OpenAI最大投資者運營的Microsoft Azure在內的供應商分享諮詢音頻。Bauer-Kahan不希望這樣的親密醫療對話被分享給科技公司，她說。
“該釋放明確指出盈利性公司將有權擁有這些，”代表舊金山郊區部分地區的民主黨人Bauer-Kahan說。“我當時想‘絕對不行。’”
John Muir Health發言人Ben Drew表示，該健康系統遵循州和聯邦的隱私法律。
—
這篇報導是與普利策中心的AI問責網絡合作製作的，該網絡也部分支持了學術Whisper研究。
—
美聯社從Omidyar Network獲得財政援助，以支持對人工智能及其對社會影響的報導。美聯社對所有內容負責。可以在AP.org查看美聯社與慈善機構合作的標準、支持者名單和資助報導領域。
**編輯評論：**
這篇文章揭示了AI技術在醫療行業應用中的潛在風險。Whisper的幻覺現象，特別是在醫療環境中，可能導致嚴重的後果，如誤診或錯誤治療。這不僅是技術上的挑戰，也是倫理和法律層面的問題。AI的準確性和可靠性在某些應用中至關重要，而醫療行業正是其中之一。這提醒我們，在追求技術創新時，必須謹慎考慮其應用範圍和可能帶來的影響，尤其是在涉及人命的情況下。政府和企業應該共同努力，確保AI技術的使用既安全又有效。
以上文章由特價GPT API KEY所翻譯
