3個問題：我們應該像標籤處方藥一樣標籤AI系統嗎？
研究人員認為，在醫療環境中，「負責任使用」標籤可以確保AI系統的適當部署。
Adam Zewe | MIT News
發佈日期：2024年9月24日
說明：
標籤「可以幫助確保用戶了解’潛在的副作用’、’警告和注意事項’以及’不良反應’」，Marzyeh Ghassemi說。
正文：
AI系統越來越多地被部署在安全至關重要的醫療情況中。然而，這些模型有時會產生錯誤信息、做出有偏見的預測，或因意外原因而失敗，這可能對患者和臨床醫生造成嚴重後果。
在今天發表於《自然計算科學》上的一篇評論文章中，麻省理工學院副教授Marzyeh Ghassemi和波士頓大學副教授Elaine Nsoesie認為，為了減輕這些潛在的危害，AI系統應該附有負責任使用的標籤，類似於美國食品和藥物管理局對處方藥要求的標籤。
MIT新聞與Ghassemi討論了這些標籤的必要性、應該傳達的信息以及如何實施標籤程序。
問：為什麼在醫療環境中需要AI系統的負責任使用標籤？
答：在醫療環境中，我們面臨一個有趣的情況，醫生經常依賴於不完全理解的技術或治療。有時這種缺乏理解是根本性的——例如乙酰氨基酚的機制——但其他時候這只是專業化的限制。我們不期望臨床醫生知道如何維修MRI機器，例如。我們有FDA或其他聯邦機構的認證系統，在特定環境中認證醫療設備或藥物的使用。
重要的是，醫療設備還有服務合同——如果MRI機器校準錯誤，製造商的技術人員會修理它。對於已批准的藥物，有市後監測和報告系統，以便處理不良反應或事件，例如如果很多服用某種藥物的人都出現某種病症或過敏。
無論是否包含AI，模型和算法在很大程度上繞過了這些批准和長期監測過程，這是我們需要注意的。許多先前的研究表明，預測模型需要更仔細的評估和監測。對於最近的生成式AI，我們引用了已經證明生成並非保證適當、穩健或無偏見的工作。因為我們對模型預測或生成的監控沒有相同的水平，更難以捕捉到模型的問題反應。目前醫院使用的生成模型可能存在偏見。使用標籤是一種確保模型不會自動化從人類從業者或過去校準錯誤的臨床決策支持評分中學習到的偏見的方法。
問：你的文章描述了AI負責任使用標籤的幾個組成部分，遵循FDA創建處方標籤的方法，包括批准的使用、成分、潛在的副作用等。這些標籤應該傳達哪些核心信息？
答：標籤應該明確的是模型的預期使用的時間、地點和方式。例如，用戶應該知道模型在特定時間點使用特定時間點的數據進行訓練。例如，它是否包括新冠疫情期間的數據？在新冠期間有非常不同的健康實踐，這可能影響數據。這就是為什麼我們倡導披露模型的「成分」和「完成的研究」。
對於地點，我們從先前的研究中得知，在一個地方訓練的模型在移動到另一個地方時性能往往較差。知道數據來自何處以及模型在那個人口中如何優化，可以幫助確保用戶了解「潛在的副作用」、「警告和注意事項」以及「不良反應」。
對於訓練來預測某個結果的模型，了解訓練的時間和地點可以幫助你做出智能的部署判斷。但許多生成模型非常靈活，可以用於許多任務。在這種情況下，時間和地點可能不那麼具有信息性，更需要明確的「標籤條件」和「批准的使用」與「未批准的使用」的指導。如果開發者對一個生成模型進行了評估，用於閱讀患者的臨床筆記並生成預期的賬單代碼，他們可以披露它對某些條件有過度收費的偏見或低估其他條件的傾向。用戶不會想使用這個相同的生成模型來決定誰應該轉介給專家，即使他們可以。這種靈活性是我們倡導提供額外使用細節的原因。
總的來說，我們主張應該訓練最好的模型，使用可用的工具。但即使這樣，也應該有很多披露。沒有任何模型是完美的。作為一個社會，我們現在理解沒有任何藥丸是完美的——總是有一些風險。我們應該對AI模型有相同的理解。任何模型——無論是否包含AI——都是有限的。它可能會給你現實的、訓練良好的潛在未來預測，但需要以適當的態度對待。
問：如果要實施AI標籤，誰來標籤，如何監管和執行標籤？
答：如果你不打算在實踐中使用你的模型，那麼你在高質量研究出版物中披露的內容就足夠了。但一旦你打算在面向人類的環境中部署模型，開發者和部署者應該根據一些既定的框架進行初步標籤。這些聲明應在部署前進行驗證；在像醫療這樣的安全至關重要的環境中，許多衛生與公共服務部門的機構可能會參與。
對於模型開發者，我認為知道你需要標籤系統的限制會引發對過程本身的更仔細考慮。如果我知道我最終需要披露模型訓練的人群，我不會希望披露它只在男性聊天機器人用戶的對話上訓練。
考慮數據收集對象、時間段、樣本大小以及你如何決定包括或排除哪些數據，可以讓你在部署時更好地預見潛在問題。
編輯評論：
這篇文章提出了一個非常重要的議題，即在醫療環境中使用AI系統的責任和倫理問題。AI技術的快速發展固然帶來了許多便利，但同時也伴隨著風險。文章中提到的標籤系統，不僅僅是對用戶的保護，更是對開發者的一種約束，促使他們在開發過程中更加謹慎和負責任。這種標籤系統如果能夠實施，將會大大提高AI系統的透明度和可信度，進一步保障患者和醫護人員的安全。但同時，我們也需要考慮到監管和執行的挑戰，如何確保這些標籤真實有效，並且不會被濫用，這些都是未來需要解決的問題。
以上文章由特價GPT API KEY所產生
