3個問題：我們是否應該像標籤處方藥一樣標籤AI系統？
研究人員認為，在醫療環境中，「負責任使用」標籤可以確保AI系統得到適當的部署。
在現今的醫療環境中，AI系統越來越多地被應用於安全關鍵的情況。然而，這些模型有時會產生錯誤信息、做出偏頗的預測，或因意外原因而失效，這可能對病人和臨床醫生造成嚴重後果。
在今日發表於《自然計算科學》的一篇評論文章中，麻省理工學院副教授Marzyeh Ghassemi和波士頓大學副教授Elaine Nsoesie提出，為了減少這些潛在危害，AI系統應附有負責任使用標籤，類似於美國食品藥品監督管理局要求的處方藥標籤。
MIT新聞與Ghassemi討論了這類標籤的必要性、應傳達的信息，以及如何實施標籤程序。
問：為什麼我們需要在醫療環境中為AI系統設置負責任使用標籤？
答：在醫療環境中，我們面臨一個有趣的情況，即醫生經常依賴尚未完全理解的技術或治療。有時這種缺乏理解是根本性的——例如對乙酰氨基酚的機制——但其他時候這只是專業化的限制。我們不期望臨床醫生知道如何維修MRI機器。因此，我們有FDA或其他聯邦機構的認證系統，認證在特定環境中使用醫療設備或藥物。
重要的是，醫療設備還有服務合同——如果MRI機器校準錯誤，製造商的技術人員會進行維修。對於經批准的藥物，有市場後監測和報告系統，以便處理不良反應或事件，例如如果很多服用某種藥物的人似乎出現某種病症或過敏。
無論是否包含AI，模型和算法在很大程度上避開了這些批准和長期監測過程，這是我們需要警惕的。許多先前的研究表明，預測模型需要更仔細的評估和監控。特別是對於近期的生成式AI，我們引用的工作顯示，生成並不能保證是適當、穩健或無偏的。由於我們對模型預測或生成的監控水平不如藥物那樣，因此更難發現模型的問題反應。目前醫院使用的生成模型可能存在偏差。設置使用標籤是一種確保模型不會自動化從人類實踐者學習的偏見或過去校準錯誤的臨床決策支持分數的方式。
問：您的文章描述了AI負責任使用標籤的幾個組成部分，遵循FDA創建處方標籤的方法，包括批准用途、成分、潛在副作用等。這些標籤應傳達哪些核心信息？
答：標籤應明確顯示模型的預期使用時間、地點和方式。例如，用戶應該知道模型是在特定時間點的數據上訓練的。例如，它是否包括或不包括新冠疫情期間的數據？疫情期間的健康實踐非常不同，可能會影響數據。這就是為什麼我們倡導披露模型的「成分」和「完成的研究」。
對於地點，我們知道從一個地方訓練的模型在移動到另一個地方時往往表現較差。知道數據來自哪裡以及模型如何在該人群中進行優化，有助於確保用戶了解「潛在副作用」、任何「警告和注意事項」以及「不良反應」。
對於訓練來預測一個結果的模型，知道訓練的時間和地點可以幫助您做出智慧的部署判斷。但許多生成模型非常靈活，可以用於多種任務。在這裡，時間和地點可能不那麼具有信息性，更需要明確說明「標籤條件」和「批准用途」與「未批准用途」。如果開發者評估了一個生成模型來閱讀病人的臨床筆記並生成預期的計費代碼，他們可以披露它對某些病症的過度計費或其他病症的低認識存在偏見。用戶不希望使用這個生成模型來決定誰可以轉介專家，即使他們可以。這種靈活性是我們倡導提供更多模型使用方式細節的原因。
總的來說，我們倡導利用可用工具訓練出最佳模型。但即便如此，仍然需要大量披露。沒有模型是完美的。我們作為一個社會現在了解到，沒有藥丸是完美的——總是有風險。我們應該對AI模型有同樣的理解。任何模型——無論是否使用AI——都是有限的。它可能給你現實的、經過良好訓練的潛在未來預測，但要以適當的懷疑態度看待。
問：如果要實施AI標籤，誰來標籤，標籤將如何被監管和執行？
答：如果您不打算將模型用於實踐，那麼高質量研究出版物的披露就足夠了。但一旦您打算將模型部署在人面向的環境中，開發者和部署者應根據一些已建立的框架進行初步標籤。在安全關鍵的環境中，如醫療保健，健康與人類服務部的許多機構可能會參與驗證這些聲明。
對於模型開發者，我認為知道需要標示系統的局限性會促使更仔細地考慮整個過程。如果我知道在某個時候需要披露模型訓練的人群，我不會想披露模型僅在男性聊天機器人的對話上訓練的事實。
思考數據是從誰身上收集的、在什麼時間段、樣本量是多少，以及如何決定包括或排除哪些數據，可以讓您對部署時的潛在問題有更清晰的認識。
評論：
這篇文章提出了一個具有前瞻性的觀點，即在醫療領域中應該像處方藥一樣對AI系統進行標籤。這不僅有助於確保這些技術的安全使用，還能提高透明度，讓用戶對AI系統的局限性有更清晰的認識。AI的應用範圍廣泛，尤其在醫療健康領域，AI的決策可能直接影響患者的生命安全。因此，引入類似處方藥的標籤制度對於規範AI的使用是非常必要的。
然而，這也提出了一個挑戰，即如何制定這些標籤的標準，並確保它們能夠被有效地監管和執行。這需要政府機構、科技公司和醫療機構之間的密切合作。尤其是在香港這樣的多元社會中，如何制定合適的標準以兼顧不同文化和法律框架下的需求，將是一個值得深入探討的問題。
總而言之，AI技術的快速發展帶來了許多機遇，但也伴隨著風險。通過引入透明的標籤制度，我們可以更好地管理這些風險，確保技術的負責任使用。
以上文章由特價GPT API KEY所翻譯。而圖片則由FLUX根據內容自動生成。
