新方法評估並改善放射科醫生診斷報告的可靠性
這個框架幫助臨床醫生選擇更準確反映某些病症在X光片中出現可能性的詞語。
由於醫療影像，如X光片，存在固有的模糊性，放射科醫生在描述某種病理（如肺炎）的存在時，經常使用「可能」或「很可能」等詞語。
但放射科醫生用來表達他們信心的詞語，是否準確反映特定病理在病人中出現的頻率呢？一項新研究顯示，當放射科醫生用「非常可能」這樣的短語表達對某種病理的信心時，他們往往會過於自信，反之，當他們使用「可能」這樣的詞語表達較低的信心時，也會出現過度謹慎的情況。
透過臨床數據，一個由麻省理工學院（MIT）研究人員組成的多學科團隊，與哈佛醫學院附屬醫院的研究人員及臨床醫生合作，建立了一個框架，以量化放射科醫生在使用自然語言表達確定性時的可靠性。
他們利用這一方法提供清晰的建議，幫助放射科醫生選擇能提高臨床報告可靠性的確定性短語。他們還展示了同樣的技術可以有效測量和改善大型語言模型的校準，通過更好地將模型用來表達信心的詞語與其預測的準確性對齊。
透過幫助放射科醫生更準確地描述醫療影像中某些病理的可能性，這個新框架有望改善關鍵臨床信息的可靠性。
詞語的重要性
「放射科醫生使用的詞語非常重要。它們影響醫生的介入決策，直接影響病人的護理。如果這些專業人士能在報告中更具可靠性，病人將是最終的受益者。」MIT研究生及這項研究論文的首席作者王沛琦（Peiqi Wang）表示。
該論文的共同作者包括MIT電氣工程與計算機科學（EECS）系的教授波莉娜·戈蘭德（Polina Golland），她是MIT計算機科學與人工智能實驗室（CSAIL）的首席研究員，以及其他多位來自不同醫療機構的專家。這項研究將在國際學術會議上發表。
解碼詞語中的不確定性
舉例來說，一名放射科醫生在撰寫胸部X光報告時，可能會說影像顯示「可能」有肺炎，這會促使醫生安排後續的CT掃描以確認診斷。
然而，如果放射科醫生寫道X光顯示「很可能」有肺炎，醫生可能會立即開始治療，例如開抗生素，並同時安排其他檢查以評估病情的嚴重性。
王沛琦表示，測量模糊自然語言詞語（如「可能」和「很可能」）的校準或可靠性存在諸多挑戰。
現有的校準方法通常依賴於AI模型提供的信心分數，這代表模型估計其預測正確的可能性。
例如，一個天氣應用程序可能預測明天有83％的降雨機會。如果這個模型在預測83％降雨機會的所有情況下，大約83％的時間都實際下雨，那麼這個模型就是良好校準的。
「但人類使用自然語言，如果我們將這些短語映射到單一數字上，就無法準確描述現實世界。如果一個人說某事件是『很可能』，他們不一定會想到確切的概率，比如75％。」王沛琦說。
研究人員的做法是將確定性短語視為概率分佈，而不是試圖將其映射到單一百分比。分佈描述了可能值的範圍及其可能性——可想像統計學中的經典鐘形曲線。
評估和改善校準
研究人員利用先前的工作，對放射科醫生進行調查，以獲取每個診斷確定性短語相應的概率分佈，範圍從「非常可能」到「一致」。
例如，因為更多的放射科醫生認為「一致」這個短語意味著影像中存在病理，所以它的概率分佈在90到100％的範圍內急劇上升。
相比之下，「可能代表」這個短語則傳達了更大的不確定性，導致一個更廣泛的鐘形分佈，中心圍繞50％。
研究人員的做法遵循相同的一般框架，但擴展到考慮確定性短語代表概率分佈而非單一概率的事實。
為了改善校準，研究人員制定並解決了一個優化問題，調整某些短語的使用頻率，以更好地將信心與現實對齊。
他們推導出一個校準地圖，建議放射科醫生應使用的確定性術語，以使報告對特定病理更準確。
「也許，對於這個數據集來說，如果每次放射科醫生說肺炎『存在』時，將短語改為『很可能存在』，那麼他們的校準將會更好。」王沛琦解釋道。
當研究人員使用他們的框架來評估臨床報告時，他們發現放射科醫生在診斷常見病症（如肺不張）時通常表現出不自信，但在診斷更模糊的病症（如感染）時則表現出過度自信。
此外，研究人員利用他們的方法評估了語言模型的可靠性，提供了比依賴信心分數的傳統方法更細緻的信心表現。
「很多時候，這些模型使用『肯定』這樣的短語，但因為它們對答案過於自信，並不鼓勵人們去驗證這些陳述的正確性。」王沛琦補充道。
未來，研究人員計劃繼續與臨床醫生合作，期望改善診斷和治療。他們正在擴展研究，納入腹部CT掃描的數據。
此外，他們還有興趣研究放射科醫生對於改善校準建議的接受程度，以及他們是否能有效地在心理上調整確定性短語的使用。
「表達診斷確定性是放射科報告中的一個關鍵方面，因為它影響重要的管理決策。這項研究採用了一種新穎的方法來分析和校準放射科醫生在胸部X光報告中表達診斷確定性，提供了對術語使用和相關結果的反饋。」哈佛醫學院放射科副教授阿圖爾·辛納加雷（Atul B. Shinagare）表示，他並未參與這項工作。「這種方法具有提高放射科醫生準確性和溝通能力的潛力，從而改善病人護理。」
該項工作部分由武田獎學金、MIT-IBM沃森人工智能實驗室、MIT CSAIL Wistrom計劃及MIT Jameel診所資助。
這項研究的意義不僅在於改善放射科醫生的報告質量，還能提升整體醫療體系的效率和病人的安全。隨著醫療影像的數量不斷增加，如何準確傳達診斷信息顯得尤為重要。這項研究展示了科技在臨床實踐中的潛力，未來可能成為醫療界的重要工具。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
