研究人員在保持或改善準確性的同時減少人工智能模型的偏見
麻省理工學院的研究人員開發了一種人工智能去偏見技術，這種技術通過提高在訓練數據中代表性不足的子群體的表現，來改善機器學習模型的公平性，同時保持整體準確性。
機器學習模型在對未在其訓練數據集中代表的個體進行預測時，可能會出現失敗。例如，一個預測慢性病患者最佳治療方案的模型可能是基於主要包含男性患者的數據集進行訓練的。當這個模型在醫院運行時，對女性患者的預測可能會出錯。
為了改善結果，工程師可以嘗試通過刪除數據點來平衡訓練數據集，直到所有子群體都得到平等代表。儘管數據集平衡看似有希望，但它通常需要刪除大量數據，這會損害模型的整體性能。
麻省理工學院的研究人員開發了一種新技術，能夠識別並刪除訓練數據集中對少數群體失敗貢獻最大的特定數據點。通過刪除的數據點遠少於其他方法，這項技術在提高模型對代表性不足群體的表現的同時，保持了模型的整體準確性。
此外，該技術還能識別缺乏標籤的訓練數據集中的隱藏偏見來源。對於許多應用來說，未標記數據比標記數據更為普遍。
這種方法還可以與其他方法結合，以改善在高風險情況下部署的機器學習模型的公平性。例如，它未來可能幫助確保在偏見的人工智能模型下，代表性不足的患者不會被誤診。
“許多其他算法試圖解決這個問題時，假設每個數據點對模型的影響都是一樣的。但我們的研究顯示這一假設並不成立。我們可以找到那些對偏見貢獻的特定數據點，刪除它們，從而獲得更好的性能，”麻省理工學院電氣工程與計算機科學（EECS）研究生Kimia Hamidieh說。
她與共同首席作者Saachi Jain和EECS研究生Kristian Georgiev，以及斯坦福大學的Andrew Ilyas等人共同撰寫了這篇論文。該研究將在神經信息處理系統會議上發表。
去除不良示例
通常，機器學習模型使用從互聯網各種來源收集的巨大數據集進行訓練。這些數據集過於龐大，無法逐一仔細篩選，因此可能包含損害模型性能的不良示例。
科學家們也知道，某些數據點對模型在特定下游任務上的性能影響比其他數據點更大。
麻省理工學院的研究人員將這兩個概念結合起來，提出了一種識別並去除這些問題數據點的方法。他們旨在解決一個稱為最差群體錯誤的問題，這種錯誤發生在模型在訓練數據集中的少數群體上表現不佳的情況下。
研究人員的新技術受到之前工作啟發，該工作引入了一種名為TRAK的方法，用於識別特定模型輸出最重要的訓練示例。
對於這項新技術，他們利用模型對少數群體的錯誤預測，使用TRAK來識別哪些訓練示例對該錯誤預測貢獻最大。
“通過以正確的方式聚合這些錯誤測試預測的信息，我們能夠找到驅動最差群體準確性整體下降的訓練部分，”Ilyas解釋道。
然後，他們刪除這些特定樣本，並在剩餘數據上重新訓練模型。
因為擁有更多數據通常會提高整體性能，僅去除那些驅動最差群體失敗的樣本，能夠保持模型的整體準確性，同時提升其對少數群體的表現。
更易於使用的方法
在三個機器學習數據集的測試中，他們的方法超越了多種技術。在一個實例中，它在移除約20,000個訓練樣本的情況下，提高了最差群體的準確性，這比傳統的數據平衡方法少得多。他們的方法還比需要改變模型內部運作的其他方法更具準確性。
由於麻省理工學院的方法涉及改變數據集，因此對於從業者來說更易於使用，並且可以應用於多種類型的模型。
當偏見未知時，這種方法也可以利用，因為訓練數據集中的子群體未被標記。通過識別對模型正在學習的特徵貢獻最大的數據點，他們可以了解模型在做出預測時使用的變量。
“這是一種任何人在訓練機器學習模型時都可以使用的工具。他們可以查看這些數據點，看看它們是否與他們試圖教給模型的能力相符，”Hamidieh說。
使用這項技術來檢測未知的子群體偏見需要對要尋找的群體有一定的直覺，因此研究人員希望通過未來的人類研究來驗證並更全面地探索這一點。
他們還希望提高技術的性能和可靠性，並確保該方法對未來可能在現實環境中部署的從業者來說是可訪問和易於使用的。
“當你擁有能讓你批判性地查看數據並找出哪些數據點會導致偏見或其他不良行為的工具時，這為建立更公平和可靠的模型邁出了第一步，”Ilyas表示。
這項工作部分由美國國家科學基金會和國防高級研究計劃局資助。
—
對於這項研究，我認為它在人工智能的公平性和準確性之間架起了一座重要的橋樑。隨著人工智能技術在各個領域的廣泛應用，特別是在醫療等高風險行業，確保模型對所有群體的公平性變得尤為重要。這項技術不僅能夠提升模型的整體表現，還能促進對少數群體的公平對待，這對於推動社會正義具有深遠意義。
然而，這項技術的實施仍然需要謹慎。未來的研究應集中於如何在實際應用中有效地識別和去除偏見數據，同時保持數據的完整性和多樣性。此外，這項技術的可擴展性和易用性也是成功的關鍵，因為它將影響到更多研究人員和企業的採用。因此，進一步的測試和用戶反饋將是未來發展的關鍵。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
