社福用AI要小心！創傷風險咪忽視，安全指引要跟實！

人工智能在社會服務中的應用 – 但我們必須確保不會對客戶造成創傷

去年底，一名維多利亞州的兒童保護工作者使用ChatGPT撰寫文件，卻在一個明顯的錯誤中將一個用於性目的的“玩偶”稱為“適合年齡的玩具”。隨後，維多利亞州的信息專員禁止在兒童保護中使用生成式人工智能（AI）。

不幸的是，許多有害的AI系統不會引起如此大的公眾關注。因此，使用社會服務的人（例如就業、無家可歸或家庭暴力服務）必須意識到他們可能會受到AI的影響。此外，服務提供者應該充分了解如何安全地使用AI。

幸運的是，新的規範和工具，例如我們的創傷知情AI工具包，可以幫助減少AI帶來的危害。

社會服務如何使用AI？

AI以其改善服務交付的承諾吸引了全球的注意。在社會服務部門壓力重重的情況下，AI承諾減少積壓、降低行政負擔和更有效地分配資源，同時提升服務質量。各種社會服務提供者以不同方式使用AI也就不足為奇了。

聊天機器人模擬人類對話，使用語音、文本或圖像。這些程序越來越多地用於各種任務。例如，它們可以提供心理健康支持或就業建議，也可以加快數據處理或幫助快速創建報告。

然而，聊天機器人也容易產生有害或不準確的回應。例如，美國國家飲食失調協會使用聊天機器人Tessa來支持有飲食失調的客戶，但當倡導者發現Tessa提供有害的減肥建議時，該機器人迅速被下線。

推薦系統利用AI提供個性化的建議或選項。這可能包括根據服務提供者可用的數據針對性地推送工作或租房廣告，或提供教育材料。

但推薦系統可能存在歧視性，例如LinkedIn向男性顯示的工作廣告比女性多。此外，它們也可能加強現有的焦慮感。例如，孕婦在社交媒體上被推薦了令人不安的孕期視頻。

識別系統用來分類數據，如圖像或文本，並將一個數據集與另一個數據集進行比較。這些系統可以完成許多任務，例如面部匹配以驗證身份或將語音轉錄為文本。

然而，這類系統可能引發監控、隱私、不準確和歧視的擔憂。加拿大的一家無家可歸者收容所停止使用面部識別攝像頭，因為這可能會造成隱私侵犯——從心理不健康或醉酒的使用者那裡獲得知情同意非常困難。

風險評估系統使用AI來預測特定結果發生的可能性。許多系統已用於計算兒童虐待、長期失業或稅務和福利詐騙的風險。

這些系統中使用的數據往往會重現社會不平等，對已經邊緣化的人群造成傷害。在一個案例中，美國用於識別兒童虐待風險的工具不公平地針對貧困、黑人和雙種族家庭以及有殘疾的家庭。

一個荷蘭的風險評估工具試圖識別兒童保育福利詐騙，因為被指控種族歧視而被關閉，而法國的一個AI系統也面臨類似的指控。

需要創傷知情的方法

令人擔憂的是，我們的研究顯示，在社會服務中使用AI可能會對使用這些服務的人造成或延續創傷。

美國心理學會將創傷定義為對一系列事件的情緒反應，例如事故、虐待或摯愛之人的去世。廣義上講，創傷可以在個體或群體層面上經歷，並且可以通過世代相傳。澳大利亞原住民因殖民化而經歷的創傷就是一個群體創傷的例子。

在澳大利亞，57%至75%的人在一生中經歷至少一次創傷事件。

許多社會服務提供者早已採用創傷知情的方法。這種方法優先考慮信任、安全、選擇、賦權、透明度以及文化、歷史和性別因素的考慮。創傷知情的服務提供者理解創傷的影響，並認識到用戶的創傷跡象。

服務提供者應該小心不要因為AI的過度宣傳而放棄這些核心原則。

社會服務能否負責任地使用AI？

為了減少造成或延續創傷的風險，社會服務提供者應在使用任何AI系統之前仔細評估其安全性。

對於已經在使用的AI系統，評估可以幫助監測其影響，確保其安全運行。

我們開發了一個創傷知情的AI評估工具包，幫助服務提供者評估他們計劃或當前使用AI的安全性。該工具包基於創傷知情護理的原則、AI危害的案例研究以及與服務提供者的設計研討會。工具包的在線版本即將在各組織中進行試點。

通過提出一系列問題，該工具包使服務提供者能夠考慮風險是否超過好處。例如，AI系統是否與用戶共同設計？用戶是否可以選擇不受AI系統的約束？

它引導服務提供者考慮一系列實際考量，以增強AI的安全使用。

社會服務不必完全避免使用AI。但社會服務提供者和用戶應該意識到AI可能帶來的危害風險，以便他們能夠有意識地調整AI的使用，使其發揮積極的作用。

在這個快速變化的科技時代，社會服務的創新應該始終以人為本，特別是在涉及敏感和脆弱群體的情況下。AI的應用應該是工具，而非障礙，服務提供者需要負責任地使用這些技術，確保不會進一步加劇已有的社會問題。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。