**NYU研究人員開發新型即時Deepfake檢測方法**
Deepfake技術的威力在壞人手中尤其危險。NYU Tandon的研究人員正在開發新技術來對抗這種威脅。
Deepfake是利用人工智能創造的超逼真視頻和音頻，在當今數碼世界中構成日益增長的威脅。通過操縱或偽造內容使其看似真實，Deepfake可以用來欺騙觀眾、傳播虛假信息和損害聲譽。這種技術的濫用涉及政治宣傳、社會操控、身份盜竊和網絡犯罪。
隨著Deepfake技術的進步和普及，社會危害的風險也在增加。研究Deepfake對於開發檢測方法、提高認識和建立法律框架以減輕其可能對個人、專業和全球範疇的損害至關重要。了解Deepfake的風險及其潛在影響對於維護媒體和數碼通信的信任是必要的。
這就是NYU Tandon的計算機科學與工程及電機與計算機工程副教授Chinmay Hegde的研究重點。
Hegde專注於開發檢測音頻和視頻Deepfake的挑戰-應對系統。他表示：“我對AI安全的各種形式都很感興趣。當一種技術如AI這般快速發展並達到如此高的水平時，它便成為有害分子利用的沃土。”
Hegde的專長在於數據處理和機器學習，他的研究重點是開發快速、穩健且可認證的算法，應對影像、計算機視覺、交通運輸和材料設計等應用中遇到的多種數據處理問題。在Tandon，他與計算機科學與工程教授Nasir Memon合作，激發了他對Deepfake的興趣。
“即使在六年前，生成式AI技術還非常初級。有一次，我的一名學生展示了一個能在深色背景上製作白色圓圈的模型，當時我們都對此印象深刻。現在，你可以看到高清的Taylor Swift、Barack Obama、教宗的假冒視頻——這項技術的進步令人驚訝。我認為它可能會繼續進步，”他說。
Hegde帶領NYU Tandon工程學院的研究團隊開發了一種新方法，應對即時Deepfake（RTDF）——這種複雜的人工智能生成的假音頻和視頻能在即時視頻和語音通話中逼真地模仿實際人物。
高調的Deepfake詐騙事件已經發生，包括最近一起利用假視頻進行的2500萬美元詐騙，顯示出有效反制措施的必要性。
在兩篇不同的論文中，研究團隊展示了如何利用“挑戰-應對”技術來利用當前RTDF生成流程的內在限制，從而降低模仿質量，揭露其欺騙性。
在題為《GOTCHA：通過挑戰-應對進行即時視頻Deepfake檢測》的論文中，研究人員開發了一套八個視覺挑戰，旨在向用戶發出信號，告訴他們是否正在與真實人物互動。
Hegde表示：“大多數人對CAPTCHA這種網上挑戰-應對技術很熟悉，它能驗證他們是真人。我們的方法與此類似，基本上是提出問題或要求，讓RTDF無法正確回應。”
視頻研究團隊創建了一個包含56,247個視頻的數據集，來自47名參與者，評估了如頭部運動和故意遮擋臉部等挑戰。人工評估者在檢測Deepfake方面達到了約89%的曲線下面積（AUC）得分，而機器學習模型達到了約73%。
Hegde解釋道：“像快速在臉前揮手、做出戲劇性的面部表情或突然改變光線這樣的挑戰，對真人來說很簡單，但對當前的Deepfake系統來說要在即時情況下逼真地模仿卻非常困難。”
**音頻挑戰用於Deepfake檢測**
在另一篇題為《使用挑戰-應對的AI輔助Deepfake音頻通話標記》的論文中，研究人員創建了一個包含22個音頻挑戰的分類法。最有效的挑戰包括耳語、用“杯狀”手遮住嘴說話、高音調說話、發音外語單詞以及在背景音樂或語音中說話。
Hegde指出：“即使是最先進的語音克隆系統在被要求即時執行這些不尋常的聲音任務時，也難以維持音質。比如，耳語或以不尋常的高音說話會顯著降低音頻Deepfake的質量。”
音頻研究涉及100名參與者和超過160萬個Deepfake音頻樣本。它採用了三種檢測場景：僅由人類完成、僅由AI完成以及人類與AI的協作方式。人類評估者在檢測假音頻方面達到了約72%的準確率，而單純使用AI的準確率更高，達到了85%。
協作方式中，人類先做出初步判斷，然後可以在看到AI預測後修改決定，達到了約83%的準確率。這種協作系統還允許AI在人類不確定的情況下做出最終決定。
研究人員強調，他們的技術設計實用，適合現實世界使用，大多數挑戰只需幾秒鐘即可完成。一個典型的視頻挑戰可能涉及快速的手勢或面部表情，而音頻挑戰可能簡單到耳語一個短句。
Hegde表示：“這些挑戰對真人來說既簡單又快捷，但對AI來說在即時情況下模仿卻很困難。我們還可以隨機化挑戰並結合多個任務以增強安全性。”
隨著Deepfake技術的進步，研究人員計劃進一步完善他們的挑戰集，探索如何讓檢測更加穩健。他們特別感興趣於開發結合多個任務的“複合”挑戰。
Hegde說：“我們的目標是為人們提供可靠的工具，以驗證他們在網上真正交流的人，而不會干擾正常對話。隨著AI在創建假冒品方面變得更好，我們需要在檢測方面變得更好。這些挑戰-應對系統是朝這個方向邁出的有希望的一步。”
—
**評論與看法**
這篇文章揭示了Deepfake技術的迅速發展及其帶來的潛在危險。NYU Tandon的研究團隊採取了創新的挑戰-應對系統來對抗這種威脅。這種方法不僅展示了技術上的突破，更重要的是，它強調了人類智慧在科技面前的重要性。隨著技術的進步，我們面臨著更複雜的道德和法律問題。這些挑戰將要求我們不僅在技術上進步，也在政策和教育上做出相應的調整，以確保我們的社會能夠安全地享受技術帶來的便利。這篇文章提醒我們，面對技術的雙刃劍，我們需要保持警惕，並不斷尋求創新的解決方案。
以上文章由特價GPT API KEY所翻譯
