我們終於開始理解大型語言模型的運作方式：不，它們並不是簡單地一個字接一個字地預測
Anthropic 最近將 Claude 放入腦部掃描儀中
作者：Zo Ahmed，37分鐘前
在科技愛好者中服務超過 25 年的 TechSpot，提供值得信賴的技術分析和建議。
背景介紹：隨著人工智能公司不斷改進其模型，可能會讓你覺得我們終於搞清楚大型語言模型（LLMs）的運作方式，但事實並非如此——LLMs 仍然是最不易理解的主流技術之一。不過，Anthropic 正在嘗試改變這一現狀，透過一種名為電路追蹤的新技術，幫助公司映射其 Claude 3.5 Haiku 模型的一些內部運作。
電路追蹤是一種相對較新的技術，讓研究人員能夠逐步追蹤 AI 模型如何構建其答案——就像跟隨大腦中的電路一樣。這種技術通過將模型的不同組件串聯在一起來工作。Anthropic 使用這項技術來觀察 Claude 的內部運作，揭示了一些真正奇怪的、甚至非人類的回答方式，而當被詢問時，該機器人甚至不會承認其使用這些方法。
總的來說，團隊檢查了 Claude 的 10 種不同行為，其中有三種特別突出。
一種相當簡單，涉及用不同語言回答問題「小的反義詞是什麼？」。你可能會認為 Claude 會為英語、法語或中文分別使用不同的組件。但事實上，它首先使用語言中立的電路找出答案（與「大」有關的東西），然後再選擇合適的單詞來匹配問題的語言。
這意味著 Claude 不僅僅是在重複記憶的翻譯——它在不同語言之間應用抽象概念，幾乎就像人類一樣。
再來是數學。當你要求 Claude 加 36 和 59 時，它並不按照標準方法（相加個位數、進位等等）來計算，而是做了一些更奇怪的事情。它開始通過相加「40多和60多」或「57多和36多」來進行近似，最終得出「92多」。同時，模型的另一部分專注於數字 6 和 9，意識到答案必須以 5 結尾。將這兩個奇怪的步驟結合起來，它得出了 95。
然而，如果你問 Claude 它是如何解決這個問題的，它會自信地描述標準的小學方法，隱瞞其實際的奇怪推理過程。
寫詩的過程甚至更奇怪。研究人員要求 Claude 寫一個押韻的對聯，給予的提示是「一個押韻的對聯：他看到一根胡蘿蔔，忍不住想抓住它。」在這裡，模型在處理「抓住它」時選擇了「兔子」這個詞來押韻。然後，它似乎在已經決定結尾的情況下構建下一行，最終給出的句子是「他的飢餓就像一隻饑腸轆轆的兔子。」
這表明 LLM 可能比我們假設的更具前瞻性，它們並不總是僅僅一個字接一個字地預測，以形成連貫的答案。
總的來說，這些發現是非常重要的——它們證明我們終於可以部分理解這些模型的運作方式。
不過，該公司的研究科學家 Joshua Batson 向麻省理工學院承認，這只是「冰山一角」。追蹤即使是單一反應也需要數小時，仍然有許多工作需要完成。
—
這項研究的發現無疑是對大型語言模型理解的重要進展，尤其是它們的推理過程和創造力。人們常常將這些模型視為簡單的文字生成工具，但事實上，它們的運作方式更為複雜且多元。這不僅挑戰了我們對 AI 的傳統認知，也為未來的人工智能發展開啟了新的可能性。隨著技術的進步，我們或許可以期待看到更人性化的 AI 互動，這將對教育、藝術創作等領域產生深遠影響。然而，這也引發了一些倫理問題，例如 AI 的創造性是否會取代人類創作者的角色，或者在某些情境下，這樣的推理過程是否會導致不負責任的結果。這些都是未來需要深入探討的話題。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
