人工通用智能的承諾正在消失
隨著企業對人工智能的採用持續失望，AI的收益至今仍與支撐網絡泡沫的收益相形見絀——直到它不再是這樣。
想起你在高中或大學上科學課的時候，比如基礎物理。那時候有一本教科書，如果你學會了書中的內容，你的成績就會很高。如果你非常認真，可能還會讀第二本書來加強第一本書的內容，甚至可能會增加一些新的概念。但第三本書就不會再增加什麼價值了。閱讀第十本、第二十本或第一百本教科書肯定是浪費時間。
大型語言模型（LLMs或聊天機器人）在吸收事實信息方面也是如此。它們不需要被告知十次、二十次或一百次，亞伯拉罕·林肯是美國第十六任總統，巴黎是法國的首都，或者牛頓的萬有引力公式是什麼。
對於大型語言模型來說，訓練更大數據集可能會提高其寫作能力，就像在英語課上閱讀數十本書可能會改善學生的寫作能力一樣。但這對於LLMs的事實回憶能力影響不大。事實上，隨著互聯網上假信息的增加，LLMs的事實回憶能力可能實際上會惡化。最近在《自然》上發表的一篇論文指出，由於LLMs訓練的互聯網數據越來越多是可疑的計算機生成文本，“對模型生成內容的無差別使用會在結果模型中造成不可逆的缺陷。”
《自然》最近還發表了一篇文章，題為：“更大且更可指導的語言模型變得不那麼可靠。”《IEEE Spectrum》的一篇文章也表示：
使大型語言模型更強大和更易於使用的主要方法是持續擴大（即增加其規模、數據量和計算資源）和定制化（包括後期過濾、微調或使用人類反饋）。然而，更大且更可指導的大型語言模型可能變得不那麼可靠。
長期以來，AI泡沫一直受到聲稱人工通用智能（AGI）觸手可及的推動——只需幾個月，或最壞的情況下幾年。在10月29日的採訪中，埃隆·馬斯克表示：
我肯定可以說，它每年變得更好十倍……我認為它在未來一兩年內能做到任何人類能做到的事情。
別管我們沒有被告知它每年在什麼方面變得更好（為初創公司籌集資金？）。OpenAI的山姆·奧特曼最近預測AGI將在2025年到來。一年多前，2023年10月，布萊斯·阿蓋拉·阿卡斯和彼得·諾維格寫了一篇名為“人工通用智能已經在這裡”的文章。
這些荒謬的炒作中有些內容模糊不清，顯然是自私的。試圖超越空洞的言辭來衡量LLM能力增強的努力通常存在缺陷。加里展示了所謂的“出現”圖表是使用對數刻度在時間軸上創造的光學幻覺，事實上，這些圖表完全符合規模的收益遞減。一組斯坦福大學的教授已經顯示，“通過這三種分析，我們提供證據表明，出現的能力在不同的度量或更好的統計下消失，並且可能不是擴展AI模型的基本特性。”
我們的論點也可以用需要超越死記硬背的簡單例子來說明。以經濟學為例，LLMs能夠背誦計算現值的公式，但它們並不理解如何使用這些公式。今年年初，加里向OpenAI的ChatGPT 3.5、微軟的Bing with GPT-4和谷歌的Bard提出了這個問題：
我需要借47,000美元買一輛新車。借一年9%的年利率好，還是借十年1%的年利率好？
這些LLMs都沒有意識到這個問題的答案需要進行現值計算。它們也沒有常識去認識到1%年利率的貸款是個好交易，應該盡可能長時間地借用。加里寫道：
生活在現實世界中的人會立刻認識到1%的年利率是非常吸引人的貸款利率，特別是如果能鎖定幾年。根本不需要計算就能認識到十年1%年利率貸款的吸引力。
相反，每個LLM都犯了多個邏輯錯誤和計算錯誤，最終得出的結論是，1年9%的貸款更具吸引力，完全忽視了資金的時間價值。
我們現在再次用OpenAI的新版本Preview-01來檢查這個問題，看答案是否有所改善。不，仍然忽視資金的時間價值，推薦1年9%的貸款。
核心問題是——LLMs對詞語的含義毫無概念，無法進行邏輯推理甚至簡單的常識——這不是通過訓練更大的數據集能解決的。答案可能稍微寫得更好，一些事實錯誤可能由人類訓練者糾正。但擴大規模並不會讓我們達到AGI，現在、未來兩到三年內，甚至可能永遠不會。
即使是那些有動機宣揚LLMs推理能力的研究人員也開始批評。六位蘋果公司的研究人員最近寫道，“當前的LLMs無法進行真正的邏輯推理；相反，它們試圖複製其訓練數據中觀察到的推理步驟。”
來自對OpenAI最新模型Orion的仔細分析的最新信息表明，AI的承諾甚至顯著改進的希望正在逐漸消失。
OpenAI下一代旗艦人工智能模型顯示出與以前版本相比的改進幅度較小……表明快速增長的生成AI行業可能正在接近平臺。
來自谷歌的類似故事（“即將推出的Gemini軟件版本未能達到內部預期”）和Anthropic（“其期待已久的Claude 3.5 Opus模型的發布時間表已經延遲”）。
甚至風險投資公司Andreessen Horowitz的創始人最近也承認，“他們注意到AI模型能力改進的減少。”聯合創始人本·霍洛維茨表示，對比GPT-2.0、GPT-3和GPT-3.5模型，以及GPT-3.5和GPT-4之間的差異顯示，“我們在改進的程度上確實放慢了。”聯合創始人馬克·安德烈森補充說，兩年前，GPT-3.5模型“遠遠領先於所有其他模型……但如今有六個模型的能力相當，似乎都達到了同一個能力上限。”
我們認為，企業對AI的採用收益持續令人失望，至今仍與支撐網絡泡沫的收益相形見絀——直到它不再是這樣。對於LLMs不可靠的基本挑戰的認識日益增長，而這些挑戰不會因為越來越昂貴的擴展而得到解決，這可能會加速AI泡沫的破裂。
在這篇文章中，作者深入探討了大型語言模型的局限性，並提出了對未來人工智能發展的悲觀預測。他們強調，僅僅依賴於數據集的擴大並不能解決LLMs的核心問題——缺乏對語言的真正理解和邏輯推理能力。這一觀點值得我們進一步思考：在追求技術進步的同時，我們是否忽視了人類思維的獨特性以及如何將其融入到人工智能的發展中？未來的人工智能是否應該更注重與人類智慧的互補，而不是單純追求規模和數據的擴張？
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
