OpenAI的下一個AI模型顯示出增長放緩的跡象，預示著整個AI行業面臨警告
根據《資訊》（The Information）報導，OpenAI的下一個旗艦人工智能模型Orion在性能上顯示出與之前版本相比的改善幅度減小，這可能意味著蓬勃發展的生成式AI行業正接近一個平台期。
報導指出，使用或測試過Orion的員工表示，這個新模型的提升幅度僅比GPT-4有所改善，而從GPT-3到GPT-4的進步幅度明顯更大，特別是在編碼任務上，Orion的進步似乎不夠顯著。
這一情況重新引發了關於開發更高級模型可行性的辯論，以及AI擴展法則——即關於模型如何改進的理論規則。
OpenAI首席執行官山姆·阿特曼（Sam Altman）在二月曾在社交媒體上表示，”擴展法則是由上帝決定的；常數則由技術人員決定。”他所提及的“法則”暗示，隨著模型規模的增大及數據和計算能力的增強，AI模型變得更加智能。
儘管阿特曼可能仍然相信一個預定的公式決定了AI的智能提升程度，但《資訊》的報導顯示，技術團隊對這些法則的質疑正在加劇，因為在矽谷內部關於主流模型性能達到瓶頸的證據越來越明顯。
數據和計算能力的限制
雖然Orion的訓練尚未完成，OpenAI仍然採取了其他措施來提升性能，例如基於人類反饋進行後期改進。這個模型在一年前首次亮相，仍有可能在發布前實現顯著改善。但這也顯示出，幫助公司籌集數十億美元並獲得高估值的未來AI模型，可能在每次迭代中顯得不那麼驚艷。
這種情況可能出現的原因有兩個主要方面。
首先，數據作為擴展法則中的一個重要元素，隨著公司迅速耗盡可用的在線數據而變得更難獲得。公司已經從網絡上抓取了大量人類創造的數據，包括文本、視頻、研究論文和小說，以訓練其AI工具和功能，但供應是有限的。研究公司Epoch AI在六月預測，企業可能會在2028年前耗盡可用的文本數據。公司正試圖通過轉向由AI生成的合成數據來克服這些限制，但這也帶來了問題。
“就一般知識問題而言，可以說目前我們看到大型語言模型的性能正在趨於平穩，”企業軟件公司Databricks的聯合創始人兼主席伊翁·斯托卡（Ion Stoica）告訴《資訊》，並補充道“事實數據”比合成數據更有用。
其次，計算能力，這一歷史上推動AI性能提升的因素，也並非無限。在上個月的一次Reddit AMA中，阿特曼承認他的公司面臨著“許多限制和困難的決策”，尤其是在分配計算資源方面。
不難理解，為何一些行業專家開始注意到，今年發布的新AI模型及未來的模型在性能上的提升幅度，顯示出比其前身更小的增長。
減少回報的跡象
紐約大學名譽教授加里·馬庫斯（Gary Marcus）是當前AI熱潮的直言不諱的批評者，他認為AI發展注定會遇到瓶頸。他對《資訊》的報導做出了反應，並在Substack上發表了一篇標題為“確認：大型語言模型確實達到了減少回報的點”的文章。
當OpenAI的競爭對手Anthropic在六月發布其Claude 3.5模型時，馬庫斯對Claude 3.5在研究生級別推理、代碼和多語言數學等領域的微小改進表示不屑，稱其與許多其他模型“在同一範疇內”。
AI市場已經花費數十億美元試圖顛覆競爭，卻僅僅提供了“趨向收斂，而非持續指數增長”的證據。
OpenAI的聯合創始人伊利亞·蘇茨克弗（Ilya Sutskever）也提出了類似的觀點。在《資訊》報導之後，他告訴路透社，擴展預訓練的結果已經趨於平穩，並表示“正確擴展的東西比以往任何時候都更為重要。”
AI行業將繼續尋找方法來促進性能的巨大飛躍。Anthropic首席執行官達里奧·阿莫代伊（Dario Amodei）預測，明年AI模型的訓練將進入一個新時代，成本可能達到1000億美元。阿特曼此前表示，訓練ChatGPT-4的成本超過了1億美元。當投入如此多資本時，一個AI模型能變得多智能，仍有待觀察。
對擴展的樂觀情緒
儘管如此，許多矽谷領導人，包括阿特曼，仍然對AI目前的擴展潛力持樂觀態度。在七月，微軟首席技術官凱文·斯科特（Kevin Scott）在接受Sequoia Capital的《訓練數據》播客訪問時，駁斥了AI進展已經趨於平穩的擔憂。他表示：“儘管其他人這樣認為，我們並沒有在擴展上達到邊際報酬遞減的階段。”
另外，還可能有策略通過加強推理部分的開發來使AI模型更智能。推理是指在模型訓練後，使用未見過的數據來完善AI輸出的工作。OpenAI在九月發布的模型OpenAI o1更注重推理改進，據OpenAI稱，它在複雜任務中超越了其前身，達到與博士生在物理、化學和生物學基準任務中的智能水平相似的表現。
然而，很明顯，像阿特曼一樣，整個行業仍然堅信擴展法則是推動AI性能的主要動力。如果未來的模型未能給人留下深刻印象，預計將會重新評估當前的AI熱潮。
在這個瞬息萬變的科技時代，AI的發展不僅影響著科技公司，也在影響整個社會的運作方式。未來，如何在數據和計算能力的限制中尋找突破口，將成為行業內部的重要課題。這不僅需要技術上的創新，還需要對現有理論的深入反思和挑戰。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
