即將出現能夠發明AI的AI，準備好迎接變革
利奧波德·阿申布倫納（Leopold Aschenbrenner）在今年夏天發表的《情境意識》宣言引起了廣泛關注。在這篇挑釁性的文章中，22歲的天才和前OpenAI研究員阿申布倫納預測，人工通用智能（AGI）將在2027年到來，人工智能（AI）到2029年將消耗美國20%的電力，並將釋放無法估量的破壞力，在短短幾年內重塑全球地緣政治格局。
阿申布倫納關於AI進步呈指數增長的驚人論點基於一個核心前提：AI將很快變得強大到能夠自行進行AI研究，進而實現遞歸自我改進和無法控制的超智能。
自我改進的AI概念並不新穎。從尼克·博斯特羅姆（Nick Bostrom）2014年的重要著作《超智能》到流行電影《她》，這一概念在有關AI長期未來的討論中一直佔據重要地位。早在1965年，艾倫·圖靈的密切合作者I.J.古德就清晰地表達過這一可能性：“讓超智能機器定義為能夠遠遠超過任何人類智力活動的機器。由於機器設計本身就是一種智力活動，超智能機器將能夠設計出更好的機器；那時，毫無疑問將會出現‘智力爆炸’，人類的智力將會被遠遠拋在身後。因此，第一台超智能機器是人類所需的最後一項發明。”
自我改進的AI是一個在智力上引人入勝的概念，但即使在當今的AI熱潮中，它仍然帶有科幻的色彩，或者至少仍然感覺抽象和假設，類似於奇點的概念。不過，儘管少數人尚未注意到，這一概念實際上正開始變得更加現實。在AI科學的前沿，研究人員已經開始在構建能夠自主開發更好AI系統的AI系統方面取得具體進展。
這些系統尚未準備好投入實際應用，但可能比你想像的更快到來。如果你對人工智能的未來感興趣，你應該密切關注這一動向。
將AI指向自身
一種直觀的方式來框架這個話題是：人工智能正獲得自動化越來越廣泛的人類活動的能力。不久之後，它將能夠自主完成整個人類工作，包括客服代表、軟件工程師和計程車司機等職位。
為了使AI能夠實現遞歸自我改進，所需的只是讓它學會執行一項特定的人類工作：AI研究員的工作。
如果AI系統能夠進行自己的AI研究，它們就能提出更優的AI架構和方法。通過簡單的反饋迴路，這些優越的AI架構可以進一步設計出更強大的架構，如此循環。
乍一看，這似乎有些不切實際。畢竟，人工智能的基礎研究是人類能夠進行的最複雜的認知活動之一。特別是對於那些不在AI行業的人來說，AI科學家的工作可能顯得神秘，因此難以想像能夠自動化。但是，AI科學家的工作實際上包含了什麼呢？
利奧波德·阿申布倫納這樣描述：“AI研究員的工作在整體上相對簡單：閱讀機器學習文獻，提出新問題或想法，實施實驗來檢驗這些想法，解釋結果，並重複這一過程。”
這一描述可能聽起來過於簡化和簡單化，某種程度上確實如此。但它指向了一個事實：自動化AI研究可能比想像中更容易。
首先，關於核心AI算法和方法的研究可以在數字環境中進行。與生物學或材料科學等領域的研究相比，後者（至少在當前情況下）需要通過複雜的實驗室設置來導航和操作物理世界。處理現實世界對AI來說是一個更棘手的挑戰，並引入了顯著的學習和進展約束。可以完全在“位元，而非原子”領域完成的任務更容易實現自動化。
此外，開發尖端AI系統的人恰恰是最了解如何進行AI研究的人。由於他們對自己的工作非常熟悉，因此他們特別適合構建自動化這些活動的系統。
再次引用阿申布倫納，他進一步揭示了AI研究人員工作的神秘性：“值得強調的是，過去十年中一些最大的機器學習突破是如此簡單和粗糙：‘哦，只需添加一些標準化’（LayerNorm / BatchNorm）或‘使用f(x)+x而不是f(x)’（殘差連接）或‘修正實現錯誤’（Kaplan → Chinchilla縮放法則）。AI研究可以自動化。自動化AI研究就是啟動非凡反饋迴路所需的全部。”
櫻花AI的AI科學家
關於AI進行AI研究的這一敘事在智力上引人入勝，但也可能感覺假設性和缺乏依據，這使得人們容易忽視這一點。然而，在櫻花AI於今年八月發表其“AI科學家”論文後，這一觀點變得更難以忽視。
櫻花AI是一家位於日本的資金充足的AI初創公司，由兩位來自谷歌的著名AI研究員創立，其中一位是變壓器架構的共同發明者之一。
櫻花的“AI科學家”是一種能夠自主完成整個人工智能研究生命周期的AI系統：閱讀現有文獻、生成新研究想法、設計實驗來檢驗這些想法、執行實驗、撰寫研究論文以報告其發現，然後對其工作進行同行評審。
該系統完全自主運行，無需人類干預。
AI科學家在三個不同的人工智能領域進行研究：基於變壓器的語言模型、擴散模型和神經網絡學習動態。它在這三個領域中發表了數十篇研究論文，標題包括“通過Q學習為變壓器實現自適應學習率”、“解鎖Grokking：變壓器模型中權重初始化策略的比較研究”和“DualScale擴散：低維生成模型的自適應特徵平衡”。
這些AI生成論文的全文在線上可獲得。我們建議你花點時間查看其中幾篇，以親身體會AI科學家的產出。
那麼，這位“AI科學家”產出的研究質量如何呢？它只是對訓練數據的枯燥重複，沒有增量見解，還是會取代OpenAI的所有人類AI研究員？答案是兩者皆非。
櫻花團隊總結道：“總體而言，我們認為AI科學家的表現大約相當於一位早期階段的機器學習研究員，能夠勝任執行一個想法，但可能沒有足夠的背景知識來充分解釋算法成功的原因。如果人類監督者看到這些結果，合理的下一步行動可能是建議AI科學家重新範疇該項目，以進一步調查某些相關主題。”
AI科學家證明自己能夠提出合理且相關的新假設，設計並執行簡單實驗以評估這些假設，並撰寫研究論文報告其結果。換句話說，它證明了自己有能力進行AI科學。這是相當了不起的。
它產出的某些論文被評價為達到了世界頂尖機器學習會議NeurIPS的接受質量標準。這更是令人驚訝。
為了充分理解AI科學家的能力——無論是優勢還是當前的限制，值得花些時間深入了解其一篇論文。（請耐心跟隨，我保證這是值得的。）
讓我們考慮它的論文“DualScale擴散：低維生成模型的自適應特徵平衡”。這既不是AI科學家最強的論文，也不是最弱的。
AI科學家首先確定AI文獻中的一個未解決問題：擴散模型在生成樣本時平衡全球結構與局部細節的挑戰。
它提出了一種新的架構設計來解決這一問題：在標準去噪網絡中實現兩個平行分支，以使擴散模型更好地捕捉全球結構和局部細節。
正如（人類）櫻花研究人員所觀察到的，AI科學家選擇專注的主題是一個合理且有動機的研究方向，而它提出的具體想法是新穎的，“根據我們的知識，尚未得到廣泛研究”。
然後，系統設計了一個實驗計畫來檢驗其想法，包括指定評估指標和與基線的比較，並編寫必要的代碼來執行這些實驗。
在審查初步實驗結果後，AI科學家對代碼進行迭代，進行進一步實驗，在此過程中做出了一些創造性的設計選擇（例如，使用一種非常規的激活函數LeakyReLU）。
完成實驗後，系統產出了一篇11頁的研究論文，報告其結果——包括圖表、數學方程式和科學論文中所期望的所有標準部分。值得注意的是，論文的“結論與未來工作”部分提出了一系列有見地的下一步，以進一步推進這一研究方向，包括擴展到更高維度問題、嘗試更複雜的自適應機制和發展更好的理論基礎。
重要的是，AI科學家提出的新的架構設計確實導致了更好的擴散模型性能。
當然，這篇論文並不完美。它在模型架構方面存在一些小的技術錯誤。它受到了一些幻覺的影響，例如錯誤地聲稱其實驗是在Nvidia V100 GPU上進行的。它錯誤地描述了一個實驗結果，聲稱反映一個變量的增加，而實際上該變量已經減少。
在研究過程的最後一步，一個“自動審稿人”（AI科學家系統內的一個獨立模塊）對論文進行同行評審。自動審稿人準確地識別並列舉了論文的優勢（例如：“在低維數據的擴散模型中平衡全球和局部特徵的新穎方法”）和劣勢（例如：“計算成本顯著更高，這可能限制實際應用”）。
總體而言，審稿人根據NeurIPS會議的評審標準將論文評為5分（滿分10分）： “邊緣接受”。
如果這是GPT-1呢？
櫻花的AI科學家是遞歸自我改進AI系統的原始概念證明。
它有許多明顯的限制。這些限制中的許多代表了近期改善其能力的機會。例如：
它只能閱讀文本，而不能理解圖像，儘管科學文獻中包含的許多信息都是以圖表的形式呈現的。當前市場上已經有廣泛可用的AI模型可以理解文本和圖像。通過為AI科學家提供多模態能力，升級它將是相對簡單的。
它沒有互聯網接入。這同樣是一個簡單的升級。
櫻花團隊沒有為這項工作預訓練或微調任何模型，而是完全依賴於對現有通用前沿模型的提示。可以安全地假設，為AI科學家系統中的特定任務（例如自動審稿人）微調模型將大大提升性能。
或許兩個最重要的未來性能增長機會是：
首先，AI科學家的工作是在OpenAI新推出的o1模型發布之前發表的，該模型的創新推理時搜索架構將大大提高類似系統的計劃和推理能力。
其次，這些結果是使用幾乎可笑的小計算量獲得的：一個Nvidia H100節點（8個GPU）運行一周。
提升系統可用的計算能力可能會顯著改善AI科學家的研究努力，即使在其他條件不變的情況下，因為它能夠生成更多的想法、運行更多的實驗並並行探索更多的研究方向。
將計算資源的增加與不斷改進的前沿模型和像o1這樣的算法進步結合起來，可能會迅速釋放這些系統的驚人性能。
因此，對於櫻花的AI科學家工作的最重要啟示不是該系統今天的能力，而是類似系統未來可能具備的能力。
正如AI科學家工作的主要研究人員Cong Lu所說：“我們真的相信這是AI科學的GPT-1。”
OpenAI的GPT-1論文於2018年發表，幾乎沒有人注意到。幾年後，GPT-3（2020年）和GPT-4（2023年）改變了世界。
如果在當今的AI領域有一個可以下賭的事情，那就是基礎技術將以驚人的速度不斷改進。如果像櫻花的AI科學家這樣的努力在未來幾年中以與過去幾年語言模型相似的速度改善——我們將面臨戲劇性且令人困惑的變革。
正如Lu所說：“明年這些系統會變得更好。AI科學家的2.0版本將幾乎無法辨認。”
結語
當今的人工智能技術強大，但尚未能使自己變得更強大。
GPT-4是一項驚人的技術成就，但它並不具備自我改進的能力。從GPT-4到GPT-5的過程將需要許多人工長時間的構思、實驗和迭代。當前開發尖端AI仍然是一項手工、手工藝的活動。
但如果這種情況發生變化呢？如果AI系統能夠自主創建更強大的AI系統——而這些系統又能創建更強大的AI系統呢？
這一可能性比大多數人所認識的更加真實。
我們相信，在接下來的幾年中，由自我改進的AI引發的“智力爆炸”概念——由I.J.古德、尼克·博斯特羅姆和利奧波德·阿申布倫納等思想家數十年來闡述——將從一種遙不可及的理論幻想轉變為一種真實的可能性，AI技術人員、企業家、政策制定者和投資者將開始認真對待。
就在上個月，Anthropic更新了其風險治理框架，強調了兩個來自AI的特定風險來源：（1）AI模型可以協助人類用戶創建化學、生物、放射性或核武器；（2）AI模型可以“獨立執行通常需要人類專業知識的複雜AI研究任務——可能以不可預測的方式顯著加速AI發展。”
這可以視為未來的徵兆。
值得解釋的一個重要概念，幾乎是哲學性的問題，常常在這個話題上出現。即使AI系統能夠設計出對現有AI架構的增量改進，正如我們在櫻花的例子中所見，它們能否提出真正原創的、顛覆性的“零到一”的突破？AI能否產生如變壓器、卷積神經網絡或反向傳播這樣根本性的科學進展？
換句話說，“DualScale擴散：低維生成模型的自適應特徵平衡”（上述AI生成的論文）與“注意力即一切”（2017年引入變壓器架構的開創性論文）之間的差異是質的差異嗎？還是僅僅是程度的差異？是否可能需要數量級更高的計算能力，以及幾代不斷進步的前沿模型，才能彌補兩者之間的差距？
答案是我們尚不清楚。
但無論如何，這項技術可能會改變遊戲規則。
“要記住的一個關鍵點是，絕大多數的AI研究具有增量性，”年輕初創公司AutoScience的首席執行官兼聯合創始人艾略特·考恩（Eliot Cowan）表示，他正在建立一個AI平台來自主進行AI研究。“這是進步的主要方式。作為AI研究員，你經常會提出一個你認為將會變革的想法，然後結果卻僅僅推動了1.1倍的改善，但這仍然是一種改進，你的系統因此變得更好。AI今天能夠自主完成這種研究。”
你可以肯定的是，儘管他們不會公開承認，但像OpenAI和Anthropic這樣的前沿實驗室非常認真地看待自動化AI研究員的可能性，並且已經投入了真正的資源來追求這一概念。
在人工智能的世界中，最有限和珍貴的資源就是人才。儘管當前對AI的熱情高漲，但全世界仍然只有幾千人具備進行前沿AI研究的培訓和技能。想像一下，如果有辦法用AI將這個數字乘以一千倍，甚至一百萬倍，那將會是什麼樣的情景。OpenAI和Anthropic不能不認真對待這一點，否則他們將會被甩在身後。
如果當前AI進步的速度讓人感到困惑，那麼想象一下當數百萬個自動化的AI研究員24小時運行來推進該領域的前沿時，會是什麼感覺。未來在生命科學、機器人技術、材料科學和對抗氣候變化方面可能會出現什麼突破？人類福祉可能會出現什麼意想不到的風險？
準備好迎接變革吧。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
