MIT新AI技術：細模型合作解決複雜推理

MIT研發「自我引導」系統 讓細規模語言模型解決複雜推理任務

隨著語言模型（LM）在圖像生成、答題和簡單數學等領域不斷進步，大家可能以為人工智能已經接近人類水平的推理能力，但實際上它們在複雜任務上仍然遠遠落後。舉例來說，讓AI玩數獨遊戲，填入1至9的數字，並且保證每列、每行和每個九宮格內的數字不重複，AI往往無法自己有效完成填寫，甚至只能判斷玩家是否正確完成。

無論是解決高階謎題、設計分子結構還是撰寫數學證明，語言模型在處理需要嚴格規則和開放性問題時仍顯不足。大型語言模型（LLM）有時能應付這些複雜推理，但回應速度慢且耗費大量計算資源；而較小模型則難以獨立完成這些任務。

麻省理工學院（MIT）計算機科學與人工智能實驗室（CSAIL）的研究團隊提出一種創新方法，讓大型模型負責規劃策略，再將具體執行任務分配給多個小型模型協作完成。這套名為「DisCIPL」（Distributional Constraints by Inference Programming with Language Models）的系統，透過大型模型指引多個小型「跟隨者」模型，能在撰寫文本、預算編列和旅遊行程規劃等任務中，提供比主流大型模型如OpenAI的GPT-4o更準確的答案，精度接近頂尖推理系統o1，且效率更高。

DisCIPL的運作就像委託一家公司完成專案。使用者向一個「老闆」模型下達請求，該模型仔細規劃執行方案，再用清晰指令透過一種專為控制語言模型設計的程式語言LLaMPPL，將任務分派給小型模型。這種語言讓模型之間能互相「溝通」，並且在需要時修正跟隨模型的輸出，例如替換不合適的詞句。

MIT博士生Gabriel Grand表示，DisCIPL讓語言模型能互相引導，提升整體推理效率，特別是在有嚴格限制條件的現代應用中。他強調：「隨著語言模型使用量增加，能用較少計算資源提供準確答案的模型需求越來越迫切。」

加州大學柏克萊分校助理教授Alane Suhr評論指出，DisCIPL提出了標準語言模型推理的新替代方案，利用平行化大幅降低推理延遲，並且用更少參數達到甚至超越傳統方法的任務表現，同時帶來模型輸出透明度和可控性的提升，這是當前技術部署中仍待解決的重要問題。

細模型合作 打破大模型壟斷

一般認為大型語言模型在複雜任務上的準確度和效率優於小型模型，但DisCIPL展示了另一種可能：結合多個小型模型的優勢，不僅能達到類似準確度，還能顯著提高效率。

研究團隊在實驗中以GPT-4o擔任「規劃者」，為多個Meta開發的Llama-3.2-1B小型模型制定作答計劃，這些小模型負責逐字填寫答案。DisCIPL在寫作和推理任務中與三個對照組競爭：僅用Llama-3.2-1B的基線模型、獨立運作的GPT-4o，以及業界領先的o1推理系統。

系統能精確完成指定規則的文本創作，例如撰寫一個18字句子，且第四字必須是「Glasgow」、第八字是「in」、第11字為「and」，表現出色，達到與o1相當的準確度和連貫性。

更快、更省成本、更優秀

DisCIPL的核心優勢還包括成本效益。與以文字推理的o1系統相比，DisCIPL利用Python程式碼進行推理，令過程更簡潔。實驗結果顯示，DisCIPL的推理過程平均縮短40.1%，成本節省達80.2%。

這些效益主要來自於使用成本低廉的小型Llama模型作為跟隨者，每個token的運算成本比傳統推理模型低1000至10000倍。這使得DisCIPL能以極低成本平行運行數十個小模型，擴展性更強。

此外，DisCIPL在真實任務如食材清單製作、旅行行程安排和有限字數的撰寫提案中，也表現優於GPT-4o和單一小模型基線。GPT-4o在這些任務中表現不佳，常常無法將關鍵詞放在正確位置，而基線模型則難以遵守指令。

MIT電機與計算機科學副教授Jacob Andreas指出，過去幾年已有不少研究利用語言模型將數學和機器人問題「自動形式化」成程式碼，帶來效率提升。他認為DisCIPL的突破在於能將這套自動形式化方法應用於文本生成，帶來同樣的效率和準確性提升。

未來團隊計劃將DisCIPL擴展為更完整的遞迴結構，讓同一模型既可擔任領導者亦可作為跟隨者使用。Grand表示，該系統或可應用於更難驗證的數學推理任務，並測試其在滿足用戶模糊偏好（非明確程式碼限制）方面的能力。團隊亦希望能利用更大型模型進行實驗，雖然計算資源成本較高。

這項研究由MIT Quest for Intelligence、Siegel Family Foundation、MIT-IBM Watson AI Lab、Sloan Research Fellowship、Intel、美國空軍科學研究辦公室、國防高等研究計劃署、海軍研究辦公室及美國國家科學基金會支持。

—

評論與啟示

MIT的DisCIPL系統以合作形式整合多個小型語言模型的力量，挑戰了大型模型獨霸複雜推理任務的傳統認知。這種「分工合作」的策略，不僅提升了準確度，也大幅降低了成本和時延，為AI推理效率的提升提供了新思路。

傳統上，提升AI能力往往靠增加模型規模，帶來龐大計算需求和環境負擔。DisCIPL則展示了「智慧分配」資源的可能性，透過大型模型規劃、小型模型執行的架構，兼顧精準與效率。這種架構類似人類團隊工作，強調協作而非單打獨鬥，值得業界深思。

此外，DisCIPL利用程式語言（LLaMPPL）作為溝通橋樑，令語言模型間的協調更為明確和可控，對解決AI系統透明度和可解釋性的挑戰有積極意義。未來若能將此框架進一步遞迴擴展，甚至應用於更複雜的數學推理和模糊判斷，將可能引領AI系統邁向更廣泛的實際應用。

總括而言，DisCIPL不僅是技術突破，更帶來對AI發展策略的反思：是無止境追求更大模型，還是善用多元協作與智能規劃？這值得AI研究者和業界決策者深度探討。對香港等地來說，這種低成本高效率的模型協作方式，或許能推動更多中小型企業和研發團隊參與AI應用開發，促進本地AI生態系統多元發展。

以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。