阿里巴巴 ZeroSearch：AI搜尋引擎新突破

阿里巴巴推出ZeroSearch：降低AI訓練成本的新技術

阿里巴巴近日推出了一項突破性的技術，名為ZeroSearch，它可以改變人工智能（AI）系統學習搜尋資訊的方式，並顯著降低成本。這項新工具允許大型語言模型（LLMs）在不連接互聯網的情況下，模擬搜尋引擎結果。與其依靠谷歌或必應等搜尋引擎，阿里巴巴的方法有助於AI模型模擬搜尋引擎，跳過即時搜尋，並顯著降低昂貴的API成本。

“強化學習訓練需要頻繁的展開，可能涉及數十萬個搜尋請求，這些請求會產生大量的API費用，並嚴重限制可擴展性，”阿里巴巴的研究人員在他們發表在arXiv上的論文中寫道。

ZeroSearch的工作原理

ZeroSearch並不從搜尋引擎中提取即時數據，而是訓練一個大型語言模型（LLM），根據查詢生成有用和雜亂的文件。這是通過一個輕量級的有監督微調過程實現的，模型在這個過程中學習什麼是高質量和低質量的回應。

在訓練過程中，使用了一種“課程展開”策略。這意味著AI首先被提供易於理解的信息，隨著時間的推移，它被暴露在更混亂和凌亂的數據中，模擬現實世界的互聯網搜尋條件。

“我們的關鍵見解是，LLM在大型預訓練期間已經獲得了廣泛的世界知識，並且能夠根據搜尋查詢生成相關文檔，”研究人員在他們的論文中解釋道。

這個過程加強了模型的推理能力，使其更好地處理不可靠的數據，就像人類經常在網上做的那樣。

ZeroSearch的巨大成本節省

ZeroSearch的一個吸引人的特點是它巨大的成本降低。阿里巴巴的分析發現，使用約64,000個谷歌搜尋查詢進行訓練將通過SerpAPI花費大約586.70美元。相比之下，使用具有140億模擬模型的ZeroSearch，在四個A100 GPU上運行只需80.70美元，減少了88%的成本。

ZeroSearch與谷歌搜尋的比較

在一項測試中，阿里巴巴發現：

* 使用ZeroSearch的7B參數檢索模型與谷歌搜尋表現相同。
* 使用ZeroSearch的14B參數模型在性能上優於谷歌搜尋。

“結果顯示，ZeroSearch優於基於真實搜尋引擎的模型，同時產生零API成本，”報告指出。“此外，它在不同大小和類型的LLM（包括基本模型和指令調優模型）上都能很好地泛化，並支持PPO、GRPO和Reinforce++等多種強化學習算法。”

它還適用於不同大小和類型的AI模型，包括指令調優模型和基礎模型，並與多種強化學習技術兼容，如PPO、GRPO和Reinforce++。

ZeroSearch在GitHub和Hugging Face上開放

ZeroSearch的性能隨著模型規模和GPU數量的增加而改善，並且它適用於多種模型家族，包括Qwen-2.5和LLaMA-3.2。該公司已將其代碼、數據集和預訓練模型公開在GitHub和Hugging Face上。

這一突破對未來AI模型的意義

阿里巴巴的舉動正值AI公司競相構建更智能、更自給自足的模型之際。雖然像OpenAI的ChatGPT和谷歌的Gemini這樣的系統仍然依賴實時數據或搜尋整合，但ZeroSearch指出了未來AI可以在自身內完全“搜尋”，結果更便宜，有時甚至更準確。

作為編輯，我認為ZeroSearch的推出標誌著AI發展的一個重要里程碑。它不僅降低了AI訓練的成本，還提高了模型的效率和準確性。這項技術的應用前景廣闊，可能會改變我們與AI模型的互動方式。

然而，ZeroSearch的長期影響還有待觀察。它是否能夠被廣泛採用？它是否會取代現有的搜尋引擎？這些問題都需要時間來回答。但有一點是肯定的，ZeroSearch已經開啟了AI發展的新篇章。