告別香草RAG,代理RAG來了
隨著代理RAG的出現,關於微調和RAG的對話似乎終於結束,因為代理現在可以幫助推理。
每個人都喜愛檢索增強生成(RAG)。它徹底改變了人工智能系統處理和回應用戶查詢的方式,通過利用外部知識源來提升表現。然而,隨著現代企業需求的多樣化,RAG也面臨著被取代的壓力,因為其無法滿足所有需求。
隨著對於細緻、複雜和自適應人工智能系統的需求不斷增加,傳統的RAG方法——通常被稱為香草RAG——已經達到了其極限。這時,代理RAG便應運而生。代理RAG代表了一種先進的架構,結合了RAG的基礎原則以及人工智能代理的自主性和靈活性,預示著未來的人工智能系統將更加適應性強、主動和智能。
什麼是代理RAG?
IBM的產品AI平台副總裁阿曼德·魯伊斯在LinkedIn上表示,代理RAG已經到來,並且與他所認為的人工智能未來相一致。他發布了使用IBM的Granite 3.0 8B指令模型的LangChain代理RAG系統的GitHub庫。
在其傳統形式中,香草RAG涉及一個線性管道,通過檢索、重排序、合成和回應生成來處理用戶查詢。雖然它能有效生成有根據且與上下文相關的答案,但香草RAG在靈活性方面卻顯得乏力。它過度依賴預定的知識源,缺乏驗證檢索數據的機制,並且作為一次性檢索器運作,無法進行迭代改進。
代理RAG通過將人工智能代理整合進RAG管道來解決這些問題。這些代理自主運作,協調複雜的任務,如計劃、多步推理和工具利用。這種代理方法將靜態檢索系統轉變為動態框架,能夠根據不斷演變的數據和用戶需求調整策略。
代理RAG的核心是能在RAG管道的各個階段引入代理。它使得用戶可以構建具有完全自主推理和執行特定工具能力的系統。
Weaviate的技術合作經理埃里卡·卡登斯和機器學習工程師萊奧妮·莫尼加提解釋說,代理會判斷是否需要外部知識,選擇合適的檢索工具(例如向量檢索、網頁檢索、API),並根據任務制定查詢。
此外,代理不僅依賴初始檢索的數據,還會驗證其相關性,必要時重新檢索,確保最終輸出符合用戶的意圖。代理還可以訪問各種工具,從計算器和電子郵件API到網頁檢索和專有數據庫,顯著擴大了可檢索和處理的範疇。
隨著代理RAG的出現,關於微調和RAG的討論似乎已經結束。代理可以通過從社區論壇、內部知識庫和文檔中檢索信息,以無與倫比的準確性和速度解決查詢。
這就像在推理時對模型進行微調,某些人稱之為使用多個模型進行推理。這正是LlamaIndex所稱的代理RAG框架——在輸入上添加LLM層,並對輸出進行後處理。
RAG不是答案?
並非所有人都喜歡RAG。南卡羅來納州人工智能研究所(AIISC)的主席及創始主任阿米特·謝特回應魯伊斯的帖子,聲稱RAG在原則上讓他感到困擾。他表示:“你需要RAG,因為核心/後端/主要的人工智能系統不夠好。”謝特指出,RAG系統是因為核心人工智能系統不夠準確才需要的,這使得投入的努力變得徒勞。
此外,根據幾位研究者的觀點,如果一個代理RAG思考時間過長而沒有給出回應,因為數據庫中沒有信息,那麼這只是浪費計算資源,因此它不會隨著計算能力的增強而擴展。
為了超越RAG,谷歌推出了一種新方法——檢索交織生成(RIG)——與其DataGemma模型一起使用。這種技術將LLM與公共數據的開源數據庫Data Commons結合。
通過RIG,如果人工智能模型需要更當前或具體的數據,它會暫停並從可靠的外部來源(如數據庫或網站)搜索這些信息。然後,模型將這些新獲得的數據無縫地納入其回應中,根據需要在生成內容和檢索信息之間交替進行。
然而,在談到代理RAG時,系統動態地調整檢索策略,訪問超越靜態數據庫的各種工具和知識源。通過迭代檢索和推理,代理確保所檢索的數據準確且相關。
代理能夠預測用戶需求並採取預防性行動,使互動過程更加流暢和高效。這種主動和自適應的特性使得代理RAG在需要詳細推理、多文檔比較和全面決策的場景中特別有效。在這樣的背景下,即使是RIG這樣的方法也變得不那麼相關。
—
在這篇文章中,Mohit Pandey深入探討了代理RAG的優勢以及其對傳統RAG的超越。這一新技術不僅提升了人工智能系統的靈活性和適應性,還顯示出未來人工智能發展的潛力。隨著技術的進步,我們或許會看到更多類似的創新出現,這將可能改變企業如何利用人工智能來解決複雜問題的方式。從長遠來看,這不僅是技術的演進,更是企業在數字化轉型過程中必須面對的挑戰和機遇。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。