LightPROF：一個輕量級的AI框架，讓小型語言模型能夠在知識圖上進行複雜推理
大型語言模型（LLMs）已經革新了自然語言處理，通過大量的訓練數據和龐大的參數，能夠在複雜的零樣本任務中表現出色。然而，LLMs在處理需要知識的任務時，經常因為缺乏特定任務的先前知識和理解能力而面臨挑戰。LLMs需要接觸到可靠且不斷更新的知識庫來進行有效推理，而知識圖（KGs）由於其結構化的語義框架，成為理想的候選者。目前，LLMs在KGs上進行推理的方式面臨兩個主要障礙：一是將KG內容表示為大量文本無法傳達圖結構中的豐富邏輯關係，二是檢索和推理過程需要多次調用LLM並消耗大量計算資源。
提示工程已成為擴展LLM能力的一項關鍵技術，無需修改模型參數。這一領域已從簡單的零樣本和少樣本提示發展到更複雜的方法，如思維鏈（CoT）、思維樹（ToT）和思維圖（GoT）。基於KG的LLM推理因KG提供明確的結構化知識而受到關注，這有助於LLM增強知識意識。更靈活的解決方案如KAPING、KGGPT、StructGPT、ToG和KnowledgeNavigator，利用KG的事實信息構建LLM提示，並採用語義相似檢索、多步推理框架和KG上的束搜索等技術來提升推理能力。
來自北京郵電大學、杭州電子科技大學、新加坡管理大學、新加坡國立大學、中國科學院計算技術研究所及西安交通大學的研究人員提出了LightPROF，一個輕量級高效的提示學習推理框架。該框架的Retrieve-Embed-Reason架構使小型LLMs能夠在KGs上進行穩定的檢索和高效的推理。它包含三個核心組件：檢索、嵌入和推理模塊。檢索模塊以關係作為基本檢索單位，根據問題語義限制範圍；嵌入模塊使用基於變壓器的緊湊知識適配器；推理模塊則將嵌入表示向量與精心設計的提示結合。LightPROF支持各種開源LLMs和KGs，並且在訓練期間僅需調整知識適配器。
LightPROF在兩個基於Freebase的公共數據集上進行評估：WebQuestionsSP（WebQSP）和ComplexWebQuestions（CWQ）。WebQSP作為基準數據集，問題數量較少（4,737），但KG規模較大；而CWQ則設計用於複雜的KG問答，包含34,689個問題-答案對，基於WebQSP構建。性能通過匹配準確率（Hits@1）來衡量，這評估模型的最佳答案是否正確。LightPROF與三類基準方法進行比較：完全微調的方法（包括KV-Mem、EmbedKGQA、TransferNet、NSM等）、普通LLM方法（以LLaMa系列模型為主），以及LLM+KGs方法（如StructGPT、ToG、KnowledgeNavigator和AgentBench）。
LightPROF顯著超越了最先進的模型，在WebQSP數據集上達到83.7%的準確率，而在更具挑戰性的CWQ數據集上達到59.3%。這些結果驗證了LightPROF在處理多跳和複雜推理挑戰中的有效性。當在框架中集成不同的LLMs時，LightPROF始終能夠提升性能，無論原始模型的基準能力如何。這種即插即用的集成策略消除了昂貴的LLM微調需求。與StructGPT的效率評估顯示，LightPROF在資源利用上優於對手，處理時間減少30%，輸入令牌使用量減少98%，每次請求的令牌數量也顯著降低。
總結來說，研究人員介紹了LightPROF，這是一個通過準確檢索和高效編碼KG來增強LLM推理的新穎框架。它通過使用穩定的關係作為單位來縮小檢索範圍。研究人員開發了一個複雜的知識適配器，能夠有效解析圖結構並整合信息，以實現小型LLMs的高效推理。它將推理圖簡化為較少的令牌，同時通過投影器元件實現與LLM輸入空間的全面對齊。未來的研究方向包括開發具有強大泛化能力的KG編碼器，能夠在不重新訓練的情況下應用於未見的KG數據，以及設計統一的跨模態編碼器，能夠處理多模態KGs。
從這篇文章中，我們可以看到AI技術在知識圖推理領域的進展，特別是LightPROF的開發展示了如何通過結構化的提示和高效的知識檢索來提升小型語言模型的性能。這不僅對於學術界有重要意義，對於實際應用中的AI系統設計也提供了新的思路。隨著AI技術的持續進步，未來我們或許能看到更多類似的框架，使得小型模型也能夠在知識密集的任務中發揮出色的表現。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
, 今日有咩可以幫到你? 