加州大學柏克萊分校研究人員提出DocETL：利用大型語言模型優化複雜文件處理任務的聲明性系統
大型語言模型（LLMs）在數據管理中獲得了大量關注，應用範圍涵蓋數據整合、數據庫調整、查詢優化和數據清理。然而，處理未結構化數據，尤其是複雜文件，仍然是數據處理中的一大挑戰。最近設計的基於LLM的未結構化數據處理聲明性框架更注重成本降低，而非提高準確性。這對於複雜任務和數據來說會產生問題，因為LLM的輸出往往在用戶定義的操作中缺乏精確性，即使有精心設計的提示。例如，LLM可能難以在冗長的法律文件中識別出特定條款（如不可抗力或賠償）的每次出現，因此需要分解數據和任務。
在警察不當行為識別（PMI）方面，柏克萊調查報導計劃的記者希望通過資料請求分析大量警察記錄，以揭示警官不當行為的模式和潛在程序違規。PMI面臨分析複雜文件集（如警察記錄）以識別警官不當行為模式的挑戰。這項任務涉及處理異質文件，以提取和總結關鍵信息，匯總多個文件中的數據，並創建詳細的行為摘要。目前的方法將這些任務作為單步映射操作處理，每個文件調用一次LLM。然而，由於文件長度超過LLM上下文限制、缺失關鍵細節或包含不相關信息等問題，這種方法往往缺乏準確性。
DocETL的創新系統
來自加州大學柏克萊分校和哥倫比亞大學的研究人員提出了DocETL，一個創新的系統，旨在優化複雜文件處理流程，同時解決LLM的局限性。這種方法為用戶提供聲明性界面以定義處理管道，並使用基於代理的框架進行自動優化。DocETL的關鍵特性包括為LLM任務量身定制的管道邏輯重寫、創建和管理特定任務驗證提示的代理指導計劃評估機制，以及在LLM時間限制內高效識別有前景計劃的優化算法。此外，DocETL在各種未結構化文件分析任務中顯示出顯著的輸出質量改進。
DocETL在PMI任務中使用加州警察部門的227份文件數據集進行評估。該數據集面臨重大挑戰，包括文件長度平均12,500個詞元，有些超過128,000詞元的上下文窗口限制。任務涉及為每位警官生成詳細的不當行為摘要，包括姓名、不當行為類型和綜合摘要。DocETL的初始管道包括提取不當行為警官的映射操作、展平列表的解嵌操作，以及跨文件總結不當行為的減少操作。系統使用GPT-4o-mini評估多個管道變體，展示了DocETL優化複雜文件處理任務的能力。這些管道包括DocETLS、DocETLT和DocETLO。
在數據的子集上使用GPT-4o-mini作為裁判進行了人工評估，驗證了LLM的判斷，顯示出LLM裁判與人工評估者之間的高度一致性（92-97%）。結果顯示，DocETLO的準確性比基線高1.34倍。DocETLS和DocETLT管道表現相似，DocETLS經常省略日期和地點。評估強調了評估基於LLM的管道的複雜性，以及在LLM驅動的文件分析中任務特定優化和評估的重要性。DocETL的自定義驗證代理在找出每個計劃的相對優勢以及展示系統在處理複雜文件處理任務中的有效性方面至關重要。
結論
研究人員介紹了DocETL，一個用於優化複雜文件處理任務的聲明性系統，利用LLM解決現有LLM驅動的數據處理框架中的關鍵限制。它利用創新的重寫指令、基於代理的計劃重寫和評估框架，以及機會主義優化策略來應對複雜文件處理的具體挑戰。此外，DocETL能夠產生比手工工程基線高出1.34到4.6倍的質量輸出。隨著LLM技術的不斷發展和文件處理中新挑戰的出現，DocETL靈活的架構為未來研究和應用提供了一個強大的平台。
編輯評論
DocETL系統的推出標誌著文件處理技術的一大進步，特別是在處理複雜和未結構化數據方面。這反映了一個重要趨勢，即不僅要降低成本，更要提高處理準確性，尤其在法律和記者調查等領域，準確性至關重要。DocETL的創新在於其代理驅動的優化框架，這不僅提升了文檔處理的效率，也為未來的技術發展提供了新的可能性。這項研究不僅推動了LLM在實際應用中的進一步發展，也為其他需要處理複雜文件的領域提供了參考。隨著技術的進步，我們可以期待更多這樣的創新系統出現在市場上，為各行各業帶來更多的效率和準確性。
以上文章由特價GPT API KEY所翻譯
