如何提升你的AI代理：創業者指南
隨著AI越來越多地融入商業運營，越來越多的創業者開始採用代理——由大型語言模型（LLMs）或特定任務組件驅動的自動化系統。
改善你的代理
然而，啟動代理僅僅是個開始。持續改進是確保其能提供實際價值的關鍵。以下是一個實用的、非技術性的指南，幫助你建立一個健全的評估和改進流程。
1. 從一開始就建立評估策略
AI代理不僅僅是一大塊代碼。它包括多個組件（如提示生成器、分類器或搜索工具），這些組件共同產生最終輸出。為了改善你的代理，你需要測量不僅是最終結果，還有過程中每一步的表現。
你的評估策略應包括：
– 最終輸出評估：回應是否解決了用戶的問題？
– 組件級別評估：各個模組是否按預期工作？（例如，檢索工具是否獲取了正確的數據？）
– 軌跡評估：行動的順序是否高效且合邏輯？
目標是隨著時間的推移跟蹤這些指標，以了解哪些領域需要優化——無論是改善最終回應、微調個別組件，還是調整整個工作流。LangChain提供了一個很好的指南，並附有具體範例。
2. 評估最終代理輸出
最終輸出是用戶互動的對象，因此這應該是你的首要重點。
– 使用成功標準：定義與商業需求對齊的KPI，例如回應的相關性、準確性、實用性或客戶滿意度（例如，NPS分數）。
– 收集反饋：獲取最終用戶或測試者的明確反饋。
– 設置自動評分機制：你可以使用評判提示來評分最終答案。使用評判提示檢查特定維度，如相關性、語氣等。
提示：建立一個基準數據集，以便將代理的回應與理想結果進行比較。
3. 評估代理工作流的每一步
AI代理的輸出取決於其組件和決策步驟。如果回應不佳，可能並不意味著代理有缺陷——這可能指向某個中間步驟不佳。
– 評估模組組件：檢查各個步驟的輸出，例如數據檢索、意圖檢測或決策邏輯。
– 調試軌跡：追蹤代理如何得出結論。如果推理路徑（或軌跡）有誤，則調整操作順序，以使代理更有效。
4. 人工監督以實現可擴展性和可靠性
在人命攸關的應用（如醫療或法律建議）中，人工監督對於確保代理輸出質量至關重要。它還在持續學習和建立信任方面發揮著關鍵作用。將人類納入流程的主要方式有兩種：
– 審計代理輸出：建立一個系統，讓人類審核者隨機審查代理的輸出，對其正確性和實用性進行評分。你還可以建立一個審計代理，檢查並驗證你的代理日誌。這可以是一個簡單的工具，能夠訪問谷歌搜索和客戶知識庫，以檢查不正確的建議和幻覺。
– 人工在環（HITL）批准系統：在需要高精度的情況下，代理可以協助人類操作員。代理提出建議，人類進行批准或拒絕。這種方法創造了一個反饋循環——人類的修正成為寶貴的訓練數據，隨著時間的推移改善代理。
例如：Foundry的內部審計代理識別了客戶代理的一個潛在問題。它使用客戶的知識識別了一個不正確的聲明。
當我們懸停在高亮的部分時，你可以看到審計代理識別了微妙的問題，這對人類來說可能難以單獨發現。這可以幫助人類審核者找到比他們單獨找出來的更多錯誤。他們也可以接受或拒絕審計代理的標記，以確保高精度。
5. 如何利用評估數據進行持續改進
你從審計、HITL工作流和組件評估中收集的數據，成為持續改進的基礎。以下是如何利用這些數據：
– 提示優化：利用反饋和審計結果重寫或自動優化指導代理行為的提示。對於自動提示優化，可以使用像AdalFlow這樣的開源工具。
– 少量學習：將數據中的最佳範例作為少量範例納入，以提升代理在特定任務上的表現。
– 組件調整：如果某個步驟（如意圖識別）表現不佳，可以修改、更換或重新訓練該模組。
– LLM微調：必要時，對基礎LLM進行領域特定數據的微調，以提高準確性和相關性。這可以定期進行，以確保你的代理保持最新。
– 計劃：如果發現代理的行動軌跡不佳，即未能以正確的順序採取正確的行動，則可能需要考慮計劃。許多研究方法表明，讓語言模型最初制定一個高級計劃會顯著提高性能並改善軌跡。你可以利用評估數據檢查軌跡是否有所改善。
6. 與商業目標對齊並擴大操作
改善代理不僅僅是技術上的精煉——還需要確保系統與商業目標保持一致。你可以使用與商業直接相關的指標（如客戶滿意度、任務完成率或節省的時間）來跟蹤進展。
一旦你對代理進行了微調並擁有可靠的工作流程，就可以通過以下方式擴展系統：
– 招募更多審核者或專業知識主題（SMEs）以大規模審計輸出。
– 自動化審核過程的部分（例如，自動標記異常）。
– 在不同功能或部門部署多個代理，利用相同的優化技術來複製成功。
最後的思考
改善你的AI代理是一個持續的過程，但當你將其分解為明確的步驟時，它會變得可管理，甚至可擴展：
– 從一開始就建立評估框架。
– 分別評估最終代理回應、組件和軌跡。
– 通過審計或人機協作工作流整合人工監督。
– 利用評估數據微調組件、提示和基礎LLM。
有了合適的系統，你可以確保你的代理隨著運營需求和用戶期望的變化而不斷演變。利用像AdalFlow這樣的工具和提示優化技術，結合人類專業知識，能夠創建一個可持續的反饋循環，推動持續改進。
遵循這種結構化的方法，你的代理不僅能正常運作，還會變得越來越智能、高效，並與你的商業目標更加一致。
如果過程有時感覺有點技術性，別擔心——重要的是從第一天開始建立正確的評估和反饋系統。隨著時間的推移，這些系統將幫助你的代理以你從未想過的方式演變。
如果你想與我們討論如何為你的業務設置這個系統，隨時聯繫Manil或我，郵件地址是founders@thefoundryai.com。你也可以在我們的日曆上預約時間。
祝你好運，讓迭代開始吧！🚀
—
這篇文章提供了一個清晰且實用的框架，幫助創業者在建立AI代理的同時，確保其持續優化和提升。值得注意的是，文章強調了人類監督的重要性，顯示出在AI技術日益成熟的今天，仍然需要人類的智慧和判斷力來進行質量控制。未來隨著AI技術的發展，如何平衡自動化和人類干預將成為一個重要的課題，這不僅關乎技術的進步，更涉及到倫理和信任的建立。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
