**Planview 如何利用 Amazon Bedrock 打造可擴展的 AI 助理進行項目管理**
由 Sunil Ramachandra、Benedict Augustine 和 Lee Rehwinkel 撰寫
現今企業在管理複雜的項目和計劃時面臨不少挑戰，包括從大量數據中提取有價值的見解以及作出及時決策。這些問題經常導致項目經理和高層管理人員的生產力瓶頸，阻礙了有效推動組織成功的能力。
Planview 作為連接工作管理解決方案的領先供應商，於 2023 年開展了一項雄心勃勃的計劃，旨在革新全球 300 萬用戶與其項目管理應用程式的互動方式。為實現這一願景，Planview 開發了一款名為 Planview Copilot 的 AI 助理，採用由 Amazon Bedrock 支援的多代理系統。
**開發多代理系統的挑戰：**
– 將任務可靠地路由到適當的 AI 代理
– 從各種來源和格式訪問數據
– 與多個應用程序 API 互動
– 允許不同產品團隊自助創建新的 AI 技能
為克服這些挑戰，Planview 使用 Amazon Bedrock 開發了一個多代理架構。Amazon Bedrock 是一個完全託管的服務，提供對 Amazon 和其他領先 AI 初創公司的基礎模型（FM）的 API 訪問，這使得開發人員能夠選擇最適合其用例的 FM。這種方法在架構和組織上都是可擴展的，使 Planview 能夠快速開發和部署新 AI 技能，以滿足客戶不斷變化的需求。
**解決方案概述**
Planview 的多代理架構由多個生成式 AI 組件協作組成一個單一系統。其核心是一個負責將問題路由到各個代理，收集學到的信息，並向用戶提供綜合回應的協調器。協調器由中央開發團隊管理，代理則由每個應用程序團隊管理。
協調器由兩個主要組件組成，稱為路由器和應答器，由大型語言模型（LLM）提供支持。路由器利用 AI 將用戶問題智能地路由到具有專業能力的應用程序代理。代理可以分為三種類型：
– 幫助代理：使用檢索增強生成（RAG）提供應用程序幫助
– 數據代理：動態訪問和分析客戶數據
– 操作代理：代表用戶在應用程序中執行操作
在代理處理問題並提供回應後，應答器同樣由 LLM 提供支持，綜合所學信息並為用戶制定連貫的回應。這種架構允許集中協調器與專業代理之間的無縫協作，為用戶提供準確和全面的答案。
**技術概覽**
Planview 使用關鍵的 AWS 服務構建其多代理架構。由 Amazon Elastic Kubernetes Service（Amazon EKS）提供支持的中央 Copilot 服務負責協調各個服務之間的活動。其責任包括：
– 使用 Amazon Relational Database Service（Amazon RDS）管理用戶會話聊天歷史
– 協調路由器、應用程序代理和應答器之間的流量
– 處理日誌記錄、監控和收集用戶提交的反饋
路由器和應答器是與 Amazon Bedrock 互動的 AWS Lambda 函數。路由器考慮用戶的問題和中央 Copilot 服務的聊天歷史，而應答器則考慮用戶的問題、聊天歷史和每個代理的回應。
應用程序團隊使用與 Amazon Bedrock 互動的 Lambda 函數管理其代理。為了提高可見性、評估和監控，Planview 採用了集中提示庫服務來存儲 LLM 提示。
代理可以根據用例和數據可用性使用各種方法與應用程序進行交互：
– 現有應用程序 API：代理可以通過其現有的 API 端點與應用程序通信
– Amazon Athena 或傳統 SQL 數據存儲：代理可以從 Amazon Athena 或其他基於 SQL 的數據存儲檢索數據以提供相關信息
– Amazon Neptune 用於圖數據：代理可以訪問存儲在 Amazon Neptune 中的圖數據以支持複雜的依賴性分析
– Amazon OpenSearch Service 用於文檔 RAG：代理可以使用 Amazon OpenSearch Service 對文檔執行 RAG
**模型評估與選擇**
評估和監控生成式 AI 模型性能在任何 AI 系統中都是至關重要的。Planview 的多代理架構允許在各組件層面進行評估，儘管系統複雜，但仍能提供全面的質量控制。Planview 對組件進行三個層次的評估：
– 提示：評估 LLM 提示的有效性和準確性
– AI 代理：評估完整提示鏈以保持最佳任務處理和回應相關性
– AI 系統：測試面向用戶的互動以驗證所有組件的無縫集成
**結果與影響**
在過去一年中，Planview Copilot 的性能通過實施多代理架構、開發強大的評估框架以及採用 Amazon Bedrock 提供的最新 FMs 得到了顯著改善。Planview 在 2023 年中期開發的第一代 Planview Copilot 與最新版本之間的結果包括：
– 準確性：人類評估的準確性從 50% 的答案接受率提高到現在超過 95%
– 回應時間：平均回應時間從超過 1 分鐘減少到 20 秒
– 負載測試：AI 助理成功通過負載測試，同時提交 1,000 個問題而未對回應時間或質量產生顯著影響
– 成本效益：每次客戶互動的成本已降至初始費用的十分之一
– 市場推進時間：新代理的開發和部署時間從幾個月縮短到幾周
**編者評論**
Planview 的案例展示了如何利用先進的 AI 技術來提升企業運營效率。透過集成 Amazon Bedrock，Planview 能夠迅速適應不斷變化的市場需求，並提供更為精準的用戶體驗。然而，這也提醒我們，技術的應用不僅僅是提升效率，還需考慮到人類監控和評估的必要性，以確保 AI 系統的公平性和可靠性。在未來，如何平衡技術創新與人類價值將成為企業的重要課題。
以上文章由特價GPT API KEY所翻譯
