企業私有RAG部署教你零碼打造安全智能助手

zero comment

Ai Finance Tech

企業級本地RAG解決方案全攻略：用Ollama、PostgreSQL及BladePipe打造私有智能問答系統

隨着企業對AI智能應用需求不斷增加，Retrieval-Augmented Generation（RAG）已經成為企業級應用的重要一環。不過，企業對數據安全、可控性、可擴展性及合規性的要求遠高於一般個人或小型Q&A系統。尤其在法律、金融等高度敏感行業，將內部數據傳送到公有雲端服務或第三方向量數據庫，往往會構成致命的資訊外洩風險。

為了解決這些痛點，BladePipe現已支援結合Ollama，讓企業能夠完全在本地部署RAG服務。本文將以零代碼方式，逐步示範如何建構一個真正「全私有、可投入生產」的RAG應用。

什麼是企業級RAG服務？

企業級RAG不僅僅是「聰明的問答」，更強調數據全流程整合、嚴格控制及與業務系統深度對接，帶來真正的自動化與智能化價值。與個人或研究型RAG不同，企業級方案有以下四大特點：

– 全私有堆疊：所有組件必須在本地或私有雲運行，數據絕不離開企業邊界。
– 多元數據源：不再局限於純文字檔，支援數據庫等多種格式。
– 增量同步：業務數據隨時更新，向量索引需自動保持同步。
– 工具調用整合（類MCP能力）：不只檢索與生成，還能調用SQL查詢、函數、工作流等業務工具。

BladePipe RagApi簡介

BladePipe的RagApi整合了向量檢索與LLM問答能力，並支援MCP協議，幫助用戶快速啟動自家RAG服務。相比傳統自建方式，RagApi有以下優勢：

– 兩步DataJob即建RAG服務：一個導入文件，一個發布API。
– 零代碼部署：全程可配置，無需寫程式。
– 參數靈活調整：如向量top-K、匹配閾值、prompt模板、模型溫度等。
– 多模型多平台支援：如阿里雲DashScope、OpenAI、DeepSeek等。
– OpenAI兼容API：可與現有聊天UI或工具鏈無縫對接。

實戰示範：全私有、安全的RAG服務搭建

本地RAG方案組件如下：

– Ollama：本地模型推理及embedding。
– PostgreSQL：本地向量存儲。
– BladePipe RagApi：RAG服務構建與管理。

本地RAG架構流程圖

準備工作

1. 本地運行Ollama
– 下載Ollama後，執行 `ollama run deepseek-r1`，即可拉取並運行適合embedding及推理的模型（請注意大型模型對硬件資源要求較高）。
Ollama運行界面

2. 設置PGVector
– 安裝Docker（視乎系統選用不同安裝方式）。
– 啟動PostgreSQL+pgvector容器服務，一鍵部署並自動啟用pgvector擴展，確保embedding數據可安全本地存儲。

3. 部署BladePipe（企業版）
– 下載並根據指引修改docker-compose配置，開放所需端口，然後啟動服務。

RAG構建流程

1. 添加數據源
– 文件（SshFile）：設定伺服器IP、帳號密碼及文件路徑，支援多種文件格式。
添加文件數據源
– 向量數據庫（PostgreSQL）：配置本地端口、帳號密碼。
配置向量數據庫
– LLM（Ollama）：設置本地地址及embedding/chat參數。
設置Ollama
– RagApi服務（BladePipe）：設置本地端口及API Key。
設置RagApi

2. DataJob 1：文件向量化
– 選擇SshFile為來源，PostgreSQL為目標。
– 選取要處理的markdown文件，統一表名如`knowledge_base`，指定Ollama作embedding模型。
– 在數據處理頁選擇要embedding的字段，一鍵批量設置。
選擇文件
設置embedding欄位