要让文心AI调用企业私有资料,需打通API鉴权、向量检索与提示工程全链路:配置千帆平台项目及最小权限角色,生成AK/SK并设IP白名单;本地部署Chroma或Qdrant向量库;用LangChain加载文档、按中文分隔符分块、BGE模型嵌入入库;检索增强调用时,先向量化查询、再本地检索、最后拼接Prompt提交至文心一言API。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

要让文心AI真正理解并调用你公司内部的制度文档、产品手册、客户案例等私有资料,必须完成从API鉴权到向量检索再到提示工程的全链路打通,不能只调用公有云通用接口。
配置企业级千帆平台权限与密钥
登录百度智能云控制台→进入“千帆大模型平台”→点击左侧“项目管理”创建新项目空间,命名如“ERP知识库专用”。
在该项目下,进入“权限管理”模块,新建角色“knowledge_reader”,仅授予qwen:inference:invoke和vector:search:read两项最小权限——【切勿直接赋予管理员权限,否则知识库向量数据可能被意外导出】。
点击“API密钥管理”→生成一对AK/SK,复制保存至安全位置;同时开启“IP白名单”,填入你本地知识库服务器的出口公网IP(不是内网IP)。
搭建本地向量检索服务
方法一:使用Chroma(轻量级,适合中小知识库)
在本地Linux服务器执行:pip install chromadb==0.4.24,然后运行chroma run --path ./chroma_db启动服务,默认监听6333端口。
方法二:使用Qdrant(高并发,支持Docker一键部署)
执行:docker run -p 6333:6333 -v $(pwd)/qdrant_storage:/qdrant/storage qdrant/qdrant,注意该命令会自动创建持久化目录,【若已有历史向量库,请先备份/qdrant/storage目录再执行】。
两种方式均需后续在代码中通过http://localhost:6333地址连接,无需额外配置认证。
将私有文档注入向量库
第一步:加载文档
统一LLM网关 - 一个API对接70+AI模型,使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
使用LangChain的DirectoryLoader加载指定路径下所有PDF/DOCX/MD文件,自动跳过临时文件(~$开头)和隐藏文件(.开头)。
第二步:分块处理
采用RecursiveCharacterTextSplitter,设置chunk_size=600、chunk_overlap=120,并显式传入中文分隔符列表["\n\n", "\n", "。", "!", "?"]——这一步直接影响后续检索召回率,不设分隔符会导致长段落被硬截断,语义断裂。
第三步:嵌入与入库
调用bge-small-zh-v1.5模型对每个文本块生成嵌入向量,写入本地Chroma或Qdrant库;每条记录添加metadata={"source": "HR-2024-薪酬制度.docx", "page": 3}字段,便于溯源。
构造带检索增强的调用链路
用户提问到达后,执行以下三步串联:
① 将问题文本送入同一bge-small-zh-v1.5模型生成查询向量 → ② 在本地Qdrant中执行search,限制limit=5且score_threshold=0.65(低于此值视为无关) → ③ 拼接Top-5文本块+原始问题,代入Prompt模板:
你是一名内部知识助手。请严格依据以下参考资料作答,资料未提及的内容必须回答“暂无相关信息”。参考资料:{retrieved_chunks};问题:{user_query}
最后将该Prompt提交至文心一言4.0 Turbo的/chat/completions端点,Header中携带Authorization: Bearer {access_token}。

















