Ollama+AnythingLLM是Windows本地私有知识库最优解:Ollama提供本地模型推理,AnythingLLM负责文档上传、切片、向量化与RAG问答,全程离线、免代码、不上传数据,支持PDF/Word/TXT等20+格式。

在Windows系统上用AnythingLLM搭建本地知识库,你需要让私有文档(PDF、Word、TXT等)被AI真正“读过”并精准回答问题,整个过程不上传数据、不依赖网络、不写代码,但必须确保Ollama服务已就绪且模型可调用。
安装并验证Ollama服务
打开浏览器访问 https://www.php.cn/link/2575c857df983996d49550f3e924755f,下载 Windows 版安装包,双击运行完成安装;安装后系统托盘会出现羊驼图标,表示后台服务已自动启动。
按 Win + R 输入 cmd 回车,执行 ollama --version,若返回类似 ollama version 0.4.12 的信息,说明基础环境正常。
执行 ollama list 查看本地是否有可用模型;如为空,运行 ollama run llama3:8b(或 deepseek-r1:8b、qwen2.5:7b 等中文友好模型),等待下载完成并首次加载成功——这一步不可跳过,【AnythingLLM 启动时会立即尝试连接 Ollama 模型,若无可用模型将报错退出】。
安装AnythingLLM桌面版
前往 https://www.php.cn/link/ef4125a75b97507ceafeb5dffee9c903 → 点击 “Download for Windows” 获取最新桌面版安装包(当前版本为 v1.12.x)。
双击 AnythingLLM-Setup-x64.exe,全程默认选项安装;安装完成后桌面生成快捷方式,首次启动会自动打开配置向导。
注意:不要手动解压或从 GitHub Release 页面下载 ZIP 包运行,那只是源码,无法直接启动图形界面。
配置Ollama作为大语言模型后端
启动 AnythingLLM 后,点击 Get started → 选择 Ollama 作为 LLM Provider → 在 URL 栏填入 http://127.0.0.1:11434(这是 Ollama 默认监听地址,不要写 localhost 或加 HTTPS)。
Windows 桌面自动化技能,支持鼠标控制(移动/点击/拖拽/滚轮/截图)、键盘输入(文字输入/按键/组合键)、窗口管理(查找/聚焦/最大化/最小化/关闭/移动)、截图并发送文件。提供两种截图方式:Python pyautogui 截图(集成在自动化流程中)和 PowerShell + .NET 零依赖截图(支持区域截图和多显示器)。当用户需要自动化 Windows 桌面操作、控制鼠标键盘、管理窗口、执行 GUI 自动化任务、截图发送文件时使用。
下拉菜单中选择你已通过 ollama list 确认存在的模型名(例如 llama3:8b),Token context window 建议保持默认 4096;点击右箭头进入下一步。
Embedding 模型选 Ollama → Base URL 同样填 http://127.0.0.1:11434 → Embedding Model Selection 下拉选 nomic-embed-text:latest(需提前在命令行执行 ollama pull nomic-embed-text,否则保存时会提示“model not found”)。
Vector Database 保持默认 LanceDB(无需额外安装,AnythingLLM 内置)→ 点击右箭头完成配置。
创建工作区并上传文档
第一步:点击左上角 Create a New Workspace,输入名称(如“技术手册库”),描述可空,点击 Create。
第二步:进入该工作区后,点击右上角 Upload Documents 按钮 → 支持多选拖拽,可上传 PDF、DOCX、TXT、MD、PPTX、EPUB 等 20+ 格式文件 → 上传完成后点击 Move to Workspace。
第三步:关键操作——点击右上角 Save and Embed;此时 AnythingLLM 开始切片、调用 nomic-embed-text 向量化、存入 LanceDB;进度条走完显示 Successful 即表示文档已入库。
现在可在底部聊天框直接提问,例如:“PDF第3页提到的验收标准是什么?”,AI 将基于你上传的原文片段作答,而非幻觉编造。

















