启用WorkBuddy本地模型路由缓存可降低平均120ms延迟,需执行三步:开启缓存开关、设置TTL为3600秒、重启客户端;缓存仅对URL接入模型生效,且models.json中url须以/v1/chat/completions结尾。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

WorkBuddy 配置本地模型缓存能显著缩短模型切换耗时,避免每次切换都触发DNS查询与服务发现重试,实测可降低平均120ms延迟。
启用本地路由缓存
WorkBuddy 客户端在本地维护模型服务地址映射表,若未启用缓存,每次切换模型都会同步查询服务地址,引入额外网络延迟。
第一步:打开终端(Windows PowerShell / macOS Terminal / Linux Bash),执行以下命令启用缓存开关:
workbuddy-cli config set route.cache.enabled true
第二步:设置缓存有效期为3600秒(即1小时),确保内网服务地址长期有效且不过期:
workbuddy-cli config set route.cache.ttl 3600
第三步:关闭并重新启动 WorkBuddy 桌面客户端,使新配置加载生效。重启后首次模型切换会写入缓存,后续切换将直接读取本地映射,不再发起网络请求。
手动验证缓存是否生效
方法一:查看日志确认缓存命中
统一LLM网关 - 一个API对接70+AI模型,使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
启动 WorkBuddy 后,在开发者模式下打开控制台(Ctrl+Shift+I → Console 标签页),切换两次同一本地模型,若第二次无新的 fetch 请求或 endpoint 查询日志,则说明缓存已起作用。
方法二:检查配置文件内容
进入 %USERPROFILE%\.workbuddy\config.json(Windows)或 ~/.workbuddy/config.json(macOS/Linux),确认其中存在如下字段:
"route": {"cache": {"enabled": true, "ttl": 3600}}
注意:该配置仅对通过 URL 地址接入的模型(如 Ollama、内网 DeepSeek)生效,不适用于 GGUF 本地推理模型。
配合模型配置文件优化缓存效果
若你同时使用自定义模型(如内网部署的 DeepSeek),需确保 models.json 中的 url 字段结尾为 /v1/chat/completions,否则路由缓存无法正确匹配目标 endpoint。
例如,正确写法是:"url": "http://10.193.200.210:1025/v1/chat/completions";错误写法如 "url": "http://10.193.200.210:1025" 将导致缓存失效。
这一步做完后,WorkBuddy 的模型切换将跳过 DNS 解析与服务发现环节,直接从本地缓存中提取已知 endpoint。

















