将LLM请求优先路由至本地模型(Ollama、LM Studio、llamafile),失败后回退至云端API,并持续追踪Token节省与成本规避情况。
本地第一 LLM.
功能概述
本地第一 LLM.是一项面向实际任务的技能,主要用于Route 请求先使用本地 LLM;仅在必要的时候返回到云中;
核心要点
- 跟踪每个显示真正符号和节省成本的决定;
- @ @ 快速启动;
- 请检查本地 LLM 是否运行。
使用与执行
它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。
结果检查与注意事项
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
本地优先 LLM
优先将请求路由至本地 LLM;仅在必要时回退至云端。全程追踪每次决策,直观呈现实际节省的 token 数量与费用。
快速开始
1. 检查本地 LLM 是否正在运行
python3 skills/local-first-llm/scripts/check_local.py
返回 JSON: { "any_available": true, "best": { "provider": "ollama", "models": [...] } }
2. 路由一个请求
python3 skills/local-first-llm/scripts/route_request.py --prompt "总结本次会议记录" --tokens 800 --local-available --local-provider ollama
返回:{ "decision": "local", "reason": "...", "complexity_score": -1 }
3. 记录执行结果
请求执行完成后,记录该次调用:
python3 skills/local-first-llm/scripts/track_savings.py log --tokens 800 --model gpt-4o --routed-to local
4. 查看仪表盘
python3 skills/local-first-llm/scripts/dashboard.py
完整路由工作流
┌─────────────────────────────────────────────────────┐ │ 1. check_local.py → 本地 provider 是否正在运行? │ │ │ │ 2. route_request.py → 选择本地还是云端? │ │ - 敏感性检查(含私有数据 → 本地) │ │ - 复杂度评分(高分 → 云端) │ │ - 可用性门控(无本地 provider → 云端) │ │ │ │ 3. 使用选定的 provider 执行请求 │ │ │ │ 4. track_savings.py log → 记录本次执行结果 │ │ │ │ 5. dashboard.py → 展示累计节省情况 │ └─────────────────────────────────────────────────────┘
路由规则(摘要)
| 条件 | 路由目标 |
|---|---|
| 无可用本地 provider | ☁️ 云端 |
提示词中包含敏感数据(password、secret、api key、ssn 等) |
🏠 本地 |
| 复杂度评分 ≥ 3 | ☁️ 云端 |
| 复杂度评分 < 3 | 🏠 本地 |
完整评分逻辑详见 references/routing-logic.md。
使用本地 provider 执行请求
当 route_request.py 返回 "decision": "local" 后,向对应本地 provider 发送请求:
Ollama
curl http://localhost:11434/api/generate
-d '{"model": "llama3.2", "prompt": "YOUR_PROMPT", "stream": false}'
LM Studio / llamafile(兼容 OpenAI API)
curl http://localhost:1234/v1/chat/completions
-H "Content-Type: application/json"
-d '{"model": "local-model", "messages": [{"role": "user", "content": "YOUR_PROMPT"}]}'
仪表盘
仪表盘读取 ~/.openclaw/local-first-llm/savings.json(自动创建)中的数据。
┌─────────────────────────────────────────┐ │ 🧠 Local-First LLM — Dashboard │ ├─────────────────────────────────────────┤ │ Local LLM: ✅ ollama (llama3.2...) │ ├─────────────────────────────────────────┤ │ Total requests: 42 │ │ Routed locally: 31 (73.8%) │ │ Routed to cloud: 11 │ ├─────────────────────────────────────────┤ │ Tokens saved: 84,200 │ │ Cost saved: $0.4210 │ └─────────────────────────────────────────┘
重置节省数据:
python3 skills/local-first-llm/scripts/track_savings.py reset
其他参考资料
- 路由评分细节:
references/routing-logic.md - 本地 provider 配置指南(Ollama、LM Studio、llamafile):
references/local-providers.md - Token 估算与云端费用对照表:
references/token-estimation.md
热门AI工具
相关专题
本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。
0
2026.11.17
本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。
0
2026.11.17
本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。
0
2026.11.17
SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。
0
2026.11.17
SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。
0
2026.11.17
SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。
0
2026.11.17
本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。
0
2026.11.12
本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。
0
2026.11.12
本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。
0
2026.11.12
热门下载
相关下载
精品课程
共6课时 | 12.1万人学习
共79课时 | 161.9万人学习
共6课时 | 54.8万人学习
最新文章