在发送至付费API前,通过三层压缩预处理提示词;利用本地Ollama模型智能压缩消息并生成历史摘要。
3-Layer Token压缩机 — 剪切 AI API 成本 40- 60 +++ 预处理在发送到付费API之前通过3个压缩层提示. 使用免费的本地 Olla
功能概述
3-Layer Token压缩机 — 剪切 AI API 成本 40- 60 +++ 预处理在发送到付费API之前通过3个压缩层提示. 使用免费的本地 Olla是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
核心要点
- 使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。
- 该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。
- 从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。
使用与执行
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。
结果检查与注意事项
执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
三层 Token 压缩器 — 降低 AI API 成本 40–60%
在将提示词(prompt)发送至付费 API 之前,先通过三层压缩流程进行预处理。压缩工作由本地免费运行的 Ollama 模型完成 —— 你的付费 API 仅接收到最终压缩后的结果。
运行时依赖
| 依赖项 | 说明 |
|---|---|
| Ollama | 必须在本地运行(默认地址:localhost:11434) |
| 本地模型 | 用于压缩的小型模型(例如 llama3.1:8b)。可通过 compressionModel 配置项自定义。 |
| Node.js | 14 及以上版本 |
Ollama 是运行时必需组件。 压缩器将提示词发送至你的本地模型 —— 不会调用任何外部 API。
该能力向本地模型发送的内容
该能力向本地 Ollama 模型发送以下内容:
| 操作类型 | 系统提示(System prompt) | 用户提示(User prompt) |
|---|---|---|
| 消息压缩 | You are a text compression tool. Output only what is asked, nothing else. |
你的原始消息 + 压缩指令 |
| 历史摘要生成 | 同上 | 过往对话轮次 + 摘要生成指令 |
不向任何外部 API 发送数据。所有压缩均在本地完成。
副作用
| 类型 | 说明 |
|---|---|
| NETWORK | 仅发起 HTTP 请求至 localhost:11434 —— 即你的本地 Ollama 实例 |
| MEMORY | 响应缓存保存于内存中(使用 Map 结构,大小与 TTL 可配置) |
| DISK | 无磁盘写入 —— 缓存不会持久化到磁盘 |
配置方法
const TokenCompressor = require('./src/token-compressor');
const compressor = new TokenCompressor({
ollamaHost: 'localhost', // 默认值
ollamaPort: 11434, // 默认值
compressionModel: 'llama3.1:8b', // 默认值 —— 支持任意 Ollama 模型
maxUncompressedTurns: 10, // 保留最近 N 轮对话原文(不压缩)
cacheMaxSize: 100,
cacheTTL: 3600000 // 1 小时
});
完整 API 文档及使用示例请参阅 README.md。
热门AI工具
相关专题
token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。
4721
2024.03.01
获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。
2597
2023.12.21
登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。
1245
2023.09.14
登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。
9906
2023.09.14
本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。
0
2026.11.12
本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。
0
2026.11.12
本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。
0
2026.11.12
本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。
0
2026.11.06
围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。
0
2026.11.06
热门下载
相关下载
精品课程
共0课时 | 0人学习
共9课时 | 1.3万人学习
最新文章