状态工程（state engineering）的核心思路，从来不是一味把输入内容压到最短，而是只留那些真的会影响模型判断的证据字段。输入内容越短、无效噪声越少，jev 的调用成本和响应延迟就越容易控制。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
这张截图截自 Jev 官方文档，刚好对应本文要讲的状态设计、结构化输入的核心主题。
为什么成本会被 state 放大
Jev 是基于传入的结构化状态做处理的，如果每次调用都把完整聊天记录、整页 HTML、无关的用户资料、重复日志全塞进去，调用成本和延迟肯定会往上窜。更麻烦的是这些多余的噪声字段还会干扰模型判断，最终结果准确率掉下去不说，后续出问题要复盘也难。
State Engineering 的底层思路
合格的状态结构其实就像一个「业务证据包」：你能说清里面每一个字段，会怎么影响具体问题的判断。但凡说不出用途的字段，压根没必要往里加。长文本先做摘要压缩，历史记录只留核心事件，涉及隐私的字段提前做脱敏处理。成本下降只是顺带的结果，更重要的是这么做之后，模型的判断边界会清晰很多。
输入优化技巧合集
- 先写清楚要模型回答的问题：再倒推需要用到哪些字段。
- 拆成稳定/动态/证据三类：固定不变的基础信息、当前请求的临时信息、核心判断证据分开存放。
- 长文本先做摘要：只留关键事实，删掉聊天里的冗余废话。
- 删掉纯展示类字段：头像、样式、前端布局这些完全不用进 state。
- 记录每次调用的长度：把当前 state 的总字符数和实际耗时存下来。
字段处理方式
| 字段类型 | 处理方式 | 例子 |
|---|---|---|
| 关键证据 | 保留 | 支付状态、物流天数 |
| 长文本 | 摘要 | 用户投诉原文 |
| 展示信息 | 删除 | 头像、页面颜色 |
怎么判断有没有删过头
把精简后的紧凑状态拿给业务同事看，如果人光靠这些信息都没法做出判断，说明你删多了，把核心证据弄丢了。优化的目标从来不是把内容压到最短，而是在模型输出结果基本稳定的前提下，尽可能删掉所有无关输入。
成本优化要防止删掉证据
做状态工程最容易踩的坑就是「省过头」。比如做退款判断的时候把支付状态字段删掉，只留用户的一句话描述，模型根本没法准确判断只能瞎猜；做审核判断的时候删掉用户历史违规次数，也会直接低估风险等级。
每删掉一个字段，都要用之前留存的固定测试样本跑一遍回放，确认最终输出结果没有明显漂移，才能继续往下走。
| 字段 | 能不能删 | 判断依据 |
|---|---|---|
| 支付状态 | 不能直接删 | 影响退款风险判定 |
| 头像地址 | 通常可删 | 不影响文本类判断结果 |
| 历史次数 | 谨慎处理 | 直接影响风险分层逻辑 |
State 版本也要管理
很多团队只会给问题prompt做版本号，完全忘了 state 结构本身也会迭代变化。字段名调整、摘要规则改了、脱敏逻辑变了，这些都会直接影响最终的判断结果。
建议把 stateSchemaVersion 也记到调用日志里，和 questionVersion 存到一起。后续要是出现准确率下降的问题，才能快速定位到底是判断规则改了，还是输入的状态结构变了。
从大 state 改成证据包
举个实际场景，之前做售后判断的时候，接口会把用户主页、完整订单详情、全量聊天记录、埋点日志全传进去，整个状态体积特别大。优化的时候完全可以把它精简成四类核心证据：用户的原话诉求、订单当前状态、支付相关事件、历史投诉次数。
如果负责售后的人工同事光看这四类信息就能做出判断，说明你的精简方向完全正确；要是发现还需要参考售后政策的版本号，再把这个字段补回 state 里就行。
压缩输入后的错误排查
状态精简上线之后，要重点盯两类异常：之前本来能正常判断的样本突然变成了无法决策的灰区，之前输出结果一直稳定的分类开始乱漂移。一旦出现这两类信号，先去查最近刚删掉的字段，别上来就直接调高原模型阈值——阈值只能临时兜底，补不回来已经缺失的核心证据。
排查完问题之后，把这些失败的样本加到下一轮的测试回放集里，持续迭代追踪效果。
state 精简示例
const compactState = {
message: 'User reports duplicate charge and asks for refund review.',
paid: true,
paymentEvents: ['paid', 'duplicate_charge_suspected'],
orderStatus: 'not_shipped',
priorComplaints: 1,
};
State Engineering 坑点
- 为了省 token 直接删掉核心判断证据。
- 不同判断场景共用一个体积超大的通用 state。
- 做长文本摘要的时候弄丢否定词，导致最终判断方向完全反了。
- 从来没记录过每次调用的输入长度，根本没法证明优化到底有没有效果。
成本优化建议
想把大模型调用成本打下来，完全可以先从状态精简这件事入手。每次要删字段之前，都用固定的测试样本跑一遍回放，确认结果稳定之后再上线。这么做才能既把成本降下来，又不损失最终的判断质量。
