AgentKit评测指标生效需验证评分器真实输出：启用Evals并绑定自定义评估器，构造触发工具调用的测试用例，运行后在日志中定位metric行及Trace中eval_result，三者一致且评估器代码requires_trace为True、config.yaml含trace/run_agent阶段、DEBUG打印生效，方确认指标真正生效。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要验证AgentKit智能体评测指标是否真正生效，必须在真实执行轨迹中捕获评分器输出并比对原始评估规则，不能仅依赖控制台日志或配置文件存在就认为已就绪。
确认评测服务已启用并绑定正确评估器
进入AgentKit控制台 → 左侧导航栏点击「Evals」→ 选择目标智能体 → 查看「Evaluation Settings」区域右上角状态灯；若显示灰色「Disabled」，点击右侧开关切换为绿色「Enabled」。
确保「Primary Evaluator」下拉框中已选中你配置的自定义评估器（如fact_check_evaluator），而非默认的string_match。未绑定将导致所有测试用例强制走字符串匹配，掩盖工具调用逻辑缺陷。
这一步操作起来很简单，直接把文件拖进去就行。
构造含明确验证点的测试用例
在「Test Cases」页新建一条用例，输入字段填：“请查询用户张伟的订单号，并确认该订单是否已发货”。
期望输出字段必须包含两项：① 订单号（如ORD-2026-7891）；② 发货状态（必须是shipped或not shipped，禁止写“已发出”“还没发”等模糊表述）。
【关键前提】该用例必须触发至少一次工具调用（如get_order_status），否则评估器无法捕获Trace，tool.call和tool.result事件将为空，导致忠实度类指标恒为0。
运行评测并定位评分器实际输出位置
第一步：点击「Run Evaluation」启动单次测试；
Agent 记忆系统 — 五路融合检索 + 双时间线 + 因果链 + Spirit管家 + 记忆回声 + 弹性配置 + Circuit Breaker + GDPR合规 + 192项安全审计修复
第二步：在弹出的实时日志面板中，向下滚动至出现=== EVALUATION RESULTS ===分隔线；
第三步：查找以metric:开头的行，例如metric: tool_param_accuracy = 0.85——这才是评测指标的真实计算结果，不是前端UI上显示的汇总分；
第四步：点击右侧「View Trace」按钮，在新窗口中检查eval_result节点下的score字段值是否与日志中一致；若不一致，说明评估器未正确注入到执行链路中。
注意：Trace窗口中的eval_result是最终落库数据，而日志面板显示的是实时流式计算中间值，二者应完全相同。
校验指标配置与执行路径的映射关系
方法一：检查评估器代码中的requires_trace标记是否为True；若为False，则该评估器跳过所有工具调用记录，只分析最终响应文本。
方法二：在AgentKit项目根目录下打开evals/config.yaml，确认对应评估器的stages字段包含trace和run_agent，缺少任一将导致路径追踪中断。
方法三：临时修改评估器返回逻辑，在evaluate()函数末尾插入print(f"DEBUG: final score={score}")，重新部署后观察日志是否输出该行——这是唯一能确认Python层评估逻辑被真正调用的方式。
