需用UTF-8编码的CSV文件,首行为input,expected_output,category三字段,每行一条真实用户输入、明确预期输出及分类,上传至扣子罗盘评测集后,在评测中心选择已上线Bot运行测试。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

你需要快速验证自己在扣子平台开发的智能体或工作流在不同输入下的响应稳定性、准确性与合规性,而不是靠人工逐条试聊几十轮再凭感觉打分。评测集必须结构清晰、字段规范、内容真实,否则 Eval 工具无法解析,所有测试用例将直接跳过不执行。
准备标准化 CSV 评测数据集
打开本地文本编辑器(如记事本、VS Code 或 Numbers),新建纯文本文件。
第一行严格输入三个英文字段名,用英文逗号分隔:【input,expected_output,category】。注意大小写不能错,中间不能有空格,也不能用中文顿号或全角符号。
从第二行开始,每行一条测试用例,格式为:输入文本,预期输出文本,测试分类。例如:
“帮我查今天北京天气”,“北京今日晴,气温22–30℃,空气质量良”,“工具调用”
input 字段必须是真实用户可能发送的自然语言,比如“订单号123456怎么还没发货?”而不是“{order_id}未发货”。expected_output 必须是明确、可比对的字符串,不能写“回答合理即可”或“需包含温度信息”这类模糊描述——Eval 工具只做字符串精确匹配或正则校验。
保存文件时,编码选 UTF-8,扩展名必须为 .csv,文件名建议用 test_cases.csv,放在桌面或项目文件夹根目录下便于上传。
在扣子罗盘中创建并管理评测集
访问 https://www.coze.cn/compass → 使用扣子账号登录 → 点击右上角「立即体验」进入罗盘主界面。
左侧导航栏点击「评测集管理」→ 右上角「+ 新建评测集」→ 输入名称(如“电商客服V2回归集”)、描述(可选)、选择归属空间。
点击「上传数据」按钮,选择你刚保存的 test_cases.csv 文件。系统会自动校验字段结构,若提示“缺少 expected_output 字段”或“列数不匹配”,说明 CSV 第一行写错了,立刻返回编辑器修正。
上传成功后,页面显示结构化表格预览,确认 input 和 expected_output 内容无乱码、无换行符嵌入。如有中文引号被转义为",需在编辑器中替换回直双引号。
配置 Eval 插件并运行批量预测评估
登录 coze.cn → 进入「开发平台」→ 左侧菜单点击「评测中心」→ 右上角「+ 新建评测任务」。
选择「对话评测(Eval)」模式 → 点击「下一步」→ 在「上传评测数据」区域拖入 test_cases.csv 或点击上传。
关键一步:在「目标智能体」下拉框中,【必须选择状态为「已上线」的 Bot 或工作流】。草稿版、未发布版、测试版均不可选;若列表为空,请先返回 Bot 编辑页点击「发布」并等待状态变为绿色「已上线」。
方法一:基础单次运行
点击「立即运行」,等待进度条完成(通常 1–3 分钟)。完成后跳转至结果页,表格默认展示 input、actual_output、match、latency 四列。match 列为 ✅ 表示字符串完全一致,❌ 表示不匹配。
方法二:启用变量注入
勾选「启用变量注入」→ 在下方 JSON 区域填写上下文变量,例如:
{"user_location": "杭州", "is_vip": true}
注意:变量名必须与 Bot 提示词中声明的占位符(如 {{user_location}})完全一致,否则变量不会注入,实际输出仍按默认逻辑生成。
方法三:双版本对比运行
切换至「对比模式」→ 先在 baseline 版本中选择当前线上正式版 → 再 candidate 版本中选择一个历史部署版本(如 v1.3.7)→ 点击「运行对比」。
系统将并行调用两个版本,生成差异报告。重点关注 match 状态不一致的行,以及 category 维度的失败率变化——例如“价格咨询”类用例在 candidate 版本中失败率上升 42%,说明该模块逻辑可能被误改。


















