讲师中心 微信公众号
AI工具推荐 视频效率加速

扣子批量测试集构建与批量预测自动评估指南

星涛君_8043

星涛君_8043

发布时间:2026-07-31 13:08:00

|

1001人浏览过

|

来源于php中文网

原创

需用UTF-8编码的CSV文件,首行为input,expected_output,category三字段,每行一条真实用户输入、明确预期输出及分类,上传至扣子罗盘评测集后,在评测中心选择已上线Bot运行测试。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

扣子批量测试集构建与批量预测自动评估指南

你需要快速验证自己在扣子平台开发的智能体或工作流在不同输入下的响应稳定性、准确性与合规性,而不是靠人工逐条试聊几十轮再凭感觉打分。评测集必须结构清晰、字段规范、内容真实,否则 Eval 工具无法解析,所有测试用例将直接跳过不执行。

准备标准化 CSV 评测数据集

打开本地文本编辑器(如记事本、VS Code 或 Numbers),新建纯文本文件。

第一行严格输入三个英文字段名,用英文逗号分隔:【input,expected_output,category】。注意大小写不能错,中间不能有空格,也不能用中文顿号或全角符号。

从第二行开始,每行一条测试用例,格式为:输入文本,预期输出文本,测试分类。例如:

“帮我查今天北京天气”,“北京今日晴,气温22–30℃,空气质量良”,“工具调用”

input 字段必须是真实用户可能发送的自然语言,比如“订单号123456怎么还没发货?”而不是“{order_id}未发货”。expected_output 必须是明确、可比对的字符串,不能写“回答合理即可”或“需包含温度信息”这类模糊描述——Eval 工具只做字符串精确匹配或正则校验。

保存文件时,编码选 UTF-8,扩展名必须为 .csv,文件名建议用 test_cases.csv,放在桌面或项目文件夹根目录下便于上传。

在扣子罗盘中创建并管理评测集

访问 https://www.coze.cn/compass → 使用扣子账号登录 → 点击右上角「立即体验」进入罗盘主界面。

左侧导航栏点击「评测集管理」→ 右上角「+ 新建评测集」→ 输入名称(如“电商客服V2回归集”)、描述(可选)、选择归属空间。

点击「上传数据」按钮,选择你刚保存的 test_cases.csv 文件。系统会自动校验字段结构,若提示“缺少 expected_output 字段”或“列数不匹配”,说明 CSV 第一行写错了,立刻返回编辑器修正。

上传成功后,页面显示结构化表格预览,确认 input 和 expected_output 内容无乱码、无换行符嵌入。如有中文引号被转义为",需在编辑器中替换回直双引号。

配置 Eval 插件并运行批量预测评估

登录 coze.cn → 进入「开发平台」→ 左侧菜单点击「评测中心」→ 右上角「+ 新建评测任务」。

选择「对话评测(Eval)」模式 → 点击「下一步」→ 在「上传评测数据」区域拖入 test_cases.csv 或点击上传。

关键一步:在「目标智能体」下拉框中,【必须选择状态为「已上线」的 Bot 或工作流】。草稿版、未发布版、测试版均不可选;若列表为空,请先返回 Bot 编辑页点击「发布」并等待状态变为绿色「已上线」。

方法一:基础单次运行
点击「立即运行」,等待进度条完成(通常 1–3 分钟)。完成后跳转至结果页,表格默认展示 input、actual_output、match、latency 四列。match 列为 ✅ 表示字符串完全一致,❌ 表示不匹配。

方法二:启用变量注入
勾选「启用变量注入」→ 在下方 JSON 区域填写上下文变量,例如:
{"user_location": "杭州", "is_vip": true}
注意:变量名必须与 Bot 提示词中声明的占位符(如 {{user_location}})完全一致,否则变量不会注入,实际输出仍按默认逻辑生成。

方法三:双版本对比运行
切换至「对比模式」→ 先在 baseline 版本中选择当前线上正式版 → 再 candidate 版本中选择一个历史部署版本(如 v1.3.7)→ 点击「运行对比」。
系统将并行调用两个版本,生成差异报告。重点关注 match 状态不一致的行,以及 category 维度的失败率变化——例如“价格咨询”类用例在 candidate 版本中失败率上升 42%,说明该模块逻辑可能被误改。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

相关专题

更多
扣子智能体开发实操指南
扣子智能体开发实操指南

本专题面向开发者与产品同学,完整讲解扣子智能体Bot从零到一的搭建流程,包括Bot创建、提示词编写、插件接入、变量与记忆配置、调试与多渠道发布,帮助你打造属于自己的AI助手。

474

2026.06.05

扣子工作流全功能使用教程
扣子工作流全功能使用教程

本专题系统讲解扣子工作流的搭建逻辑与节点使用,覆盖LLM节点、代码节点、条件分支、循环节点与子工作流等核心能力,配合15个实战案例,帮助你用工作流把复杂业务流程自动化。

374

2026.06.05

扣子知识库零基础入门
扣子知识库零基础入门

本专题围绕扣子知识库与记忆系统,详细讲解知识库创建、文档上传、切片策略、向量召回、问答调优以及变量记忆与数据库的使用方法,帮助你打造高准确率的私有知识问答能力。

467

2026.06.05

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

20

2026.10.10

Kratos框架HTTP与gRPC服务开发教程
Kratos框架HTTP与gRPC服务开发教程

本专题围绕Kratos框架双协议服务开发,涵盖HTTP路由与处理器编写、参数获取、gRPC服务实现与客户端调用、metadata上下文传递、encoding编解码注册、统一响应封装、超时控制与流式响应实现方法。

20

2026.10.10

Kratos框架Protobuf接口定义与代码生成合集
Kratos框架Protobuf接口定义与代码生成合集

本专题讲解Kratos框架接口定义体系,涵盖proto编写规范、proto add/client/server生成命令、http注解路由、validate校验、OpenAPI文档生成、跨服务proto复用与兼容性设计。

0

2026.10.10

C++虚函数怎么定义和调用
C++虚函数怎么定义和调用

C++虚函数是实现运行时多态的重要机制。本专题从virtual关键字的基本用法入手,介绍基类与派生类之间的函数重写、基类指针调用派生类方法,以及动态绑定的执行过程,帮助初学者掌握虚函数的核心语法。

20

2026.10.10

C++类与对象的封装方法教程
C++类与对象的封装方法教程

C++封装是面向对象编程的核心特性之一,通过类将数据与操作数据的函数组织在一起,并利用访问权限控制外部访问。本专题介绍类的定义、成员变量、成员函数以及public、private和protected的使用方法,帮助初学者掌握封装的基本原理。

20

2026.10.10

C++构造函数定义与调用方法
C++构造函数定义与调用方法

C++构造函数用于初始化类对象,是面向对象编程的重要基础。本专题从构造函数的定义、声明和调用入手,介绍默认构造函数、带参数构造函数、拷贝构造函数及成员初始化列表,帮助初学者掌握对象创建与初始化的基本方法。

20

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
扣子入门级教程
扣子入门级教程

共0课时 | 274人学习

扣子官方文档
扣子官方文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn