DataChef是什么
datachef是由上海人工智能实验室与复旦大学联合推出的开源ai数据配方生成模型。该模型依托强化学习技术，能够全自动构建面向大语言模型任务的数据处理全流程——涵盖数据筛选、清洗、合成、比例调配等关键环节，并输出可直接运行的代码。用户仅需提供目标需求与可用数据源，datachef即可智能“炼制”高质量训练数据。其32b参数版本在数学、编程、金融等六大领域评测中性能紧追gemini-3-pro，在部分任务上甚至超越工业界专家手工设计的数据方案，标志着数据工程正从经验驱动迈入ai自主驱动的新阶段。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
One API key for 70+ AI models. Route to GPT, Claude, Gemini, Qwen, Deepseek, Grok and more
下载
统一LLM网关 - 一个API对接70+AI模型，使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
DataChef的主要功能
- 智能配方生成：依据指定任务目标及已有数据资源，自动产出端到端的数据处理方案。
- 可执行代码输出：生成结构清晰、即插即用的Python脚本，打通原始数据到训练集的全链路自动化流程。
- 多阶段协同处理：支持数据采样、噪声过滤、语义增强、跨源混合、重复项剔除等多种精细化操作。
- 开箱即训：所生成的数据配方可无缝接入大模型微调流程，快速适配垂直领域场景。
- 质量闭环验证：内嵌Data Verifier模块，对生成数据进行多维度评估并反馈优化建议，保障数据有效性。
DataChef的技术原理
- 任务形式化建模：将数据配方构建抽象为一个端到端的强化学习决策问题，策略网络在接收自然语言任务指令后，同步生成高层执行计划与底层Python实现代码。
- 轻量代理奖励机制：针对传统依赖完整模型训练反馈导致成本过高的痛点，引入Data Verifier作为代理奖励信号源，通过五级质量分类与子集抽样评分，实现对数据质量的低开销实时预估。
- 高效训练范式：采用监督微调冷启动初始化，结合GRPO（Generalized Reinforcement Policy Optimization）算法开展在线强化学习；并通过分离推理逻辑与代码生成路径，显著提升策略稳定性与搜索效率，助力模型在指数级增长的代码空间中精准定位最优数据方案。
DataChef的关键信息和使用要求
- 研发主体：上海人工智能实验室（书生·浦语团队）携手复旦大学共同研发
- 模型规格：已开源32B参数规模版本（DataChef-32B）
- 实测表现：在6个独立保留测试任务中逼近闭源顶尖模型Gemini-3-Pro，若干复杂任务超越工业级人工配方
- 理论突破：首次将全局性数据配方生成定义为统一决策问题，并借助在线强化学习构建自优化闭环
- 数据覆盖：整合19个专业领域、31项基准评测、257个原始数据集，支撑多样化任务泛化能力
- 运行环境：需Python 3.12及以上版本，依赖项通过pip一键安装
- 硬件门槛：本地部署32B模型需充足GPU显存，亦支持API方式远程调用
- 服务接口：需配置Planner（规划器）与Coder（编码器）两个模型的API端点（兼容OpenAI标准协议）
DataChef的核心优势
- 全链路智能编排：打破传统碎片化规则拼接模式，以端到端方式生成完整、可落地的数据流水线代码，彻底摆脱人工串联各处理步骤的繁琐工作。
- 持续进化式优化：基于在线强化学习机制形成自我迭代闭环，模型可在海量代码组合中动态探索更优解，终结反复试错的人力依赖。
- 高性价比质量评估：首创Data Verifier代理奖励机制，无需启动下游模型训练即可完成数据质量预测，极大压缩验证周期与算力消耗。
- 越级竞争力展现：32B开源模型在多项权威测试中媲美Gemini-3-Pro，部分高难度任务反超工业专家方案，验证AI自研策略优于人工经验沉淀。
- 开放科研底座：构建横跨19个领域的标准化任务池并全面开源，为自动化数据工程、AI自我演进等前沿方向提供坚实基础设施支撑。
如何使用DataChef
-
环境搭建：新建Python 3.12虚拟环境，执行
pip install -e .完成项目本地安装。 -
配置准备：复制模板配置文件并重命名为
datachef.config.json，填入API密钥、Planner/Coder模型名称及对应服务地址。 - 输入组织：按JSONL格式编写任务描述文件，每行包含唯一ID、任务说明与评测指标、候选数据源列表三项字段。
-
流程启动：运行命令
datachef-eval --config test，系统将自动完成配方规划、代码生成、执行验证全流程。 -
结果获取：生成的Python脚本位于
data/code/目录，执行日志与质量评分存于data/data-verifier/路径下。 -
参数调控：可通过
--timeout设定单次代码执行时限，--max_workers控制并发线程数，--parse_reasoning开启中间推理过程输出。
DataChef的项目地址
- GitHub仓库：https://www.php.cn/link/95ee216e5a483732554f971b1708ad99
- HuggingFace模型库：https://www.php.cn/link/4e02e04eec267ea7444076a6030b7b1a
- arXiv技术论文：https://www.php.cn/link/a8c050c6bab28905e51668a676fcad9d
- 在线体验Demo：https://www.php.cn/link/cea735b5027e1808f8c3960cc30a7210
DataChef的同类竞品对比
| 维度 | DataChef | Data-Juicer Sandbox | AIDE |
|---|---|---|---|
| **研发机构** | 上海人工智能实验室 + 复旦大学 | 阿里巴巴达摩院 | 微软研究院 |
| **核心定位** | 端到端数据配方自动生成 | 数据沙盒探针分析与算子优化 | 自动化数据科学与模型开发 |
| **技术路线** | 在线强化学习 + Data Verifier代理奖励 | Probe-Analyze-Refine工作流 + 下游训练反馈 | 迭代探索与试错执行 + 搜索外部知识 |
| **自动化程度** | 完全自动化生成完整流水线代码 | 半自动化，需人工定义算子池 | 自动化但依赖预设工作流模板 |
| **反馈机制** | 低成本实时数据验证，无需完整训练 | 依赖实际模型训练与评测，成本高昂 | 基于执行结果迭代优化 |
| **输出形式** | 可执行Python代码 + 训练数据集 | 优化后的数据处理算子组合 | 完整的数据科学解决方案 |
DataChef的应用场景
- 垂直领域大模型构建：面向数学、编程、金融、医疗、气象等细分方向，快速生成定制化数据配方，加速专用模型孵化。
- 数据工程提效升级：替代依赖资深工程师的手工数据治理流程，实现从原始数据采集到高质量训练集产出的一站式自动化。
- 基座模型能力增强：为已有通用大模型生成高信噪比微调数据，显著提升其在特定下游任务中的泛化表现。
- 小样本场景数据扩充：在标注稀缺或采集受限的领域，自动合成语义合理、分布一致的训练样本，缓解数据瓶颈。
- AI自主研究基础设施：作为Automated AI Research体系的关键组件，支撑AI系统在数据层面实现自我发现、自我改进、自我演化的闭环能力。
