autoresearch 是由 andrej karpathy 开源的一款面向 ai 自主科研的实验框架。该框架使 ai agent 能在单张 gpu 上全自动运行 nanochat 训练任务，涵盖参数调整、训练执行、指标分析与后续优化决策等全流程，彻底替代传统“调参→跑实验→查日志→再调参”的人工闭环。autoresearch 入门门槛极低，支持单卡部署，推动 ai 从被研究对象跃升为可独立开展科研工作的执行主体。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
autoresearch 的核心能力
- 自主代码演进：AI Agent 可直接编辑 train.py 文件，灵活变更模型结构、优化器类型、超参数设置等训练全链路配置。
- 时间约束型实验：每次训练严格控制在 5 分钟真实耗时（wall-clock time），保障跨设备、跨环境下的结果可复现与可比性。
- 效果驱动筛选机制：以 val_bpb（验证集每字节比特数）为统一评估标准，自动保留能降低该指标的有效修改，剔除无效尝试。
- 人类主导的研究编排：通过 program.md 定义 Agent 的行为逻辑与研究策略，人类聚焦于优化“研究流程代码”，而非直接干预训练脚本。
- 极简文件边界：Agent 仅操作 train.py 单一源文件，确保实验影响范围清晰、修改差异（diff）易于审查与理解。
autoresearch 的技术实现原理
- 轻量级 nanochat 训练简化版：基于单 GPU 构建的微型 GPT 模型，集成 Muon 与 AdamW 两种优化器，具备完整训练循环能力。
- BPE 分词与标准化数据流：prepare.py 统一完成数据下载、BPE 分词器训练及数据预处理，提供一致的数据加载与评估接口。
- 与词表无关的评估指标：采用 val_bpb 这一不依赖词汇表大小的指标，使不同架构或分词策略下的实验结果具备横向可比性。
- 代理-环境协同闭环：program.md 扮演 Agent 的“技能说明书”，Agent 按照其中指令读取上下文 → 修改代码 → 启动训练 → 解析指标 → 判断是否采纳 → 进入下一轮迭代。
- 时间归一化执行机制：无论模型规模或 batch size 如何变化，训练始终运行固定时长，消除硬件性能差异对实验公平性的影响。
autoresearch 快速上手指南
-
安装 uv 工具：执行
curl -LsSf https://astral.sh/uv/install.sh | sh获取高效 Python 项目管理器 uv。 -
拉取并同步依赖：进入项目目录后运行
uv sync完成全部依赖安装。 -
准备训练数据：执行
uv run prepare.py下载语料并训练 BPE 分词器（一次性操作，约耗时 2 分钟）。 -
手动验证流程：运行
uv run train.py确保基础训练流程可正常执行（约需 5 分钟）。 - 接入 AI 代理：在本地 IDE 中加载 Claude/Codex 等大模型代理，并将其工作目录指向 program.md。
- 启动自动探索：发送提示如 “Hi have a look at program.md and let’s kick off a new experiment” 触发 Agent 自主迭代。
- 追踪实验进展：次日查阅 train.py 历史版本与日志文件，掌握模型优化路径与最终成果。
autoresearch 的突出价值
- 极致精简架构：仅依赖三个关键文件（prepare.py、train.py、program.md），无第三方服务依赖，单 GPU 即可开箱即用。
- 公平基准体系：5 分钟固定训练时限 + vocab-independent 的 val_bpb 指标，确保各类模型改动均能在同一尺度下衡量成效。
- 人机职责分明：人类通过 program.md 设定研究目标与策略，AI 负责具体编码、训练与判断，形成“人定方向、机做实验”的协作范式。
- 高密度实验吞吐：平均每小时完成约 12 轮实验，整晚可累积近 100 次自动迭代，效率远超人工调试。
- 全程可追溯设计：所有变更集中于 train.py，每次 diff 清晰记录改进逻辑，便于回溯 Agent 的推理路径与优化思路。
autoresearch 的官方资源
autoresearch 与竞品对比分析
| 对比维度 | autoresearch | SciClaw |
|---|---|---|
| **产品定位** | 专注 LLM 训练任务的自主研究代理 | 通用科研场景 AI 同事 / 全生命周期研究协同平台 |
| **核心任务** | 自动改写训练代码、搜索超参、执行训练、评估并筛选有效改进 | 文献检索、实验方案设计、数值模拟、论文撰写、同行评议响应 |
| **研究对象** | nanochat 模型训练（单 GPU 深度学习任务） | 生命科学、化学、物理、材料等多学科交叉科研问题 |
| **实验执行方式** | 直接编辑 Python 脚本并触发本地训练流程 | 任务自动拆解、调用专业工具链、运行仿真计算、对接实验硬件 |
| **评估机制** | 5 分钟限时训练 + val\_bpb 指标自动判定保留/舍弃 | 实验结果解析、学术产出质量评估、科学假说验证闭环 |
| **知识沉淀能力** | 无长期记忆，每次实验基于当前代码与指标独立决策 | 持久化存储项目数据、实验记录、文献库、邮件往来等上下文 |
| **硬件适配要求** | 单张 NVIDIA GPU（如 RTX 4090 / A10） | 支持云端集群调度或本地私有部署，兼容 AI 眼镜与自动化实验台 |
| **交互模式** | 依托 program.md 指令文件 + 大模型代理后台自动运行 | 自然语言对话交互（支持 Web / 飞书 / 钉钉 / Telegram / Discord） |
| **开源状态** | MIT 协议完全开源 | 闭源商业化产品（内测需申请邀请码） |
| **典型用户群体** | AI 研究者、LLM 工程师、算法研究员 | 高校科研人员、博士研究生、企业研发团队 |
| **交付成果形式** | 优化后的模型权重文件 + 完整实验日志 | 学术论文初稿、汇报 PPT、会议海报、审稿回复函、实验总结报告 |
| **自主性层级** | 代码粒度自动演进，聚焦单一训练任务闭环 | 项目级全周期统筹，支持多日异步实验与异常自恢复 |
autoresearch 的典型应用方向
- LLM 超参数空间智能探索：高效遍历学习率、warmup 步数、层数、head 数等组合，快速锁定高性能配置。
- 新型模块实效验证平台：低成本验证 Rotary Embedding、FlashAttention、SwiGLU 等前沿组件的实际增益。
- 边缘端小模型性能调优：在消费级显卡上自动提升 nano-scale 模型的语言建模能力，助力个人开发者与初创团队。
- AI 科学家可行性研究沙盒：作为概念验证系统，用于探讨人工智能是否具备定义问题、设计实验、归纳结论的完整科研能力边界。
