在具身智能领域，“sim2real”（仿真到现实）长期被视为关键瓶颈：一方面，高保真仿真环境的构建耗时耗力、成本不菲；另一方面，模型从虚拟空间迁移到物理世界时，性能往往显著下降。近期，由李飞飞团队携手英伟达gear实验室、佐治亚理工学院等多方力量联合推出一项突破性研究，提出全新范式——real2sim，为该难题开辟了全新路径。

这项名为“SimFoundry”的系统，仅需一段真实场景视频输入，即可全自动构建出具备交互能力、支持策略训练与性能评估的机器人仿真环境。区别于传统依赖多视角扫描或激光雷达的3D重建方式，SimFoundry实现了对现实世界的语义级理解与可编辑式重构，借助端到端自动化流程，极大降低了高质量仿真环境的构建门槛。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

SimFoundry的技术内核在于构建“数字孪生”与“数字表亲”的双向协同闭环。系统首先从原始视频中解析物体的几何形态、材质特性、动力学参数及功能语义，生成高保真、可仿真的“数字孪生”体；随后，基于该孪生基础，自动变异外观纹理、调整结构尺寸、重排空间布局、甚至重新定义任务逻辑，批量生成多样化但物理一致的“数字表亲”变体。由此，开发者仅凭单段实景视频，即可获得近乎无限的泛化训练资源，全面支撑机器人策略学习、鲁棒性测试与闭环评估。

实证结果表明，SimFoundry所生成的仿真评测结果与真实硬件执行效果高度吻合，相关指标相关性显著优于现有方法。尤为关键的是，依托该系统生成数据训练所得的控制策略，无需任何真实环境微调，即可直接部署于实体机器人，在多阶段装配、双手协同操作等高难度任务中展现出强泛化能力与稳定表现。

本工作由多位机器人与人工智能领域的顶尖学者共同完成，涵盖英伟达GEAR实验室核心成员及李飞飞教授团队骨干。随着SimFoundry代码与模型的开源落地，具身智能的研发范式或将迎来根本性转变——告别高成本人工建模与有限数据采集，转向以视频为入口、以生成为驱动的高效开发新范式，加速机器人从模拟走向现实的进程。

论文地址:https://www.php.cn/link/abd19437d3541945cf100fc11a7e5436