随着多模态大语言模型（mllms）的迅猛演进，推动模型从“静态理解图像”跃迁至“动态定位证据并自主推理”的智能体（agent）范式，正成为全球ai前沿竞争的关键焦点。然而，受限于高质量训练数据的稀缺、自动化轨迹生成流程的不成熟，以及系统化训练策略的缺失，具备顶尖能力的多模态搜索智能体长期难以被开源社区稳定复现。
为突破这一技术瓶颈，腾讯混元（Tencent Hunyuan）携手加州大学洛杉矶分校（UCLA）、香港中文大学等多家顶尖研究机构，正式推出 OpenSearch-VL —— 一套完全开源、面向深度视觉-语言搜索任务的端到端智能体构建路线图，核心依托强化学习（RL）驱动模型实现高阶认知闭环。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
构建高保真数据产线，根治“捷径依赖症”
研究团队强调，当前制约模型向纵深推理演化的首要障碍，在于缺乏能真实反映复杂搜索行为的优质监督信号。为培育具备多步逻辑链路而非仅依赖单次视觉识别的智能体，团队设计了一套严谨的数据蒸馏机制。
该机制以维基百科超链接网络为结构基础，进行多跳路径采样，将抽象知识关系具象为可执行的多阶段问答任务。为杜绝模型走“语义捷径”，团队采用实体模糊重写策略隐去显式答案线索，并融合基于源码锚点的视觉定位模块，强制模型必须先解析图像内容，再协同外部工具展开渐进式检索，从而规避因工具误用引发的功能性退化。依托该范式，项目构建了涵盖3.6万条指令微调轨迹的 SearchVL-SFT 数据集，以及8000条专用于强化学习优化的 SearchVL-RL 轨迹数据集。
全栈感知工具箱：不止于检索，更在于“预处理式理解”
OpenSearch-VL 的能力边界远超传统文本驱动的搜索框架。在真实应用场景中，用户上传的图像常面临模糊、畸变、低分辨率或文字遮挡等问题，直接输入标准搜索引擎往往导致结果失效。
为此，项目构建了一个鲁棒性强、功能完备的工具生态体系：除常规网页搜索与反向图像检索外，还深度集成 OCR 文字提取、智能图像裁剪、自适应锐化、轻量级超分辨率重建，以及几何感知的透视矫正模块。这意味着智能体在发起外部知识查询前，会模拟人类视觉认知过程，主动对原始图像进行语义增强与结构修复，显著提升后续跨模态检索的可靠性与准确性。
故障驱动型学习机制：“失败亦是有效训练信号”
在长程、多步骤的搜索任务中，工具调用极易因超时、API异常或格式错误而中断，进而引发整条推理链崩溃。传统强化学习方法通常将此类失败轨迹整体剔除，造成大量潜在有用决策片段被浪费。
OpenSearch-VL 创新提出 “多轮故障感知 GRPO” 训练范式。该算法可精准识别工具交互中的关键“断点”，通过动态掩码屏蔽失败节点之后的冗余动作序列，并借助单边优势钳制（One-sided advantage clamping）机制，保留故障发生前已验证有效的策略片段。由此，模型得以在不完美轨迹中持续提炼稳健的探索逻辑与路径规划能力。
实测性能直追头部闭源系统
实验表明，OpenSearch-VL 在七项主流多模态深度搜索评测基准上全面领先，平均指标提升逾10个百分点。在部分高难度推理类子任务中，其表现已达到当前最优商业私有模型的同等水平。
目前，项目已宣布将全部训练数据、完整训练代码、推理框架及模型权重向全球开发者免费开放，致力于打造一个可复现、可扩展、可迭代的多模态智能体基础设施，加速学术界与工业界共同驶入多模态Agent研究的“深水区”。
论文地址：https://www.php.cn/link/05ede5cedad6c61ef99376296b0699ef
