讲师中心 微信公众号
AI工具推荐 视频效率加速

SenseNova-MARS— 商汤科技开源的多模态自主推理模型

小伟大大_2231

小伟大大_2231

发布时间:2026-01-31 20:50:17

|

999人浏览过

|

来源于php中文网

原创

SenseNova-MARS是什么

sensenova-mars是由商汤科技推出的开源多模态自主推理大模型,提供8b与32b两种参数量级版本。作为业界首个实现动态视觉推理与图文联合搜索深度协同的agentic视觉语言模型(agentic vlm),该模型具备类智能体的任务规划能力,可自主调度图像裁剪、文本检索、图像检索三大核心工具,无需人工介入即可完成多步、跨模态的复杂推理任务。在mmsearch、hr-mmsearch、fvqa等七大权威评测基准上,sensenova-mars-32b以69.74的平均分领先gemini-3-pro(69.06)和gpt-5.2(67.64),在当前开源模型中刷新sota纪录,标志着人工智能正从“被动应答”迈向“主动执行”的关键演进。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

SenseNova-MARS— 商汤科技开源的多模态自主推理模型

Digital IP Agent
Digital IP Agent

将公开的创作者、博主、播客主持人、YouTuber 或 X/Twitter 账号人物转化为可部署的 OpenClaw 代理。当用户提供 YouTube 链接、X(推特)链接等时使用。

下载

SenseNova-MARS的核心能力

  • 跨模态搜索式推理:深度融合图像与文本语义,支持实时调用外部工具开展知识驱动的多跳推理,实现信息检索与逻辑推演的一体化闭环。
  • 超精细视觉理解:原生适配4K/8K超高分辨率图像输入,可稳定识别并精准裁剪占比低于5%的微小目标区域,保障细节级分析可靠性。
  • 端到端Agent式执行:无需人工拆解任务,模型自动分解步骤、协调工具调用顺序,并持续迭代优化决策路径,独立完成高复杂度现实任务。

SenseNova-MARS的技术实现机制

  • 两阶段协同训练框架:第一阶段采用约3,000条高质量多轮人机交互轨迹进行监督微调,使模型快速习得基础工具调用范式;第二阶段引入BN-GSPO强化学习算法,通过组内归一化与批次级归一化双重机制,显著提升多工具协同策略的稳定性与泛化性。
  • BN-GSPO强化学习设计:专为多工具长序列决策场景优化,先对同组轨迹做组内归一化以消除样本间偏差,再对整批数据统一归一化,有效缓解因任务长度差异与奖励尺度不一致引发的训练震荡,实现高效稳健的策略收敛。
  • 结构化动作空间与工具接口:每轮推理仅需在文本搜索、图像搜索、图像裁剪及终止响应四类动作中择一执行;图像裁剪通过归一化坐标框(x_min, y_min, x_max, y_max)实现像素级局部聚焦;所有工具调用严格遵循预定义JSON Schema,确保系统级交互一致性。
  • 双维度稀疏奖励建模:以GPT-4o为外部评判器,从答案正确性与格式规范性两个维度生成稀疏奖励信号:正确性奖励基于最终输出与标准答案的语义相似度计算;格式奖励则验证每轮响应是否完整包含推理链路、工具调用指令及参数字段。
  • 全自动高质量数据构建流水线:依托多模态智能体引擎,集成细粒度视觉锚点定位、多跳跨源关联检索、闭环自洽性验证三大模块,从海量网页中自动挖掘实体间深层逻辑关系,生成高难度推理样本,并同步过滤幻觉内容,保障训练数据的真实性与挑战性。

SenseNova-MARS的官方资源入口

SenseNova-MARS的典型应用方向

  • 体育赛事智能分析:精准识别赛车服上的微型标识,联动检索所属车队、车手履历及历史成绩,并自动比对计时数据辅助判罚复核。
  • 企业级商业情报提取:从行业峰会合影中识别参会企业Logo,一键聚合其最新产品参数、融资动态与竞品对比信息,支撑战略研判。
  • 新闻事件真实性验证:针对高清现场图片,溯源拍摄地点、时间戳及涉事人物身份,交叉验证社交平台传播内容的可信度。
  • 科研辅助与教学增效:自动解析学术论文中的图表数据,同步检索相关理论依据与前沿进展,加速文献调研与知识图谱构建。
  • 文旅场景沉浸导览:识别街景中古建筑铭牌、交通指示牌等细微元素,即时推送对应的历史典故、文化背景与周边服务信息,打造个性化探索体验。

热门AI工具

更多
UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

相关专题

更多
Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

20

2026.10.28

Vite 如何搭配 Vue.js
Vite 如何搭配 Vue.js

Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。

0

2026.10.28

Vite 项目目录怎么看
Vite 项目目录怎么看

Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章,帮助读者理解各文件夹的用途与引用方式。

0

2026.10.28

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

120

2026.10.22

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

60

2026.10.22

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

60

2026.10.22

Gradle怎么构建Java项目
Gradle怎么构建Java项目

本专题介绍Gradle Java项目构建方法,涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查,帮助你理解各阶段的任务关系,逐步完成项目构建。

40

2026.10.22

PHP时间戳漏洞修复教程
PHP时间戳漏洞修复教程

本专题汇总PHP常见时间戳漏洞,包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等,并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案,帮助开发者快速排查和加固时间相关代码。

60

2026.10.22

Golangci-lint配置文件与规则设置
Golangci-lint配置文件与规则设置

本专题聚焦Golangci-lint YAML配置文件,讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置,便于团队统一检查标准。

20

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 21.2万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 4.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn