讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

立刻MV
立刻MV

低成本歌曲 MV、视频生成

SoundView
SoundView

字幕擦除翻译、配音口型同步

Seko
Seko

AI短剧一键生成成片

HuggingFace教你怎样做出SOTA视觉模型

秋明大大_2592

秋明大大_2592

发布时间:2024-05-24 20:28:01

|

704人浏览过

|

来源于51CTO.COM

转载

前有openai的gpt-4o,后有谷歌的系列王炸,先进的多模态大模型接连炸场。

其他从业者在震撼之余,也再次开始思考怎么追赶这些超级模型了。

在这篇HuggingFace和法国索邦大学的一篇论文中,总结出了构建视觉大模型的关键经验,给开发者指明了一条路。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

HuggingFace教你怎样做出SOTA视觉模型图片

这些经验涵盖了模型架构选择、训练方法、训练数据等多个方面。作者在多方比较之后给出了详尽的总结,核心要点包括:

  • 想把视觉大模型搞好,架构的选择很重要。
  • 语言模型对整体表现的影响,比视觉模块更大。
  • 采用分阶段预训练策略,更有利于构建模型能力。
  • 训练数据应包含多种类型,并注意之间的比例平衡。

可以说,HF能够打造出同规模SOTA的视觉模型Idefics2,背后依靠的都是这些经验。

Idefics2基于Mistral-7B打造,整体拥有8B的参数量,可以准确识别出手写字体。

HuggingFace教你怎样做出SOTA视觉模型图片

这是一篇很好的专业人士评价称,这是一篇很好的调查报告,对视觉模型开发者很有帮助,但同时也提醒说不要当成万金油来看。

HuggingFace教你怎样做出SOTA视觉模型图片

当然也有人打趣说,什么架构数据都是浮云,有GPU才是最关键的。

HuggingFace教你怎样做出SOTA视觉模型图片

倒也有些道理,不过玩笑归玩笑,还是来看看HuggingFace都带给了我们哪些经验。

来自SOTA模型开发实战

HuggingFace论文中的这些经验,来自于视觉模型Idefics2的开发过程。

与前一代Idefics1和Flamingo等同规模前SOTA相比,Idefics2在多个数据集上表现优异,甚至还超过了更大的13B模型。

同时,和在COCO数据集上略胜于Idefics2的MM1相比,Idefics2在每张图上消耗的token大幅减少。

HuggingFace教你怎样做出SOTA视觉模型图片

从Idefics2的开发实战当中,HuggingFace给我们带来的经验至少包含以下几个方面:

  • backbone和架构的选择
  • 训练方法和策略
  • 数据多样性和处理策略

语言模型对整体表现影响更大

当前的视觉大模型主要都采用语言模型+视觉编码器的形式进行开发,作者对二者给整体表现带来的影响分别进行了评估。

结果显示,语言模型的质量比视觉模型更重要。

在相同参数量的情况下,使用更好的语言模型(如将Llama-7B替换为Mistral-7B),能够显著提升视觉大模型在下游任务上的性能。

而升级视觉编码器带来的提升则较为有限,因此在需要权衡时最好的做法是优先选择更强的语言模型。

HuggingFace教你怎样做出SOTA视觉模型图片

当然这不意味着升级视觉编码器没有作用,在条件允许的情况下,选用更好的视觉编码器也能带来一定的性能提升。

此外还应当注意选择要与下游任务相匹配,例如在文本识别任务上,应使用支持可变分辨率的视觉编码器;如果任务对推理速度要求很高,可以选择更轻量级的模型。

以及在实际应用中,推理速度和内存占用也是需要权衡的因素,Idefics2选用的SigLIP-SO400M就在性能和效率之间取得了很好的平衡。

根据需求选择架构类型

关于架构的选择,这篇论文讨论了常见的完全自回归和交叉注意力这两种。

完全自回归架构通过自回归方式生成每个输出,考虑了整个序列的依赖关系;

后者则允许模型在处理一种模态时动态地关注另一种模态的不同部分,实现更灵活的模态间交互。

在具体工作中,作者发现哪种架构表现更好取决于预训练的backbone是否被冻结。

(简单说,若预训练backbone参与正式训练过程则为非冻结,不参与则为冻结)

若未被冻结,则完全自回归架构的表现更优,反之则是交叉注意力架构更好。

HuggingFace教你怎样做出SOTA视觉模型图片

至于是否需要对backbone进行冻结,就要看开发者需求的侧重点了。

在资源有限的条件下,如果需要高性能、对延迟高度敏感,选择冻结更为合适;

如果希望模型具有更高的灵活性和适应性,则应选择非冻结的训练方式。

具体到Idefics2,选择了不冻结backbone,因此相应地采用了完全自回归架构。

HuggingFace教你怎样做出SOTA视觉模型图片

训练阶段的经验

选择好适当的架构固然重要,训练过程同样也必不可少,在Idefics2的训练过程之中,作者总结出了这些经验供我们参考:

一是整体上采用分阶段的预训练策略,初始阶段使用较低分辨率的图像,随后引入更高分辨率的PDF文档,这种做法可以逐步构建模型的多种能力。

二是使用Learned Pooling替代直接将图像特征送入语言模型,这可以大幅减少图像token数量,显著提升训练和推理效率,并且还带来了性能的提升。

三是数据增强,一种方法是在训练时将图像切分成多个子图像送入模型,可以在推理时用计算时间换取更强的性能,这在文本识别等任务上尤为有效,不过并非所有图片都需要这样处理。

四是在指令微调阶段使用更多元的数据和任务,可以提升模型的泛化和鲁棒性。

此外为了稳定训练,当预训练的单模态backbone参与训练(非冻结)时,作者还使用了LoRA技术来适配预训练参数。

数据的多样性和处理策略

除了训练过程本身,所选用的数据也会对模型的表现造成重大影响。

从收集阶段开始,就应注意要选择多种类型的数据,如Idefics2就使用的数据就包括三类——图文对齐的文档(如网页)、图像-文本对(如图片标题),以及带OCR标注的PDF文档。

对于各类数据所占的比例,也应根据实际需要进行适当平衡,而不是简单等分。

至于数据规模,则是在条件允许的情况下多多益善,当然应当注意过滤掉低质量数据。

当然收集只是获得训练数据的一个步骤,想把模型训练好,还需要进行一定的加工处理。

对不同类型的数据采用不同的预处理和增强策略,比如对于OCR数据,使用更高分辨率的图片是必要的,其他数据则可以使用较低分辨率。

这其中需要注意的是,处理图像时要保留原始的宽高比和分辨率,可以在提高模型适应性的同时大幅节省训练和推理的计算开销。

如果你认为这些经验对你有所启发,可以读读原论文了解更多详情,也欢迎在评论区交流你的开发经验。

论文地址:https://www.php.cn/link/d0aae9539e4dd0bd618e5d2598f18707

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

相关专题

更多
登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

15866

2023.09.14

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

1825

2023.09.14

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

4477

2023.12.21

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

6641

2024.03.01

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

5650

2024.08.16

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

0

2026.11.17

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

20

2026.11.17

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

0

2026.11.17

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

0

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
DBeaver AI数据隐私指南
DBeaver AI数据隐私指南

共0课时 | 0人学习

XORM框架官方中文文档
XORM框架官方中文文档

共0课时 | 0人学习

Conan 2 新特性与架构变化
Conan 2 新特性与架构变化

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn