Florence-VL：基于生成式视觉编码器的多模态大语言模型
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
马里兰大学与微软研究院合作推出了一种新型多模态大语言模型Florence-VL，该模型利用生成式视觉编码器Florence-2，显著提升了对图像中细节信息的理解能力。 这项研究由马里兰大学博士生陈玖海领衔，Bin Xiao担任通讯作者，并由马里兰大学助理教授Tianyi Zhou以及微软研究院研究员Jianwei Yang, Haiping Wu, Jianfeng Gao共同完成。
资源链接:
- 论文：https://www.php.cn/link/345d307ea2410ecb7f4d00b23ed9a399
- 开源代码：https://www.php.cn/link/4e5916dda041e42d18d9cf266d56b62b
- 项目主页：https://www.php.cn/link/c9c346f0d25cac2d93439db2c736bc8b
- 在线Demo：https://www.php.cn/link/f3c013d50e1737ca632a8f17e5815afc
- 模型下载：https://www.php.cn/link/8c76acf2b5b98f72bec5c3e3b258f122
Florence-VL的核心在于采用Florence-2作为视觉编码器。不同于传统的CLIP等模型仅提供单一全局图像表示，Florence-2通过生成式预训练，能够根据不同的任务提示生成多样化的视觉特征，从而更全面地理解图像细节，包括局部信息和像素级信息。 Florence-VL巧妙地利用多个任务提示（例如图像描述、OCR和物体定位），并融合不同深度层的特征，实现了更强大的视觉理解能力。
核心技术：深度-广度融合策略 (DBFusion)
Florence-VL的创新之处在于其深度-广度融合策略，它有效地结合了多任务提示和多层级特征，以获得更丰富的视觉表征：
- 广度: 通过不同的任务提示（例如图像描述、OCR和物体定位），生成针对不同任务的视觉特征。
- 深度: 利用Florence-2不同深度层捕获从低级到高级的视觉特征，实现对细节和整体信息的兼顾。
- 融合: 采用通道拼接策略，将不同任务和不同深度层的特征高效整合，避免增加模型计算负担，同时保留特征的多样性。
实验结果与对比
研究团队通过一系列实验，在多个多模态基准任务上评估了Florence-VL的性能，包括通用视觉问答、OCR、知识理解等。结果显示，Florence-VL在多个任务上超越了基于CLIP等传统视觉编码器的模型，尤其在文本提取任务上表现突出。消融实验也证明了Florence-2作为视觉编码器的优越性。
总结与展望
Florence-VL凭借其创新的生成式视觉编码器和深度-广度融合策略，在多模态大语言模型领域取得了显著进展。未来研究方向包括探索更先进的自适应融合策略，以根据不同任务动态调整特征融合的策略。
(脚注：[1] https://www.php.cn/link/3f26de5213216fe4c8a797b1ad68d771)
