☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

5月24日，字节跳动seed团队携手香港科技大学，共同推出一项面向多模态大语言模型（lmm）长文档训练的前沿研究成果。研究团队以阿里巴巴开源的qwen2.5-vl为基础，构建出全新模型 mmprolong，并在长文档理解效率方面实现关键突破。该工作不仅颠覆了多模态模型在长文本训练中的常规范式，更首次系统性揭示了数据组织方式对模型长上下文建模能力的决定性作用。

本研究的核心洞见直指当前LMM训练中的核心瓶颈：在多模态长文档场景下，采用问答对（QA）驱动的监督训练，其效果远超传统依赖OCR转录文本的训练方式。实验数据显示，单纯将图像中文字提取为纯文本并用于训练，不仅无法增强模型在超长上下文中的目标定位精度，反而引发显著性能退化；而若借助独立专用模型（如字节跳动Seed2.0）自动生成高质量、语义丰富的长上下文问答对进行训练，则可有效引导模型在海量冗余信息中快速聚焦并精准召回相关段落。

依托这一数据策略优化，MMProLong 仅使用 128,000个Token 的训练开销，便展现出卓越的长文本鲁棒性——即便输入长度扩展至 256,000甚至512,000个Token，模型性能仍保持稳定，未出现明显衰减。在权威评测基准 MMLongBench 与 MM-NIAH（“大海捞针”）上，其表现大幅领先于 InternVL3-38B 和Gemma3-27B等参数量更大的开源竞品。尤为值得注意的是，MMProLong 所习得的长上下文能力，还能自然泛化至未经过显式训练的长视频理解任务；该策略的有效性亦在Qwen3-VL-8B模型上得到复现验证，充分证明其具备高度通用性与迁移稳健性（water-proof）。

Qwen Vision

利用通义千问视觉API（阿里云灵积）分析图像和视频，支持图像理解、OCR及视觉推理。

下载

该成果为当前大模型发展路径提供了全新视角——区别于 DeepSeek 等团队通过视觉表征压缩与架构重排序来提升长上下文能力的技术路线，本研究证实：仅通过对训练数据结构的精细化设计，无需修改模型底层结构，即可达成同等甚至更优的长程推理能力跃迁。这为构建支持更长模态序列、更复杂多步推理的智能体系统，开辟了一条更具成本效益与工程可行性的技术通路。