Kimi-VL— 月之暗面开源的轻量级多模态视觉语言模型

星磊同学_3544

发布时间：2025-04-12 10:32:20

1051人浏览过

来源于php中文网

原创

Kimi-VL是什么

kimi-vl 是月之暗面开源的轻量级多模态视觉语言模型，基于轻量级moe模型moonlight（16b总参数，2.8b激活参数）和原生分辨率的moonvit视觉编码器（400m参数）。kimi-vl支持单图、多图、视频和长文档等多模态输入，在图像感知、数学、多学科题目、ocr等任务中表现出色，尤其在长上下文（128k）和复杂推理方面有优势。在数学推理、长视频理解等任务中表现优异，超越gpt-4o等模型。kimi-vl推出支持长思考的模型版本 kimi-vl-thinking，基于长链推理微调和强化学习，仅2.8b 激活参数，在较高推理难度的基准测试中，部分成绩接近甚至超过超大尺寸的前沿模型。

Workspace Git Setup

一键在任意工作目录中设置 Git 跟踪，并附带安全为重点的 .gitignore（包括凭证、TLS/SSH 私钥、令牌、运行时缓存和 PID 等）

下载

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

Kimi-VL的主要功能

多模态信息输入：支持单图、多图、视频、长文档等多种输入形式。
图像细粒度感知：对图像进行详细分析，识别图像中的复杂细节和场景。
数学和逻辑推理：在多模态数学题目和逻辑推理任务中表现出色，支持结合视觉信息进行复杂计算。
OCR和文本识别：在光学字符识别（OCR）任务中表现优异，准确识别图像中的文字内容。
智能体应用：支持Agent任务，如屏幕快照解析、智能体导航等，处理复杂的视觉和文本交互场景。
长思考能力：Kimi-VL-Thinking版本在复杂任务中支持进行更深层次的推理。

Kimi-VL的技术原理

架构设计：
- 视觉编码器（MoonViT）：基于400M参数的Vision Transformer架构，原生分辨率处理图像，无需对图像进行分割或拼接。引入NaViT中的打包方法，将图像划分为图像块，展平后串联成一维序列，与语言模型共享相同的算子和优化方法。
- 多层感知器投影模块（MLP Projector）：基于两层MLP桥接视觉编码器和语言模型。像素重排操作压缩图像特征的空间维度，投影到语言模型所需的嵌入维度。
- 混合专家（MoE）语言模型（Moonlight）：基于6B总参数、2.8B激活参数的轻量级MoE架构。从预训练阶段的中间检查点初始化，检查点已处理过5.2T token的纯文本数据，激活了8K的上下文长度。用混合训练方案，继续预训练2.3T token的多模态和纯文本数据。
预训练阶段：
- 独立 ViT 训练：对视觉编码器进行独立训练，建立健壮的视觉特征提取能力。
- 联合训练：包括预训练、冷却和长上下文激活三个阶段，同时增强模型的语言和多模态能力。
- 后训练阶段：分别在32K和128K上下文中进行，进一步优化模型性能。用长链推理（Long-CoT）微调激活和增强长思考能力，基于强化学习进一步提升模型的推理能力。
性能优化：基于128K的上下文窗口，在长文本和长视频中进行精准信息检索。原生分辨率编码器MoonViT在超高分辨率视觉任务中用户较低的计算开销保持高准确率。基于长思维链（Long CoT）激活和强化学习，Kimi-VL-Thinking在复杂任务中进行更深层次的推理。

Kimi-VL的性能优势

高智力：Kimi-VL在多模态推理和多步骤Agent任务中表现出色，文本处理能力也毫不逊色于纯文本语言模型。在MMMU、MathVista、OSWorld等基准测试中，Kimi-VL无需依赖“长思考”能力，取得令人瞩目的成绩，展现卓越的智能水平。
长上下文：Kimi-VL拥有128K的超长上下文窗口，在处理长视频和长文档任务时，如LongVideoBench和MMLongBench-Doc基准测试，表现远超同级别其他模型，支持精准地检索和理解海量信息，为复杂任务提供更全面的上下文支持。
更强的视觉能力：与其他开源视觉语言模型相比，Kimi-VL在视觉感知、视觉世界知识、OCR及高分辨率屏幕快照解析等多个视觉场景中，均展现出全面且显著的竞争优势。对复杂图像的细节捕捉和对视觉信息的深度理解，Kimi-VL都能精准高效地完成任务。