Kaleido 是什么
kaleido 是智谱ai推出的开源多智能体视频生成框架，专注于攻克多主体视频生成中的核心挑战——主体身份一致性与背景信息解耦。该框架依托自主研发的数据构造流程及 r-rope（reference rotary positional encoding）机制，精准剥离主体特征与场景背景，在多人物、多物体共存的复杂动态画面中稳定保留各主体的视觉辨识度。目前，kaleido 在多项多主体视频生成基准测试中刷新 sota 表现，为学术界与工业界提供了一个高性能、可复现、完全开源的视频生成技术底座，显著降低高质量多主体内容创作门槛。
One-click installation of GitHub projects
下载
GInstall OneClick — 一键安装 GitHub 项目：规划、克隆、安装 Node 依赖、运行开发脚本。适用于想要获取 GitHubNode.js 项目的用户。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
Kaleido 的核心能力
- 多主体身份稳定生成：支持在连续帧中精准维持多个独立主体（如不同人物、道具或动物）的外观、姿态与风格一致性，即使在密集交互、遮挡频繁或视角剧烈变化的场景下，仍能保障各主体特征不混淆、不变形。
- 背景无关化建模：通过结构化建模策略主动抑制参考图像中背景元素对生成过程的干扰，使主体可自由迁移至任意新背景中，大幅提升生成结果的可控性与泛化能力。
- 高保真动态输出：融合精细化数据预处理、分阶段训练调度与时空一致性正则，产出细节丰富、运动自然、时序连贯的高清视频，满足影视级内容生产需求。
- 多模态条件协同控制：兼容多张主体参考图 + 自然语言描述的联合输入方式，赋予创作者更强的语义引导能力与组合创意自由度。
Kaleido 的核心技术机制
- 跨实例数据合成管线：构建了一套面向多主体解耦的端到端数据工程体系。该管线通过主体-背景跨样本重组（例如将A人物置于B场景）、背景语义修复、主体掩码精标、多尺度质量筛选等步骤，强制模型学习“仅关注主体本质特征”的表示范式，从根本上缓解训练数据中的背景耦合偏差。
- R-RoPE（Reference Rotary Positional Encoding）机制：针对多参考图像引发的 Token 混淆问题，Kaleido 设计了具备空间位移特性的旋转位置编码方案。为每张参考图像分配专属 RoPE 偏置，使其 Token 在扩散 Transformer 的时空嵌入空间中占据唯一坐标，从而在注意力层显式区分“谁是参考主体”、“谁是待生成帧”，大幅增强多主体时空定位精度。
- 轻量高效条件融合架构：基于 Diffusion Transformer 主干，采用序列拼接式条件注入策略——将多张参考图编码后的 Token 序列与视频噪声 Token 序列沿时间维度直接拼接，并辅以 R-RoPE 进行结构化标识，实现低开销、高鲁棒的多源条件融合。
Kaleido 的官方资源入口
- 项目主页：https://www.php.cn/link/9e334886ffd1815f6e50841119fb3065
- GitHub 代码库：https://www.php.cn/link/fcc3d4757401a955a260255ff217a10d
- HuggingFace 模型页：https://www.php.cn/link/1a1b083d532028fdb17114d3776635b4
- arXiv 论文原文：https://www.php.cn/link/6a6b9ab46b610b6bf661a9c766f195eb
Kaleido 的典型应用方向
- 动画工业化生产：依据角色多角度参考图，批量生成符合设定的动作片段，加速原画→中间帧→成片的制作链路。
- 品牌营销视频生成：快速组合多个产品、代言人及场景要素，生成适配不同投放渠道的定制化广告短片。
- 沉浸式电商体验：驱动用户上传照片与商品图，实时生成其虚拟试穿/试戴全过程视频，提升转化率与参与感。
- AI 虚拟人内容生态：为数字人主播、游戏 NPC 或社交机器人生成表情自然、肢体协调、响应及时的互动短视频流。
- 交互式教学资源开发：构建涵盖教师讲解、学生操作、仪器反馈等多主体协同的教学演示视频，强化知识传递的具象性与代入感。
