ai 视频生成与编辑领域正经历一场底层范式的深度变革。字节跳动商业化技术团队近日正式对外开源了专为视频生成与编辑任务设计的一体化统一框架——bernini。该框架以“先理解、后生成”为核心设计理念，构建起语义理解与视觉合成的协同闭环，直击当前行业普遍存在的文本指令解析不准、画面失真、帧间抖动等关键难题。

长期以来，视频编辑技术受限于模型对复杂语义意图的感知能力薄弱，常导致主体形变、背景错位、动作不连贯等典型缺陷。为突破这一瓶颈，Bernini创新性地将整个处理流程解耦为“语义规划”与“视觉渲染”两大模块。首先，由多模态大语言模型驱动的规划器（MLLM-based planner）对输入的文本描述、原始视频及参考图像进行联合建模，在高维特征空间中推演并生成目标语义结构——即一张脱离具体分辨率限制的“语义蓝图”；紧接着，基于 Diffusion Transformer 架构的渲染器（DiT-based renderer）据此蓝图执行精细化视觉合成，输出时序稳定、细节丰富的高质量视频序列。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

依托这种模块化协同机制，Bernini在可控性编辑方面展现出显著优势。用户仅需一条自然语言指令，即可实现对场景天气、季节更替、材质替换、艺术风格迁移等多维度属性的逼真调控；同时支持对镜头运动轨迹、焦点位置、主体姿态等底层视觉要素的语义级精准干预。例如，在维持整体构图与拍摄视角高度一致的前提下，系统可智能重置视频中动物的行为逻辑，使动作过渡自然流畅，大幅逼近专业非线性编辑软件的操作精度。

Nova AI

Nova AI 是一款在线 AI 视频编辑与字幕工具，支持视频上传、智能剪辑、自动字幕、字幕翻译、文本转语音、视频音频处理和内容分析，适合短视频制作、营销视频、课程字幕和多语言内容本地化。

下载

除文本驱动外，Bernini亦原生支持图像与视频作为视觉锚点，显著增强跨模态内容的一致性表达能力。在编辑任务中，它能将指定材质纹理、特定人物形象或品牌广告素材无缝嵌入目标视频区域，确保边缘融合无痕、空间透视准确；在全新视频生成任务中，则涵盖单图引导生成、多视角参考合成、关键帧延展为连续镜头等多种范式，甚至可将多个风格迥异的商品图像有机整合至同一虚拟角色的动态呈现中。

针对多源视觉片段混合输入时易出现的时空混淆问题，研发团队引入 SA-3D RoPE 三维位置编码机制，为不同参考片段赋予唯一时空标识，在保留原始时空拓扑关系的基础上，清晰区分输入参考与待生成内容。目前，该框架已在字节内部多项基准测试中稳居行业领先水平。据悉，Bernini的推理代码及第二阶段模型 Bernini-R 已全面开放；而集成完整 MLLM 规划器的全功能版本，也将在近期正式上线。