必须先生成配音再生成画面,UpDream不支持反推口型,需以音频为时间基准:新建音频节点→文本转语音→选Bilibili-Voice S3→生成带帧级时间戳的配音,再绑定驱动画面生成。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

手头已有短剧分镜脚本,想用UpDream高效产出成片,必须明确配音与画面生成的先后逻辑——先生成配音再驱动画面,还是先搭好画面再配声,直接决定角色口型是否匹配、节奏是否卡点、后期是否反复返工。
必须先生成配音,再生成对应画面
UpDream不支持从纯画面反推口型或语音节奏,所有带对白的镜头,必须以配音音频为时间基准。你在画布中新建「音频节点」→选择「文本转语音」→输入台词(每段≤48字)→选「Bilibili-Voice S3」模型→点击生成。生成后该音频节点自动获得精确到帧的时间戳,后续所有画面生成节点都可绑定它。
这一步不可跳过。若先生成画面再补配音,系统无法自动校准口型动作,你只能手动拖动视频片段去对齐,误差常达3~5帧,导致“嘴不动声在响”的穿帮效果。
用配音轨道驱动画面生成的两种路径
方法一:绑定式驱动(推荐新手)
选中已生成的音频节点→右键→「设为配音主轨」→再选中目标分镜卡片→点击右下角「生成视频」按钮。系统将自动提取该音频的语义停顿、重音位置与语速变化,把每个语句切分为独立镜头单元,并调用Seedance 2.5生成严格对齐的视频片段。
方法二:预演台帧级锚定(适合多机位短剧)
进入预演台→导入场景白模→添加角色→点击左上角「同步配音」图标→拖入你的WAV/MP3文件(采样率必须为48kHz,单声道)→播放预览,听到第一字发音时按空格暂停→拖动时间轴,使视频首帧画面中人物嘴唇微张状态与配音首字波形峰值对齐→点击「锁定同步」。此后所有运镜关键帧、角色动作起始点都将以此帧为绝对原点计算。
【若配音含背景音乐,必须提前用Audacity分离人声,否则UpDream会静音整条音轨而不报错】
生成顺序执行清单
第一步:在画布中批量生成全部配音节点,确保每段台词独立成节点、命名清晰(如“女主-雨夜质问”“男主-转身冷笑”);
第二步:将配音节点统一拖入「配音轨道」区域,右键→「合并为配音主轨」;
第三步:逐个选中分镜卡片→点击「生成视频」→勾选「绑定配音主轨」→运行;
第四步:生成完成后,双击任意视频节点→右侧参数栏检查「声画同步偏移值」,若显示“±0帧”即为精准对齐;
第五步:导出前,在时间轴上全选所有视频节点→右键→「统一缩放至配音长度」,强制裁切多余画面尾帧。



















