LiblibAI 2.0「音画协同生成」可基于解说音频自动匹配高同步度画面。上传≤90秒清晰语音后,系统ASR转写并语义分段,支持手动调整边界与关键词;提供模板直选(文物摄影/手绘线稿/3D微距)或全局模型锁定(如Star-3 Alpha)以统一风格;批量生成后依匹配度筛选优化,最终合成带运动补偿的MP4。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

当你需要为已有解说音频匹配画面,又不想逐帧手绘或反复调试图生视频参数时,LiblibAI 2.0 的「音画协同生成」流程可直接基于语音节奏与语义生成高同步度画面片段。
准备解说音频并提取关键信息
将已录制好的MP3/WAV格式解说音频(时长建议≤90秒)上传至LiblibAI 2.0首页右上角「+新建」→「音画生成」入口。系统自动调用内置ASR引擎转写文本,【必须确保音频无背景音乐、人声清晰、语速适中】,否则转写错漏会导致画面偏离重点。
转写完成后,界面右侧会高亮显示时间轴上的语义分段(如“第一幕:青铜器纹样起源”“第二幕:失蜡法铸造过程”),每段默认截取3–5秒。你可以手动拖动分段边界,或点击段落旁的铅笔图标修改关键词——比如把“铸造过程”改为“高温熔铜→模具灌注→冷却脱模”,越具动作链描述,后续画面结构越准确。
为每段语音匹配画面风格与模型
方法一:模板直选
在分段列表下方点击「推荐风格」,系统根据文本关键词自动推送三类选项:“文物摄影纪实”“手绘线稿解析”“3D微距拆解”。选中后,对应模型(如Z-Image文物增强版、Seedream 4.5线稿专精、NanoBanana Pro超清微距)即刻加载,无需手动切换。
Qwen 视频智能分析基础客户端(免费版),基于 Qwen 3.5 Plus 多模态模型对本地视频进行内容分析,支持场景描述与基础内容理解,采用默认抽帧频率和提示词,适合快速概览视频,API Key 读取自 ~/.skill-platform/skill-platform.json 的 skills 配置。
方法二:模型自定义
若需统一全片视觉语言,点击顶部「全局模型锁定」,从下拉菜单中选定Star-3 Alpha或Qwen-Image,并勾选「保持材质一致性」。该选项强制AI在不同语音段间复用同一套纹理权重,避免青铜器在第一段是哑光氧化铜、第二段突然变成镜面不锈钢。
生成并优化画面序列
第一步:点击「批量生成画面」,系统按时间轴顺序启动异步渲染,每段生成3张候选图,耗时约12–18秒/段。
第二步:在结果页横向滑动查看各段候选图,鼠标悬停任一缩略图时,左上角实时显示该图与原始语音片段的语义匹配度(百分比)及动作连贯性评分;
第三步:对匹配度<82%的段落,点击缩略图下方「重绘此段」→ 在弹出框中补充约束词,例如原句是“饕餮纹双眼凸起”,重绘时追加“双眼为浮雕凸起、铜绿锈迹自然分布、无现代光源高光”;
第四步:全部确认后,点击「合成时间轴」,系统自动按语音时间戳对齐画面帧,导出MP4时默认启用“帧间运动补偿”,防止相邻画面切换生硬跳变。
这一步操作起来很简单,直接把文件拖进去就行。但注意:导出前务必检查时间轴上是否有红色警示三角——它表示某段画面未对齐语音起始点,需返回该段重新生成。

















