讲师中心 微信公众号
AI工具推荐 视频效率加速

Stable Diffusion怎么生成短视频 SD视频生成方法

云宇吖_5290

云宇吖_5290

发布时间:2026-04-04 23:13:08

|

737人浏览过

|

来源于php中文网

原创

若WebUI无视频生成功能,需安装AnimateDiff扩展并部署运动模型、使用Mov2mov插件逐帧重绘、通过批量图生图+FFmpeg合成、用Ebsynth Utility补帧或加载TemporalNet增强一致性。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

stable diffusion怎么生成短视频 sd视频生成方法

如果您希望使用Stable Diffusion将文本或图像转化为短视频,但当前WebUI界面中未显示视频生成功能,则可能是由于缺少必要扩展、运动模型未正确部署或配置参数不匹配。以下是解决此问题的步骤:

一、安装AnimateDiff扩展并配置运动模型

AnimateDiff是目前最主流的Stable Diffusion文本生成视频(Text-to-Video)方案,它通过向U-Net注入轻量级运动模块(Motion Module),使静态图生图模型具备帧间时序建模能力。该方法无需重训整个模型,兼容绝大多数SD 1.5/2.x及SDXL检查点。

1、打开AUTOMATIC1111 WebUI,在顶部导航栏点击“扩展” → “可用”选项卡。

2、在搜索框中输入"animatediff",找到"sd-webui-animatediff",点击“安装”按钮。

3、安装完成后,点击“重启UI”(非关闭浏览器,而是页面内触发重启)。

4、访问Hugging Face链接:https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt,下载motion module文件。

5、将下载的mm_sd_v15_v2.ckpt放入路径:stable-diffusion-webui/extensions/sd-webui-animatediff/model/(若目录不存在,请手动创建)。

6、再次重启WebUI,进入文生图界面后,应可见“AnimateDiff”标签页及运动参数面板。

二、使用Mov2mov插件逐帧重绘生成视频

Mov2mov属于图像驱动型视频生成方法,适用于已有参考视频或关键帧的风格迁移任务。其本质是对输入视频逐帧调用图生图(img2img)流程,利用ControlNet约束动作与结构,实现可控重绘。该方式对显存压力较低,适合中端GPU用户。

1、进入WebUI的“扩展” → “从URL安装”,粘贴地址:https://github.com/ArtVentureX/sd-webui-mov2mov,点击安装。

2、重启WebUI后,在左侧菜单栏确认出现“Mov2mov”新选项卡。

3、上传原始视频(MP4/WebM格式,建议≤10秒、分辨率≤768×512)。

4、设置基础参数:重绘幅度(Denoising strength)=0.4,启用OpenPose + Depth ControlNet,并确保对应预处理器已加载。

5、指定目标模型与提示词,点击“生成”,系统将自动拆帧、重绘、合成为新视频文件。

三、采用批量图生图+FFmpeg合成方案

该方法绕过专用视频扩展,完全基于WebUI原生图生图功能,通过脚本控制多轮推理生成图像序列,再用外部工具合成视频。灵活性高,便于调试单帧质量,且规避部分扩展兼容性问题。

1、准备一张高质量源图,作为所有帧的初始输入图像。

Stable Diffusion
Stable Diffusion

Stable Diffusion AI 绘画助手,精通 SD WebUI、ComfyUI、提示词工程、LoRA 训练

下载

2、在WebUI中切换至“图生图”界面,勾选“迭代批次(Batch count)”并设为所需帧数(如24帧)。

3、在提示词中加入“frame 1 of 24”, “frame 2 of 24”…等动态标识(需配合Prompt Matrix或Dynamic Prompting脚本支持)。

4、设置种子(Seed)为-1以启用随机变化,同时保持CFG Scale=7–9与采样步数=20–30平衡稳定性与多样性。

5、生成完毕后,前往输出目录,使用FFmpeg命令行执行合成:ffmpeg -framerate 12 -i "output_%05d.png" -c:v libx264 -pix_fmt yuv420p output.mp4。

四、启用Ebsynth Utility进行关键帧引导补帧

Ebsynth Utility并非直接集成于SD WebUI,而是一个独立的后期处理工具,擅长在仅提供少量人工精修关键帧(如3–5帧)的前提下,自动传播纹理与细节至中间帧,显著提升视频连贯性与艺术一致性,常与AnimateDiff或Mov2mov结果联用。

1、从GitHub下载Ebsynth Utility v2.4.0或更高版本(Windows/Linux版)。

2、将AnimateDiff或Mov2mov生成的首帧、中帧、末帧导出为PNG,并用Photoshop或Clip Studio Paint进行手动优化(修正闪烁、畸变、结构断裂)。

3、在Ebsynth Utility中导入原始视频(未重绘版)作为“Source Video”,导入精修后的关键帧作为“Style Images”。

4、设置Patch Size=32, Search Radius=128, Iterations=8,启用“Preserve Edges”选项。

5、点击“Run Ebsynth”,等待处理完成,输出目录将生成补全后的完整帧序列。

五、加载TemporalNet增强帧间一致性

TemporalNet是专为缓解Mov2mov类方法闪烁问题设计的ControlNet子模块,通过引入时间维度卷积核,显式建模相邻帧特征差异,在不增加显著显存开销前提下提升运动平滑度。需单独安装并启用。

1、从GitHub仓库https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved获取TemporalNet模型文件(temporalnet_fp16.safetensors)。

2、将其放入stable-diffusion-webui/extensions/sd-webui-controlnet/models/目录。

3、重启WebUI后,在ControlNet面板中选择“temporalnet”模型,启用并设置Weight=0.8、Resize Mode=Scale to Fit (Inner Fit)。

4、上传视频首帧与第二帧构成双帧输入(需开启ControlNet“Batch”模式),其余设置保持与Mov2mov一致。

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

20

2026.10.10

Kratos框架HTTP与gRPC服务开发教程
Kratos框架HTTP与gRPC服务开发教程

本专题围绕Kratos框架双协议服务开发,涵盖HTTP路由与处理器编写、参数获取、gRPC服务实现与客户端调用、metadata上下文传递、encoding编解码注册、统一响应封装、超时控制与流式响应实现方法。

20

2026.10.10

Kratos框架Protobuf接口定义与代码生成合集
Kratos框架Protobuf接口定义与代码生成合集

本专题讲解Kratos框架接口定义体系,涵盖proto编写规范、proto add/client/server生成命令、http注解路由、validate校验、OpenAPI文档生成、跨服务proto复用与兼容性设计。

0

2026.10.10

C++虚函数怎么定义和调用
C++虚函数怎么定义和调用

C++虚函数是实现运行时多态的重要机制。本专题从virtual关键字的基本用法入手,介绍基类与派生类之间的函数重写、基类指针调用派生类方法,以及动态绑定的执行过程,帮助初学者掌握虚函数的核心语法。

20

2026.10.10

C++类与对象的封装方法教程
C++类与对象的封装方法教程

C++封装是面向对象编程的核心特性之一,通过类将数据与操作数据的函数组织在一起,并利用访问权限控制外部访问。本专题介绍类的定义、成员变量、成员函数以及public、private和protected的使用方法,帮助初学者掌握封装的基本原理。

20

2026.10.10

C++构造函数定义与调用方法
C++构造函数定义与调用方法

C++构造函数用于初始化类对象,是面向对象编程的重要基础。本专题从构造函数的定义、声明和调用入手,介绍默认构造函数、带参数构造函数、拷贝构造函数及成员初始化列表,帮助初学者掌握对象创建与初始化的基本方法。

20

2026.10.10

Kratos框架零基础入门教程
Kratos框架零基础入门教程

本专题整理Kratos框架入门内容,涵盖Go环境准备、kratos CLI安装升级、new命令创建项目、目录结构分层说明、服务启动与双协议端口、依赖下载报错排查,帮助开发者快速跑通第一个Kratos框架微服务应用。

20

2026.10.10

C++条件判断语句怎么写
C++条件判断语句怎么写

C++条件判断是控制程序执行流程的重要基础。本专题介绍if、if-else、else if和switch等常见分支语句,结合条件表达式、比较运算符与代码示例,帮助初学者掌握不同场景下的判断逻辑。

0

2026.10.10

C++变量怎么声明和赋值
C++变量怎么声明和赋值

C++变量是编写程序和存储数据的基础。本专题围绕变量声明、定义、初始化、赋值和类型选择等内容展开,帮助初学者理解不同变量的用法,并掌握在实际代码中定义和使用变量的方法。

20

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn