讲师中心 微信公众号
AI工具推荐 视频效率加速

Stable Diffusion怎么生成短视频 SD视频生成方法

云宇吖_5290

云宇吖_5290

发布时间:2026-04-04 23:13:08

|

757人浏览过

|

来源于php中文网

原创

若WebUI无视频生成功能,需安装AnimateDiff扩展并部署运动模型、使用Mov2mov插件逐帧重绘、通过批量图生图+FFmpeg合成、用Ebsynth Utility补帧或加载TemporalNet增强一致性。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

stable diffusion怎么生成短视频 sd视频生成方法

如果您希望使用Stable Diffusion将文本或图像转化为短视频,但当前WebUI界面中未显示视频生成功能,则可能是由于缺少必要扩展、运动模型未正确部署或配置参数不匹配。以下是解决此问题的步骤:

一、安装AnimateDiff扩展并配置运动模型

AnimateDiff是目前最主流的Stable Diffusion文本生成视频(Text-to-Video)方案,它通过向U-Net注入轻量级运动模块(Motion Module),使静态图生图模型具备帧间时序建模能力。该方法无需重训整个模型,兼容绝大多数SD 1.5/2.x及SDXL检查点。

1、打开AUTOMATIC1111 WebUI,在顶部导航栏点击“扩展” → “可用”选项卡。

2、在搜索框中输入"animatediff",找到"sd-webui-animatediff",点击“安装”按钮。

3、安装完成后,点击“重启UI”(非关闭浏览器,而是页面内触发重启)。

4、访问Hugging Face链接:https://huggingface.co/guoyww/animatediff/resolve/main/mm_sd_v15_v2.ckpt,下载motion module文件。

5、将下载的mm_sd_v15_v2.ckpt放入路径:stable-diffusion-webui/extensions/sd-webui-animatediff/model/(若目录不存在,请手动创建)。

6、再次重启WebUI,进入文生图界面后,应可见“AnimateDiff”标签页及运动参数面板。

二、使用Mov2mov插件逐帧重绘生成视频

Mov2mov属于图像驱动型视频生成方法,适用于已有参考视频或关键帧的风格迁移任务。其本质是对输入视频逐帧调用图生图(img2img)流程,利用ControlNet约束动作与结构,实现可控重绘。该方式对显存压力较低,适合中端GPU用户。

1、进入WebUI的“扩展” → “从URL安装”,粘贴地址:https://github.com/ArtVentureX/sd-webui-mov2mov,点击安装。

2、重启WebUI后,在左侧菜单栏确认出现“Mov2mov”新选项卡。

3、上传原始视频(MP4/WebM格式,建议≤10秒、分辨率≤768×512)。

4、设置基础参数:重绘幅度(Denoising strength)=0.4,启用OpenPose + Depth ControlNet,并确保对应预处理器已加载。

5、指定目标模型与提示词,点击“生成”,系统将自动拆帧、重绘、合成为新视频文件。

三、采用批量图生图+FFmpeg合成方案

该方法绕过专用视频扩展,完全基于WebUI原生图生图功能,通过脚本控制多轮推理生成图像序列,再用外部工具合成视频。灵活性高,便于调试单帧质量,且规避部分扩展兼容性问题。

1、准备一张高质量源图,作为所有帧的初始输入图像。

Stable Diffusion
Stable Diffusion

Stable Diffusion AI 绘画助手,精通 SD WebUI、ComfyUI、提示词工程、LoRA 训练

下载

2、在WebUI中切换至“图生图”界面,勾选“迭代批次(Batch count)”并设为所需帧数(如24帧)。

3、在提示词中加入“frame 1 of 24”, “frame 2 of 24”…等动态标识(需配合Prompt Matrix或Dynamic Prompting脚本支持)。

4、设置种子(Seed)为-1以启用随机变化,同时保持CFG Scale=7–9与采样步数=20–30平衡稳定性与多样性。

5、生成完毕后,前往输出目录,使用FFmpeg命令行执行合成:ffmpeg -framerate 12 -i "output_%05d.png" -c:v libx264 -pix_fmt yuv420p output.mp4。

四、启用Ebsynth Utility进行关键帧引导补帧

Ebsynth Utility并非直接集成于SD WebUI,而是一个独立的后期处理工具,擅长在仅提供少量人工精修关键帧(如3–5帧)的前提下,自动传播纹理与细节至中间帧,显著提升视频连贯性与艺术一致性,常与AnimateDiff或Mov2mov结果联用。

1、从GitHub下载Ebsynth Utility v2.4.0或更高版本(Windows/Linux版)。

2、将AnimateDiff或Mov2mov生成的首帧、中帧、末帧导出为PNG,并用Photoshop或Clip Studio Paint进行手动优化(修正闪烁、畸变、结构断裂)。

3、在Ebsynth Utility中导入原始视频(未重绘版)作为“Source Video”,导入精修后的关键帧作为“Style Images”。

4、设置Patch Size=32, Search Radius=128, Iterations=8,启用“Preserve Edges”选项。

5、点击“Run Ebsynth”,等待处理完成,输出目录将生成补全后的完整帧序列。

五、加载TemporalNet增强帧间一致性

TemporalNet是专为缓解Mov2mov类方法闪烁问题设计的ControlNet子模块,通过引入时间维度卷积核,显式建模相邻帧特征差异,在不增加显著显存开销前提下提升运动平滑度。需单独安装并启用。

1、从GitHub仓库https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved获取TemporalNet模型文件(temporalnet_fp16.safetensors)。

2、将其放入stable-diffusion-webui/extensions/sd-webui-controlnet/models/目录。

3、重启WebUI后,在ControlNet面板中选择“temporalnet”模型,启用并设置Weight=0.8、Resize Mode=Scale to Fit (Inner Fit)。

4、上传视频首帧与第二帧构成双帧输入(需开启ControlNet“Batch”模式),其余设置保持与Mov2mov一致。

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

80

2026.10.10

Kratos框架HTTP与gRPC服务开发教程
Kratos框架HTTP与gRPC服务开发教程

本专题围绕Kratos框架双协议服务开发,涵盖HTTP路由与处理器编写、参数获取、gRPC服务实现与客户端调用、metadata上下文传递、encoding编解码注册、统一响应封装、超时控制与流式响应实现方法。

40

2026.10.10

Kratos框架Protobuf接口定义与代码生成合集
Kratos框架Protobuf接口定义与代码生成合集

本专题讲解Kratos框架接口定义体系,涵盖proto编写规范、proto add/client/server生成命令、http注解路由、validate校验、OpenAPI文档生成、跨服务proto复用与兼容性设计。

20

2026.10.10

C++虚函数怎么定义和调用
C++虚函数怎么定义和调用

C++虚函数是实现运行时多态的重要机制。本专题从virtual关键字的基本用法入手,介绍基类与派生类之间的函数重写、基类指针调用派生类方法,以及动态绑定的执行过程,帮助初学者掌握虚函数的核心语法。

40

2026.10.10

C++类与对象的封装方法教程
C++类与对象的封装方法教程

C++封装是面向对象编程的核心特性之一,通过类将数据与操作数据的函数组织在一起,并利用访问权限控制外部访问。本专题介绍类的定义、成员变量、成员函数以及public、private和protected的使用方法,帮助初学者掌握封装的基本原理。

20

2026.10.10

C++构造函数定义与调用方法
C++构造函数定义与调用方法

C++构造函数用于初始化类对象,是面向对象编程的重要基础。本专题从构造函数的定义、声明和调用入手,介绍默认构造函数、带参数构造函数、拷贝构造函数及成员初始化列表,帮助初学者掌握对象创建与初始化的基本方法。

40

2026.10.10

Kratos框架零基础入门教程
Kratos框架零基础入门教程

本专题整理Kratos框架入门内容,涵盖Go环境准备、kratos CLI安装升级、new命令创建项目、目录结构分层说明、服务启动与双协议端口、依赖下载报错排查,帮助开发者快速跑通第一个Kratos框架微服务应用。

20

2026.10.10

C++条件判断语句怎么写
C++条件判断语句怎么写

C++条件判断是控制程序执行流程的重要基础。本专题介绍if、if-else、else if和switch等常见分支语句,结合条件表达式、比较运算符与代码示例,帮助初学者掌握不同场景下的判断逻辑。

20

2026.10.10

C++变量怎么声明和赋值
C++变量怎么声明和赋值

C++变量是编写程序和存储数据的基础。本专题围绕变量声明、定义、初始化、赋值和类型选择等内容展开,帮助初学者理解不同变量的用法,并掌握在实际代码中定义和使用变量的方法。

20

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn