ControlNet通过OpenPose等预处理器将姿态图转化为关节坐标信号，结合多模型协同与参数调优，实现AI生成中精准动作控制。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在Vidu平台中尝试生成特定动作的人物图像，但发现AI始终无法准确还原您设想的姿态，这通常是因为缺乏对骨骼结构与肢体角度的显式约束。ControlNet正是为解决此类问题而设计的结构引导工具，它能将一张姿势参考图转化为可计算的关节坐标信号，并注入扩散过程的每一阶段。以下是实现精准动作引导的具体路径：
一、启用OpenPose预处理器并加载姿态参考图
OpenPose是专用于人体关键点识别的预处理器，它能从输入图像中提取25个标准关节点（含面部、躯干、四肢）的空间坐标，生成标准化骨骼图，作为后续生成的刚性结构锚点。
1、在Vidu WebUI的ControlNet面板中，点击“启用”开关激活该模块。
2、点击“上传图像”按钮，导入一张清晰展示目标动作的人体照片或手绘草图，确保肢体无严重遮挡。
3、在“预处理器”下拉菜单中选择OpenPose，系统将自动调用注释器分析图像并生成骨骼热力图。
4、确认“模型”下拉框中已加载对应版本的control_v11p_sd15_openpose权重文件，若未出现请检查模型是否存放于models/controlnet/目录下。
5、勾选“像素匹配”选项，使生成图像分辨率严格对齐参考图尺寸，避免因缩放导致关节偏移。
二、切换至OpenPose_faceonly模式强化面部朝向一致性
当角色需保持固定表情与视线方向时，仅使用基础OpenPose可能导致面部关键点被弱化。OpenPose_faceonly模型专精于提取17个面部特征点（含瞳孔、嘴角、下颌角），可独立约束头颈姿态而不干扰身体动作。
1、在ControlNet面板中，将“预处理器”更改为OpenPose_faceonly。
2、重新上传同一张参考图，或直接复用上一步生成的骨骼图（跳过预处理）。
3、在“模型”选项中切换为control_v11p_sd15_openpose_faceonly，该模型不参与肢体建模，仅校准头部旋转轴与微表情角度。
4、将“控制权重”调至0.85–0.95区间，确保面部结构优先级高于身体其他部位。
三、组合使用OpenPose_full与Canny边缘图进行多维协同控制
单一姿态控制易受提示词中服饰、背景等语义干扰，引入Canny边缘图可锁定整体轮廓边界，防止肢体形变溢出结构框架，形成“内骨骼+外轮廓”的双重约束机制。
1、在ControlNet面板底部点击“添加额外ControlNet单元”，新增第二个控制模块。
Vidu视频生成插件（viduq3-pro、viduq3-turbo、viduq2、viduq1）。支持文字转视频、图片转视频、参考转视频以及起始编辑。
2、为第一个单元保留OpenPose_full预处理器及对应模型，用于驱动全身25点骨骼。
3、为第二个单元选择Canny预处理器，上传同一参考图或其线稿版本，模型选用control_v11p_sd15_canny。
4、将第一个单元的“控制权重”设为0.7，第二个单元设为0.4，避免边缘信号过度压制姿态信号。
5、启用“低显存模式”，防止双ControlNet同时运行引发显存超限报错。
四、使用预渲染骨骼图绕过实时预处理延迟
当批量生成同一动作的多组变体时，重复调用OpenPose预处理器会显著拖慢速度。预先将参考图转换为标准骨骼图（.png格式），可跳过动态分析环节，直接作为结构输入，提升响应效率。
1、在任意一次成功运行OpenPose后，点击ControlNet面板右下角的“保存预处理结果”按钮。
2、将生成的骨骼图文件重命名为pose_template.png，并存放至extensions/sd-webui-controlnet/annotator/downloads/目录。
3、下次使用时，在“预处理器”中选择none，直接上传该骨骼图，系统将跳过关键点检测步骤。
4、确保“模型”仍为OpenPose系列，否则骨骼图将被误判为普通灰度图而失效。
五、调整引导强度参数以平衡动作保真度与风格自由度
ControlNet的“控制权重”与“开始步数/结束步数”共同决定结构信号介入扩散过程的时间窗口和影响力大小。过高权重会导致图像僵硬失真，过低则无法抑制随机姿态漂移。
1、将“控制权重”初始值设为0.65，此值在多数动漫风格LoRA下可兼顾动作精度与笔触自然性。
2、设置“开始步数”为0，确保从去噪初始阶段即注入姿态约束。
3、将“结束步数”设为0.8，允许最后20%迭代专注于纹理细化与色彩渲染，避免骨骼信号干扰细节生成。
4、若生成结果出现关节扭曲，降低权重至0.5并同步将结束步数提前至0.6；若动作模糊，则提升权重至0.75并延后结束步数至0.9。
