讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在Dify中结合Stable Diffusion进行AI生图工作流设计

陌瑶同学_8288

陌瑶同学_8288

发布时间:2026-06-08 09:53:03

|

716人浏览过

|

来源于php中文网

原创

要在Dify中让Stable Diffusion稳定出图,需构建完整链路:启用SD WebUI API、配置HTTP请求节点调用txt2img接口、接入LLM节点实现中文到专业Prompt转换、用Code节点容错处理JSON输出、最后发布并测试端到端流程。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如何在dify中结合stable diffusion进行ai生图工作流设计

要在Dify中让Stable Diffusion真正“听懂人话”并稳定出图,不能只把API丢进去就完事——必须设计一条从用户输入、语义优化、参数构造到图像返回的完整链路,中间任何一环断裂都会导致白屏、报错或生成无关图片。

确认Stable Diffusion API服务已就绪

打开浏览器访问你的Stable Diffusion WebUI地址(如 http://localhost:7860),点击右上角「Settings」→「API」→勾选「Enable API」并保存重启。这一步不做,后续所有节点调用都会返回 404 或 Connection refused。

在终端执行 curl -X POST "http://localhost:7860/sdapi/v1/txt2img" -H "Content-Type: application/json" -d '{"prompt":"a cat"}',若返回含 base64 字段的 JSON,则API可用;若提示 "Method Not Allowed",说明你没开启 txt2img 的 API 接口(需在 WebUI 启动参数中加 --enable-insecure-extension-access)。

【必须确保SD服务监听的是HTTP而非HTTPS,且未启用鉴权;Dify当前不支持带Basic Auth的API】

在Dify中创建新工作流并接入SD模型

登录Dify控制台 → 点击左侧「Workflows」→「+ Create Workflow」→ 选择「Empty Workflow」。

拖入一个「HTTP Request」节点,命名为「Call SD API」;在URL字段填入 http://localhost:7860/sdapi/v1/txt2img(若部署在远程服务器,请替换为对应IP+端口);请求方法选 POST;Headers 添加 Content-Type: application/json。

Body 使用 JSON 模板:{"prompt": "{{#sys.prompt#}}", "negative_prompt": "{{#sys.negative_prompt#}}", "steps": 20, "cfg_scale": 7, "width": 512, "height": 512, "sampler_name": "Euler a"}。其中 {{#sys.prompt#}} 是后续LLM节点将注入的优化后提示词,不可手写死值。

添加LLM节点实现中文→专业Prompt自动转换

在「Call SD API」节点上游,拖入一个「LLM」节点,选择你已配置好的大模型(如 Llama3-8B 或 GPT-4-turbo)。

设置系统提示词(System Prompt)为:

你是一个专为Stable Diffusion v1.5优化的提示词工程师。请严格按以下规则处理用户输入:① 将中文自然语言描述转为高质量英文Prompt,主体前置、细节后置;② 自动补全材质、光照、构图、画质关键词(如masterpiece, best quality, 8k, ultra-detailed);③ 生成配套负面提示词,排除模糊、畸变、多余肢体等常见缺陷;④ 输出格式必须为纯JSON,字段为"prompt"和"negative_prompt",不加任何解释文字。

Dify Workflow DSL Expert
Dify Workflow DSL Expert

用于创建、编辑、调试或验证自托管 Dify 的工作流 DSL。首先从目标实例导出的工作流入手,进行最小化编辑。

下载

用户输入(User Prompt)设为:{{#context.input#}} —— 这个变量会自动接收用户在前端表单中填写的原始描述,比如“一只穿宇航服的柴犬在火星上看地球升起”。

配置变量映射与错误兜底机制

方法一:直接连接变量

将LLM节点的输出字段 prompt 和 negative_prompt,分别映射到HTTP节点中的 {{#sys.prompt#}} 和 {{#sys.negative_prompt#}}。Dify会自动提取JSON响应中的对应键值。

方法二:使用「Code」节点做容错清洗(推荐)

在LLM与HTTP节点之间插入一个「Code」节点,语言选 Python,代码如下:

import json
try:
  data = json.loads($input)
  prompt = data.get("prompt", "a cat")
  negative = data.get("negative_prompt", "low quality, blurry")
  return {"prompt": prompt, "negative_prompt": negative}
except:
  return {"prompt": "a cat", "negative_prompt": "low quality, blurry"}

这一步能防止LLM偶尔输出非JSON格式导致整个工作流中断;【若跳过此步,LLM偶发输出乱码将直接使SD调用失败且无日志提示】

发布工作流并测试端到端效果

点击右上角「Publish」→ 勾选「Enable this workflow」→ 设置触发方式为「Chat」或「API」→ 保存。

进入「Try it out」面板,在输入框中键入:“水墨风格的熊猫在竹林里打太极”,点击发送。

观察日志流:先显示LLM输出结构化JSON,再显示HTTP节点返回base64图像数据,最后前端渲染出图——全部绿色状态条即表示链路贯通。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
Dify 本地部署与企业配置
Dify 本地部署与企业配置

本专题系统讲解 Dify 从零开始的本地部署方法与企业环境配置实践,涵盖 Docker 安装、依赖准备、数据库初始化、反向代理、参数调优、安全加固与多用户开通,帮助开发者与企业团队快速搭建稳定可用的 Dify 平台。

537

2026.06.05

Dify Agent智能体开发实战教程
Dify Agent智能体开发实战教程

本专题聚焦 Dify Agent 智能体的设计与开发,涵盖 Agent 模式选择、工具集成、提示词设计、多步推理、上下文记忆与多 Agent 协作,帮助开发者构建可执行复杂业务任务的智能体应用。

225

2026.06.05

Dify RAG知识库构建实战教程
Dify RAG知识库构建实战教程

本专题围绕 Dify RAG 知识库的全流程实践展开,从文档导入、分段切片、向量化到混合检索、重排优化与召回评估,帮助你打造高准确率、低幻觉的企业知识问答应用。

216

2026.06.05

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

80

2026.09.30

LLVM RISC-V参数配置教程
LLVM RISC-V参数配置教程

本专题介绍LLVM对RISC-V基础ISA和扩展的支持方式,涵盖RV32、RV64、标准扩展、实验性扩展、厂商扩展、-menable-experimental-extensions和版本差异。

80

2026.09.30

LLVM IR中间表示入门指南
LLVM IR中间表示入门指南

本专题整理LLVM IR的核心概念,包括中间表示作用、模块结构、函数、基本块、SSA形式、类型系统和常见语法,帮助新手理解LLVM编译流程中的关键层。

40

2026.09.30

PDF转图片方法
PDF转图片方法

需要把 PDF 页面用于上传、预览、分享或图片归档时,PDF 转图片方法专题整理 JPG/PNG 格式选择、逐页导出、清晰度设置、批量下载和结果检查等流程,帮助用户稳定完成 PDF 图片化处理。

40

2026.09.30

PixTV AI视频生成与无限画布创作
PixTV AI视频生成与无限画布创作

PixTV专题整理AI视频与视觉内容创作相关功能使用教程,涵盖AI生图、视频生成、无限画布、多模型创作、素材管理、声音音乐及视频剪辑等功能,帮助用户快速掌握PixTV从创意到成片的完整制作方法。

60

2026.09.29

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

280

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Dify零基础教程
Dify零基础教程

共0课时 | 145人学习

学习Agent,从Dify开始
学习Agent,从Dify开始

共0课时 | 139人学习

Dify 部署与运维指南
Dify 部署与运维指南

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn