必须选择Workflow并启用多模态输入,配置Image/File字段、关闭Document Extractor的“Extract text only”,绑定其输出至Qwen-VL的Image Embedding,用严格JSON Prompt提取结构化标签。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

要在Dify工作流中让AI真正“看懂”用户上传的图片,并从中精准提取出结构化标签(如物体名称、颜色、品牌、缺陷类型等),不能只靠上传图片就指望模型自动理解——必须显式配置多模态解析链路、关闭文本独占模式、并用正确变量名驱动Qwen-VL类模型消费原始像素特征。
确认工作流类型与多模态开关
进入Dify Studio → 点击Create from blank → 【必须选择Workflow】,不能选Chatflow;Chatflow会丢弃所有文件内容体,只保留文件名字符串,后续节点收不到任何图像数据。
创建工作流后,立即点击画布空白处 → 打开全局设置 → 在“Input Schema”中勾选【Enable multi-modal input】;这一步跳过会导致Image/File字段被当作普通字符串处理,payload里压根没有binary_data字段,整个多模态链路从源头失效。
配置图片输入字段(单图 or 多图)
方法一:单图理解任务(如识别一张电路板是否异常)
从左侧拖入User Input节点 → 点击配置 → 添加字段 → 字段类型选Image → 变量名设为(全小写+下划线,不可含空格或中文)→ 标签名写“上传待分析图片” → 支持格式勾选JPEG、PNG、WEBP。
方法二:多图联合分析(如对比前后工序图判断变化)
字段类型选File list → 变量名设为 → 允许上传类型选Both → 支持文件类型只勾选Image → 最多上传数量设为20(Dify硬性上限);注意:该字段输出为数组,后续需用{{#each $input.img_list}}遍历调用。
【关键提醒】变量名若写成ImgInput、img-input或带空格,下游LLM节点将无法通过{{$input.img_input}}引用,直接报undefined error,且错误不提示具体哪一行,排查极耗时。
接入Document Extractor并禁用文本独占模式
第一步:拖入Document Extractor节点 → 输入参数选择或
(根据上一步所配字段名严格一致)。
Qwen 视频智能分析基础客户端(免费版),基于 Qwen 3.5 Plus 多模态模型对本地视频进行内容分析,支持场景描述与基础内容理解,采用默认抽帧频率和提示词,适合快速概览视频,API Key 读取自 ~/.skill-platform/skill-platform.json 的 skills 配置。
第二步:在Document Extractor配置面板中,找到“Extract text only”选项 → 【必须关闭】;默认开启是陷阱,一旦启用,图片只会走OCR流水线,Qwen-VL等视觉模型收不到原始像素输入,无法做物体识别、缺陷定位、跨图比对等任务。
第三步:确认输出变量类型——单图输入时,Document Extractor输出为string(单张图的结构化描述);多图输入时输出为array[string],每项对应一张图的语义描述文本,可直接传给LLM做聚合分析。
配置Qwen-VL节点并编写标签提取Prompt
拖入LLM节点 → 模型选择Qwen-VL或Qwen3-VL(其他多模态模型需确认是否支持Dify当前版本)→ 在Prompt编辑区粘贴以下结构化指令:
你是一个工业质检AI,正在分析用户上传的图片。请严格按JSON格式输出,只包含以下字段:
{ "objects": ["string"], "colors": ["string"], "defect_types": ["string"], "brand": "string", "confidence_score": 0.0 }
不要添加任何解释、前缀、markdown代码块或额外字段。如果某类信息未出现,对应字段填空数组或空字符串。
在LLM节点输入参数中,将Image Embedding字段绑定为Document Extractor的输出(即{{$document_extractor.output}}),确保模型接收到的是已解析的多模态特征,而非原始base64或URL。
这一步操作起来很简单,直接把Document Extractor的输出箭头拖到LLM节点的Image Embedding框里就行。但若绑定错成{{$input.img_input}},模型会收不到图像特征,只拿到一个文件元信息对象,结果全是胡编的标签。

















