需在Dify≥1.7.0版本中配置Whisper-large-v3作为ASR引擎,通过Hugging Face或本地ONNX方式添加模型,设置Audio-to-Text节点并启用word_timestamps等参数,支持16kHz单声道音频输入,输出带时间戳的结构化文本。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

你需要在Dify平台中快速接入Whisper模型,让会议录音、访谈音频或视频配音自动转成带时间戳的结构化文本,避免手动听写耗时费力、云端API调用延迟高且费用不可控。
确认Dify版本与环境准备
进入Dify控制台右上角「关于」页面,核对当前版本号≥1.7.0——低于该版本不支持原生Audio-to-Text插件,无法启用Whisper相关配置。
确保已开通ASR模块权限:在「团队设置→角色管理」中检查当前账号是否被赋予asr:use和model:deploy权限。缺少任一权限将导致模型列表为空。
本地部署Whisper-large-v3需至少8GB显存GPU(如RTX 3090或A10),若使用CPU推理,必须在模型配置中显式指定device=cpu并接受识别速度下降至实时率0.3x以下。
添加Whisper模型为自定义ASR引擎
方法一:直接挂载Hugging Face公开模型
进入「设置→模型供应商→添加模型」,填写以下字段:
- 模型名称:whisper-large-v3-zh
- 模型类型:asr
- 提供商:huggingface
- 模型路径:openai/whisper-large-v3
- 运行时:python3.10
- 框架:transformers
点击保存后,Dify会自动拉取模型权重并完成环境初始化。首次加载约需4–6分钟,期间不可中断服务进程。
方法二:使用本地量化模型加速推理
将已量化的whisper-large-v3-int8.onnx文件上传至服务器/opt/dify/models/whisper/目录;在「添加模型」表单中选择「本地路径」模式,填入完整路径,并勾选「启用ONNX Runtime加速」。
【注意】ONNX模型必须与Dify当前Python环境中的onnxruntime版本严格匹配(推荐v1.18.0),否则启动失败且无明确报错提示。
配置语音转文字工作流
第一步:新建应用时选择「语音处理」模板,或在已有应用中进入「编排→节点管理」→点击「+ 添加节点」→选择「Audio-to-Text」。
第二步:在节点配置面板中,将「ASR引擎」下拉菜单切换为你刚添加的whisper-large-v3-zh模型。
第三步:展开「高级参数」,按需启用以下选项:
-
enable_punctuation:开启后自动恢复句末标点,对中文长句识别准确率提升12%; -
language:强制指定语言代码(如zh-CN),避免多语混说时误判; -
temperature:设为0.5可降低重复输出概率,但过低(<0.3)会导致漏字; -
word_timestamps:勾选后输出每个词的时间范围,用于生成SRT字幕文件。
第四步:连接输入源——支持三种方式:拖拽上传MP3/WAV/M4A文件、填写公网可访问的audio_url、或通过SDK传入base64编码音频流。
测试与验证输出格式
在「调试与预览」页点击「管理→语音转文字」,上传一段含清晰人声的30秒中文录音(建议避开背景音乐和多人重叠说话)。
等待状态变为「已完成」后,点击结果右侧「查看原始响应」,确认返回JSON中包含segments数组,每个元素含start、end、text、speaker字段。
若segments为空或text字段为乱码,立即检查音频采样率是否为16kHz、是否为单声道——Dify Whisper适配器默认拒绝44.1kHz立体声WAV输入,会静默跳过处理。
导出TXT时文本自动合并段落;导出SRT则按时间戳切分,可直接导入剪映或Premiere生成字幕轨。


















