Dify当前版本(v1.1.0+)不支持图形化自定义停用词,需通过修改embedding预处理代码、数据接入层清洗或企业版TEXT_CLEANING_HOOKS实现停用词过滤。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

你想让Dify知识库在检索前自动剔除“的”“了”“在”这类无意义虚词,避免它们干扰向量匹配精度、稀释关键词权重、拉低召回相关性——这不是靠调整分词器就能解决的问题,必须在文档预处理阶段植入可控的停用词过滤规则。
确认Dify是否支持自定义停用词机制
进入Dify管理后台 → 点击左侧「知识库」→ 选择目标知识库 → 点击右上角「设置」→ 切换至「高级配置」标签页。当前版本(v1.1.0+)未提供图形化停用词编辑入口,【所有停用词规则必须通过修改后端配置文件或注入预处理脚本实现】。界面中若看到“停用词”开关或输入框,说明你正使用非官方定制版,其行为不可控,不建议依赖。
方法一:修改Embedding模型预处理管道(推荐)
该方式作用于文本向量化前,影响所有新上传文档,对存量文档无效,需重新索引。
定位到Dify服务部署目录下的embedding预处理器文件,常见路径为:./api/core/model_runtime/text_embedding/bge.py 或 ./api/core/model_runtime/text_embedding/e5.py。
在文本清洗函数(如clean_text()或preprocess())内部插入停用词过滤逻辑:先加载停用词表,再执行字符串替换或分词后过滤。示例代码片段:
stopwords = set(["的", "了", "在", "是", "我", "有", "和", "就", "不", "人", "都", "一", "一个", "上", "也", "很", "到", "说", "要", "去", "你", "会", "着", "没有", "看", "好", "自己", "这"])
words = [w for w in jieba.lcut(text) if w not in stopwords]
return " ".join(words)
注意:若使用jieba分词,需确保容器内已安装pip install jieba;若用spaCy或其他分词器,停用词加载方式不同,务必匹配对应API。
方法二:在数据接入层注入过滤(适用于结构化数据源)
当你通过SQL或API批量导入文档时,在数据抵达Dify前完成清洗。
方法一:SQL查询中嵌入过滤逻辑(MySQL示例):
SELECT id, REPLACE(REPLACE(REPLACE(content, '的', ''), '了', ''), '在', '') AS cleaned_content FROM docs;
方法二:Python脚本调用Dify API前处理:
读取原始文档 → 调用本地停用词过滤函数 → 构造{'content': filtered_text, 'metadata': {...}} → POST到/api/v1/knowledge-bases/{kb_id}/documents。
该方式无需重启服务,但每条文档都需额外计算开销,高并发导入时可能触发请求超时。
方法三:利用Dify内置的“文本清洗规则”扩展点(仅限企业版)
企业版Dify提供TEXT_CLEANING_HOOKS环境变量支持注入自定义清洗函数。
第一步:编写清洗模块custom_stopword_filter.py,导出apply()函数;
第二步:将该文件挂载进web服务容器的/app/api/custom_hooks/目录;
第三步:在.env中添加:TEXT_CLEANING_HOOKS=custom_stopword_filter;
第四步:重启web服务:docker-compose restart web。
【重启后所有新上传文档将自动经过该过滤器,但不会重处理已有文档】。


















