讲师中心 微信公众号

工具推荐

视频效率加速
SoundView
SoundView

字幕擦除翻译、配音口型同步

Seko
Seko

AI短剧一键生成成片

Laper
Laper

剧本策划到成片协作

updream

一键生成高质量推广成片

Dify知识库自定义停用词过滤规则设计与实现

星婷酱_9174

星婷酱_9174

发布时间:2026-11-20 09:27:17

|

461人浏览过

|

来源于php中文网

原创

Dify当前版本(v1.1.0+)不支持图形化自定义停用词,需通过修改embedding预处理代码、数据接入层清洗或企业版TEXT_CLEANING_HOOKS实现停用词过滤。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

dify知识库自定义停用词过滤规则设计与实现

你想让Dify知识库在检索前自动剔除“的”“了”“在”这类无意义虚词,避免它们干扰向量匹配精度、稀释关键词权重、拉低召回相关性——这不是靠调整分词器就能解决的问题,必须在文档预处理阶段植入可控的停用词过滤规则。

确认Dify是否支持自定义停用词机制

进入Dify管理后台 → 点击左侧「知识库」→ 选择目标知识库 → 点击右上角「设置」→ 切换至「高级配置」标签页。当前版本(v1.1.0+)未提供图形化停用词编辑入口,【所有停用词规则必须通过修改后端配置文件或注入预处理脚本实现】。界面中若看到“停用词”开关或输入框,说明你正使用非官方定制版,其行为不可控,不建议依赖。

方法一:修改Embedding模型预处理管道(推荐)

该方式作用于文本向量化前,影响所有新上传文档,对存量文档无效,需重新索引。

定位到Dify服务部署目录下的embedding预处理器文件,常见路径为:./api/core/model_runtime/text_embedding/bge.py 或 ./api/core/model_runtime/text_embedding/e5.py。

在文本清洗函数(如clean_text()或preprocess())内部插入停用词过滤逻辑:先加载停用词表,再执行字符串替换或分词后过滤。示例代码片段:

stopwords = set(["的", "了", "在", "是", "我", "有", "和", "就", "不", "人", "都", "一", "一个", "上", "也", "很", "到", "说", "要", "去", "你", "会", "着", "没有", "看", "好", "自己", "这"])

words = [w for w in jieba.lcut(text) if w not in stopwords]

return " ".join(words)

注意:若使用jieba分词,需确保容器内已安装pip install jieba;若用spaCy或其他分词器,停用词加载方式不同,务必匹配对应API。

方法二:在数据接入层注入过滤(适用于结构化数据源)

当你通过SQL或API批量导入文档时,在数据抵达Dify前完成清洗。

方法一:SQL查询中嵌入过滤逻辑(MySQL示例):

Dify
Dify

Dify AI应用开发平台指南。用于构建LLM应用、工作流、Agent和知识库。当用户需要(1)使用Dify创建AI应用 (2)设计LLM工作流 (3)配置知识库RAG (4)开发AI Agent (5)调用Dify API (6)自托管部署Dify时激活此技能。

下载

SELECT id, REPLACE(REPLACE(REPLACE(content, '的', ''), '了', ''), '在', '') AS cleaned_content FROM docs;

方法二:Python脚本调用Dify API前处理:

读取原始文档 → 调用本地停用词过滤函数 → 构造{'content': filtered_text, 'metadata': {...}} → POST到/api/v1/knowledge-bases/{kb_id}/documents。

该方式无需重启服务,但每条文档都需额外计算开销,高并发导入时可能触发请求超时。

方法三:利用Dify内置的“文本清洗规则”扩展点(仅限企业版)

企业版Dify提供TEXT_CLEANING_HOOKS环境变量支持注入自定义清洗函数。

第一步:编写清洗模块custom_stopword_filter.py,导出apply()函数;

第二步:将该文件挂载进web服务容器的/app/api/custom_hooks/目录;

第三步:在.env中添加:TEXT_CLEANING_HOOKS=custom_stopword_filter;

第四步:重启web服务:docker-compose restart web。

【重启后所有新上传文档将自动经过该过滤器,但不会重处理已有文档】。

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
WorkBuddy核心功能与实操模式
WorkBuddy核心功能与实操模式

深入探索WorkBuddy的强大功能。本专题包含智能问答、文档处理、会议纪要生成、日程管理、任务协作等核心模块的操作指南与最佳实践。通过图文并茂的教程,助您快速上手,最大化发挥WorkBuddy的办公效能。

702

2026.04.09

Dify 本地部署与企业配置
Dify 本地部署与企业配置

本专题系统讲解 Dify 从零开始的本地部署方法与企业环境配置实践,涵盖 Docker 安装、依赖准备、数据库初始化、反向代理、参数调优、安全加固与多用户开通,帮助开发者与企业团队快速搭建稳定可用的 Dify 平台。

1117

2026.06.05

Dify Agent智能体开发实战教程
Dify Agent智能体开发实战教程

本专题聚焦 Dify Agent 智能体的设计与开发,涵盖 Agent 模式选择、工具集成、提示词设计、多步推理、上下文记忆与多 Agent 协作,帮助开发者构建可执行复杂业务任务的智能体应用。

285

2026.06.05

Dify RAG知识库构建实战教程
Dify RAG知识库构建实战教程

本专题围绕 Dify RAG 知识库的全流程实践展开,从文档导入、分段切片、向量化到混合检索、重排优化与召回评估,帮助你打造高准确率、低幻觉的企业知识问答应用。

276

2026.06.05

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

20

2026.11.17

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

60

2026.11.17

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

60

2026.11.17

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

20

2026.11.17

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

60

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Dify零基础教程
Dify零基础教程

共0课时 | 165人学习

学习Agent,从Dify开始
学习Agent,从Dify开始

共0课时 | 165人学习

Dify 部署与运维指南
Dify 部署与运维指南

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn