讲师中心 微信公众号
AI工具推荐 视频效率加速

如何实现ThinkPHP的敏感词过滤系统_DFA算法字典树在评论模块中的应用

老宇君_2047

老宇君_2047

发布时间:2026-04-09 08:43:04

|

176人浏览过

|

来源于php中文网

原创

DFA比正则更适合敏感词过滤,因其建树一次、匹配O(n),词库增大不降速;而正则性能断崖下降,strpos循环或str_replace易误伤漏判。

如何实现thinkphp的敏感词过滤系统_dfa算法字典树在评论模块中的应用

为什么 DFA 比正则匹配更适合评论敏感词过滤

因为正则在词库变大后性能断崖式下降,而 DFA 是一次性建树、多次 O(n) 匹配(n 是文本长度),对高频短文本(如评论)更稳。尤其当你的敏感词库超过 500 条,preg_match_all 可能卡住请求,而 DFA 查找不随词量线性增长。

常见错误现象:strpos 循环遍历词库 → 每条评论都要扫几百次字符串;或用 str_replace 全局替换 → 误伤“和谐”里的“和”,漏掉“河蟹”这种变形词。

  • DFA 要求所有敏感词预加载进内存,适合词库稳定、更新不频繁的场景(如后台审核通过后才生效)
  • ThinkPHP 默认不带 DFA 实现,别指望 validate 规则或中间件里塞个 in_array 就能扛住并发评论
  • 中文需按 UTF-8 字节切分,不能直接用 str_split,否则一个汉字被拆成 3 个乱码节点

怎么在 ThinkPHP 中手写轻量 DFA 树结构

不用引入第三方包,核心就两个类:一个构建树(DfaTreeBuilder),一个执行匹配(DfaFilter)。关键不是代码多,而是节点存储方式 —— 必须用索引数组而非对象,否则 PHP-FPM 下每次请求重建对象开销太大。

实操建议:

立即学习“PHP免费学习笔记(深入)”;

  • 把敏感词列表存在数据库表 sensitive_words,字段 word 和 status(启用/禁用),启动时用 Db::table('sensitive_words')->where('status', 1)->column('word') 加载
  • 构建树时,每个节点用 ['is_end' => true, 'next' => []] 表示,next 的 key 是 UTF-8 单字符(用 mb_substr($char, 0, 1, 'utf-8') 安全截取)
  • 避免递归建树,改用循环,防止超长词触发 max_execution_time 或栈溢出
  • 缓存树结构到 runtime/cache/dfa_tree.php,用 var_export 写入,下次直接 require,比 JSON 解析快 3 倍

如何在评论提交时调用 DFA 并处理命中结果

别在控制器里临时 new 一遍树,也别把树塞进 Session —— 它是只读静态结构,应该作为单例由容器管理。ThinkPHP 6+ 推荐绑定到 app/provider.php:

return [
    \app\common\service\DfaFilter::class => \think\Container::getInstance()->get(\app\common\service\DfaFilter::class),
];

使用场景中容易踩的坑:

  • DfaFilter::check($content) 返回命中的词列表,但默认不返回位置 —— 如果要高亮或截断,得改写匹配逻辑,记录起始 offset
  • 遇到“未成年”和“未成年上网”,后者会先命中前者,导致后半截“上网”被忽略 → 必须开启最长匹配模式(遍历时持续更新 $matched,不一匹配就跳出)
  • 用户输入“ni ma”带零宽空格,DFA 默认过不了 → 预处理阶段要加 preg_replace('/\s+/u', '', $text) 清除不可见空白符
  • ThinkPHP 的 input('post.content') 可能已做过 trim 或 htmlspecialchars,注意过滤顺序:先还原 HTML 实体(htmlspecialchars_decode),再走 DFA,最后入库前再转义

为什么缓存失效和热更新会让 DFA 失效

树一旦生成就固定,数据库新增词不会自动进树。很多人以为改了数据库就能立刻生效,结果测试时一直不拦截新词。

解决方案只有两个方向:

  • 运维侧:加个后台按钮,点击后执行命令 php think dfa:build,重新 dump 树文件并 touch 更新时间戳;Nginx 配置监听该文件 mtime,变化后 reload worker
  • 开发侧:在 DfaFilter 构造函数里加检查,如果 filemtime(cache_path) ,就强制重建(仅限低频站点,慎用)
  • 绝对不要用 opcache_invalidate 强刷缓存文件 —— 它在 CLI 模式下无效,且可能引发并发重建冲突

最常被忽略的一点:DFA 对大小写、全半角、简繁体完全敏感。要支持“微软”和“微軟”,得在入库时统一转简体+小写,而不是靠树来兼容 —— 树只做精确匹配,语义归一化必须前置。

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

423

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4067

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

6925

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

601

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1516

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3998

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

122

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

557

2026.01.13

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn