纯靠标准B-Tree索引无法支撑毫秒级“任意位置”敏感词匹配,必须组合全文索引、函数索引或生成列反向索引;因B+树依赖值的完整有序性,LIKE '%关键词%'无法转化为范围扫描,EXPLAIN恒为type: ALL。

直接说结论:纯靠标准 B-Tree 索引无法支撑毫秒级“任意位置”敏感词匹配(如 LIKE '%违禁%' ),必须组合使用全文索引、函数索引或生成列反向索引,并严格规避隐式转换和全表扫描陷阱。
为什么LIKE '%关键词%'永远走不了普通索引
B+树索引依赖字段值的完整有序性,而 LIKE '%关键词%' 要求在任意位置匹配子串,MySQL 无法将该条件转化为索引范围扫描。即使你在 content 列建了 INDEX idx_content (content),EXPLAIN 仍会显示 type: ALL —— 这不是配置问题,是 B-Tree 结构的硬限制。
- 前缀匹配(
LIKE '违禁%')可走索引,但业务上几乎无用 - 后缀匹配(
LIKE '%违禁')需靠REVERSE()+ 前缀索引转化 - 中间匹配(
LIKE '%违禁%')唯一可靠方案是全文索引或外部搜索引擎
MySQL 8.0+ 函数索引解决后缀/中间模糊场景
如果你确定只查后缀(如域名白名单校验 email LIKE '%@example.com'),用函数索引最轻量:
ALTER TABLE logs ADD INDEX idx_email_reverse ((REVERSE(email)));
SELECT * FROM logs WHERE REVERSE(email) LIKE REVERSE('%@example.com');
注意三点:
安装、修复、更新或打包一个基于 Python 和 PyMySQL 实现的 Windows `mysql` 命令。适用于用户希望在 PowerShell/CMD 中输入 `mysql` 时重定向到 Python 实现、需要交互式输入 MySQL 连接信息、需要同步到当前用户本地 bin 目录,或需要将该能力封装成可公开复用的 Codex skill。
- 双括号
((REVERSE(email)))是 MySQL 8.0+ 函数索引语法必需写法,漏掉会报错 - 查询时必须显式写
REVERSE(),不能只写email LIKE '%@example.com'—— 否则索引不生效 - 该方案对
LIKE '%违禁%'无效,因为REVERSE('%违禁%')≠'%禁违%',无法转成前缀匹配
中文敏感词必须用 ngram 全文索引
InnoDB 默认全文索引对中文分词失效(按空格/标点切分),必须启用 ngram 解析器:
SET GLOBAL ngram_token_size = 2;
ALTER TABLE content ADD FULLTEXT INDEX ft_content (text) WITH PARSER ngram;
SELECT * FROM content WHERE MATCH(text) AGAINST('违禁' IN BOOLEAN MODE);
关键细节:
-
ngram_token_size=2表示按 2 字切词(“违禁”→“违禁”、“禁”),太小(如1)产生大量无意义单字词,太大(如4)漏匹配 -
AGAINST('违禁' IN BOOLEAN MODE)比自然语言模式更可控,支持+/-逻辑,但不自动排序 - 首次建全文索引后必须执行
OPTIMIZE TABLE content,否则搜索可能返回空结果
真正高频敏感词检测别硬扛在 MySQL 里
当单次请求要检测 10+ 敏感词,或要求亚毫秒响应(如实时聊天过滤),MySQL 全文索引也会成为瓶颈。此时应:
- 把敏感词集预加载进应用内存,用 Aho-Corasick 算法(如 Python 的
ahocorasick库)单次扫描完成全部匹配 - 用 Redis 的
FT.SEARCH(RediSearch 模块)替代 MySQL,它对中文支持更好且延迟稳定在 0.5ms 内 - 若必须落库,将检测结果(
is_sensitive: TINYINT)作为生成列持久化:ADD COLUMN is_sensitive TINYINT AS (CASE WHEN text REGEXP '违禁|非法|诈骗' THEN 1 ELSE 0 END) STORED,再对该列建索引——用空间换查询确定性
最容易被忽略的一点:所有方案都依赖 text 字段字符集为 utf8mb4 且校对规则为 utf8mb4_unicode_ci 或 utf8mb4_0900_as_cs;用 utf8 或 latin1 会导致中文分词完全失效,且不会报错。

















