如何在一千万条数据量中快速实现 mysql 模糊搜索

问题描述：

需要在包含一千万条数据的 mysql 数据库中进行模糊查询，但由于索引限制，查询十分缓慢，耗时约 10 秒。目前已尝试了多种方法，但效果不理想。

解决方案：

虽然模糊搜索通常无法走索引，但我们可以创建一种定制索引，以帮助加速搜索过程。

定制索引：

创建一个名为 "索引表" 的表，其中存储以下信息：

MySQL

编写正确的MySQL查询，避免字符集、索引和锁方面的常见陷阱。

下载

• 当前词
• 下一词
• 原始记录的主键 id

例如，对于关键词 "模糊搜索"，索引表如下：

| 当前词 | 下一词 | 原始记录主键 id |
|---|---|---|
| 模糊 | 一 | 1 |
| 一 | 千 | 1 |
| 千 | 万 | 1 |
| 万 | 的 | 1 |
| ... | ... | ... |
| 模糊 | 搜 | 1 |
| 搜 | 索 | 1 |
| 索 | null | 1 |

搜索算法：

根据我们创建的定制索引，我们可以实现以下搜索算法：

1. 将查询关键词拆分为空格分隔的术语。
2. 对于每个术语，查找索引表中当前词与该术语相匹配的记录。
3. 将这些记录的原始记录主键 id 存储到一个数组中。
4. 重复步骤 2 和 3，直到查询中所有术语都被处理。
5. 查找数组中所有原始记录主键 id 的交集。这些就是包含所有查询术语的记录。

示例查询：

要搜索 "模糊搜索"，我们可以运行以下查询：

SELECT 原记录主键ID
FROM (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '模糊' AND 下一词 = '一')
JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '一' AND 下一词 = '千') USING(原记录主键ID)
JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '千' AND 下一词 = '万') USING(原记录主键ID)
JOIN (SELECT 原记录主键ID FROM 索引表 WHERE 当前词 = '万' AND 下一词 IS NULL) USING(原记录主键ID)

性能优化：

• 确保索引表中主键列经过索引优化。
• 通过使用 join 而不是嵌套查询，可以提高查询性能。
• 根据查询频率和数据量调整索引表。
• 通过使用诸如 "预先搜索" 之类的技术，进一步提高搜索速度。

其他注意事项：

• 这个解决方案需要对原始数据进行预处理，以生成定制索引。
• 该索引可能需要定期更新，以反映数据中的更改。
• 此方法可能不适用于具有大量冗余数据的数据库。