讲师中心 微信公众号
AI工具推荐 视频效率加速

SQL如何在海量数据中快速进行模糊查询_Elasticsearch同步与全文索引

浅芳吖_7782

浅芳吖_7782

发布时间:2026-03-15 19:29:03

|

173人浏览过

|

来源于php中文网

原创

MySQL原生LIKE '%关键词%'在千万级表中不可用,因B+树索引失效需全表扫描;中文任意位置模糊搜索应换用Elasticsearch,并配ik分词器、binlog实时同步及match_phrase等合理DSL。

sql如何在海量数据中快速进行模糊查询_elasticsearch同步与全文索引

MySQL LIKE 在千万级表里慢得像卡住,别硬扛

直接说结论:原生 LIKE '%关键词%' 在大表上基本不可用,B+ 树索引完全失效,只能全表扫描。哪怕加了 name 字段的普通索引,只要左边带通配符,就等于没建。

常见错误现象:EXPLAIN 显示 type=ALL、rows 接近总行数、查询耗时从毫秒跳到秒级甚至分钟级。

  • 真正能走索引的只有 LIKE '前缀%'(例如 LIKE '张%'),这时可用 B+ 树快速定位
  • LIKE '%张%' 或 LIKE '%张' 都无法利用常规索引,MySQL 5.7+ 的全文索引(FULLTEXT)只支持英文分词,中文效果极差
  • 如果业务真要“任意位置匹配中文”,MySQL 不是合适工具——这不是调优问题,是能力边界问题

Elasticsearch 同步数据不是“导一次就完事”

把 MySQL 表 dump 进 ES 只是起点,后续增删改不实时同步,查出来的就是过期数据。最常踩的坑是:用脚本定时全量 reindex,结果中间十分钟查不到新订单、改价也不生效。

使用场景决定同步方案:

  • 变更频率低(如商品类目)、容忍分钟级延迟 → 用 Logstash + JDBC Input,配合 schedule 定时拉取 updated_at > :sql_last_value
  • 要求秒级一致(如用户搜索订单)→ 必须捕获 MySQL binlog,推荐 canal 或 debezium,解析后发到 Kafka,再由消费者写入 ES
  • 千万别用应用层双写(代码里同时更新 MySQL 和 ES):失败回滚难、时序难保证、事务不一致风险高

ES 全文索引字段必须显式定义 analyzer

直接 PUT /my_index 然后塞中文进去,搜“笔记本”可能查不到“笔记本电脑”,因为默认 standard 分词器把中文按字切(“笔”、“记”、“本”),而不是按词(“笔记本”、“笔记本电脑”)。

实操建议:

  • 中文字段必须指定 ik_max_word 或 jieba 等中文分词器,例如 mapping 中写:"title": { "type": "text", "analyzer": "ik_max_word" }
  • 如果既要精确匹配又要模糊搜索,同一个字段可设多字段:"title.keyword" 用于 term 查询,"title" 用于 match 查询
  • 注意 analyzer 只在索引时生效;搜索时若未指定 search_analyzer,会默认复用 analyzer,导致搜“python教程”被拆成“python”“教程”,漏掉“Python 教程”这种大小写混合写法

模糊查询别乱用 wildcard 和 regexp

wildcard 查询(如 {"wildcard": {"title": "*笔记本*"}})看着像 SQL 的 LIKE,但底层是遍历所有倒排索引项,数据量大时比 match_phrase 慢一个数量级,还容易触发 circuit_breaking_exception。

更安全的替代方案:

  • 前缀搜索用 prefix 查询(如 {"prefix": {"title": "笔记本"}}),只查以该字符串开头的文档,性能接近 term 查询
  • 想支持错别字或拼音简写,用 fuzzy 查询({"fuzzy": {"title": "笔计本"}}),但 fuzziness 别设太高,否则爆炸式膨胀候选词
  • 实在要跨词匹配,优先用 match_phrase + slop(允许中间隔几个词),比 regexp 稳定得多;regexp 在大数据集上可能 OOM

复杂点在于:分词器选择、同步链路健壮性、查询 DSL 写法三者必须咬合。少一个环节,搜索就变成玄学——不是 ES 慢,是它根本没拿到该有的数据,或者拿到了却不会切词。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
Elasticsearch 从入门到搜索引擎实战
Elasticsearch 从入门到搜索引擎实战

本专题带你从零掌握 Elasticsearch 分布式搜索引擎。深入解析倒排索引核心原理,涵盖单机与 Docker 环境搭建、IK 中文分词器配置及索引文档的 CRUD 操作。通过丰富的 Query DSL 实战案例,详解布尔查询、聚合分析与高亮显示,助你快速构建毫秒级响应的企业级高性能搜索服务。

39

2026.05.12

Elasticsearch 高级查询与性能优化
Elasticsearch 高级查询与性能优化

本专题深入解析 Elasticsearch 高级查询与性能优化实战。详解 Bool 复合查询、复杂过滤及聚合分析技巧,解决多条件精准检索难题。从索引设计、JVM 调优到硬件规划,全方位分享 Filter 缓存、深分页优化及集群架构调优策略,助你突破性能瓶颈,打造毫秒级响应的高并发企业级搜索服务。

64

2026.05.12

Elasticsearch 企业级开发与运维实践专题
Elasticsearch 企业级开发与运维实践专题

本专题聚焦 Elasticsearch 企业级开发与运维实战。深入解析生产环境集群架构规划、节点角色分离及冷热数据分层策略。涵盖索引生命周期管理(ILM)、安全权限控制、快照备份及全链路监控告警体系搭建。通过分享高可用部署与故障排查经验,助你构建安全、稳定且可扩展的企业级分布式搜索平台。

81

2026.05.12

Playwright 测试失败怎么办
Playwright 测试失败怎么办

Playwright测试失败专题汇集超时、定位器匹配、浏览器提前关闭、依赖与插件配置、文件上传、SSL及Docker启动等故障文章,并介绍通过截图、报告和Trace定位错误。

0

2026.10.21

Playwright 页面操作指南
Playwright 页面操作指南

Playwright页面操作专题汇集元素定位、点击与输入、等待响应、多页面切换、Iframe、事件监听及文件处理的已审核文章,便于按操作场景查阅示例与常见问题。

0

2026.10.21

Playwright 入门教程
Playwright 入门教程

Playwright入门专题汇集测试框架安装、VS Code配置、录制脚本、编写首个用例、运行调试及查看报告的已审核文章,帮助初学者搭建端到端测试流程。

0

2026.10.21

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

120

2026.10.16

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

80

2026.10.16

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

40

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn