讲师中心 微信公众号
AI工具推荐 视频效率加速

Laravel ES聚合查询耗时过长拆分计算逻辑

星墨小哥_1632

星墨小哥_1632

发布时间:2026-08-17 13:26:07

|

867人浏览过

|

来源于php中文网

原创

聚合结果太大导致超时,应改用多次轻量查询替代重型聚合:先用terms取top N bucket key(如size:100),再对每个key单独发term filter+子聚合请求,客户端汇总;禁用track_total_hits和启用terminate_after,并确保聚合字段为keyword类型。

laravel es聚合查询耗时过长拆分计算逻辑

聚合结果太大导致超时,怎么拆分

直接对百万级文档做 terms + sum 嵌套聚合,ES 协调节点要合并所有 shard 的中间结果,内存和网络开销爆炸,常见表现是请求卡住、返回 search_phase_execution_exception 或超时(timeout 错误)。拆分不是“把一个聚合切成两段”,而是换思路:用多次轻量查询替代一次重型聚合。

  • 先用 terms 聚合取 top N 的 bucket key(比如前 100 个 category_id),带上 size 参数控制返回数量
  • 再对每个 key 单独发请求,用 term filter + 其他子聚合(如 avg、stats)精确计算
  • 客户端做最终汇总,避免 ES 合并压力。注意加 track_total_hits: false 和 terminate_after 防止扫描全量

为什么不能用 chunkById 做 ES 聚合分页

chunkById 是 Laravel 对 MySQL 的分页封装,底层靠 id > ? ORDER BY id LIMIT N 实现。ES 没有自增主键语义,_id 是字符串且无序,强行模拟会导致漏数据或重复;更关键的是,聚合本身不产生“行式结果集”,它输出的是结构化桶(bucket),不存在可线性切分的 ID 序列。

  • ES 的聚合结果是树状结构,不是平面列表,from/size 只对 hits 有效,对 aggs 无效
  • 想“分页看聚合结果”,唯一合法方式是用 composite 聚合——它支持 after 参数续查,但只支持 terms、date_histogram 等有限类型
  • 若必须分批,优先选 composite + sources 定义排序字段(如 {"category_id": {"order": "asc"}}),别碰 terms 的 collect_mode 魔改

聚合字段类型写错,性能会差十倍

对 text 字段做 terms 聚合,ES 必须反向还原分词器输出的所有 term,再归并去重,CPU 占用飙升。实际项目里,90% 的慢聚合都源于 mapping 设计失误。

Laravel Creem Agent
Laravel Creem Agent

Creem 支付商店助理 — 查询订阅、客户、交易、产品,执行心跳检查,管理本地 Laravel支付商店。

下载
  • 检查字段类型:GET /your_index/_mapping,确认聚合字段是 "type": "keyword",不是 "text"
  • 如果已有数据是 text,别改 mapping —— ES 不允许修改已存在字段类型。重建索引时显式定义 fields: { raw: { type: "keyword" } },然后聚合走 field.keyword 或 field.raw
  • 电商类目路径(如 "1-2-5-")这类字段,用 prefix 查询没问题,但聚合必须用 keyword 类型 + terms,不能用 match_phrase_prefix

协调节点瓶颈在哪儿,怎么压

聚合慢常被误认为是数据节点 CPU 高,其实瓶颈往往在协调节点:它要接收所有 shard 的中间结果(可能几百 MB)、解析 JSON、合并桶、排序、截断,最后序列化返回。单次聚合返回 10000 个 bucket 就足以让协调节点 OOM。

  • 强制限制 size:哪怕业务需要 Top 1000,也设成 size: 1000,别留默认值(默认是 10)
  • 关掉不必要的统计:去掉 extended_stats 改用 stats,禁用 show_term_doc_count_error
  • 用 filter 替代 must 做前置筛选,让参与聚合的数据量从 100 万降到 1 万,效果比调优 DSL 强十倍

真正难的不是写对 DSL,而是判断哪些聚合该放 ES 做、哪些该挪到应用层——比如按用户维度的销售统计,不如在写入时用 pipeline 计算好存进 user_summary 索引,查的时候直接 term 拿。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

10104

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

5981

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2075

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

3748

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

4454

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

3491

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

4977

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

3902

2023.11.13

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

100

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
如何安装 Composer
如何安装 Composer

共1课时 | 200人学习

Composer手册
Composer手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn