讲师中心 微信公众号
AI工具推荐 视频效率加速

Laravel ES聚合结果分页查询拆分大量统计数据

陌芳吖_8044

陌芳吖_8044

发布时间:2026-08-16 16:40:38

|

460人浏览过

|

来源于php中文网

原创

Elasticsearch 聚合不支持 from/size 分页,因 terms 等聚合仅截断返回前 N 个桶;composite 聚合通过 after 游标实现真分页,需指定 sources 和排序,Laravel 中需正确传递 after_key 并避免拼写错误。

laravel es聚合结果分页查询拆分大量统计数据

为什么 Laravel + ES 聚合结果不能直接分页?

因为 Elasticsearch 的 terms、composite 等聚合本身不支持 from/size 分页,返回的桶(bucket)是“全量聚合后截断”的结果——你只能控制最多返回多少个桶(通过 size 参数),但没法跳过前 N 个桶再取下一页。比如设 "size": 100,ES 就返回评分最高或词频最高的前 100 个 packageId 桶;设 "size": 200,它返回前 200 个,但你无法拿到第 101–200 个“作为第二页”。这不是 Laravel 的限制,而是 ES 聚合设计使然。

用 composite aggregation 实现真正的聚合分页

composite 是唯一原生支持聚合分页的聚合类型,它基于“游标”(after)而非偏移量,适合处理海量去重键值(如课程包 ID、用户 ID、订单状态等)。它要求你显式指定排序字段,并在首次响应中提取 after_key 用于下一页请求。

laravel-specialist
laravel-specialist

精通 Laravel 10+,遵循现代 PHP 实践的 Laravel 专家。擅长优雅语法、Eloquent ORM、队列系统及企业级特性...

下载
  • 首次查询必须带 sources 和 size,例如按 packageId 字段升序分页:
    {"aggs":{"packages":{"composite":{"sources":[{"packageId":{"terms":{"field":"packageId.keyword"}}}],"size":50}}}}
  • 响应体里会返回 "after_key":{"packageId":"pkg_12345"},下一页请求必须带上:
    {"aggs":{"packages":{"composite":{"sources":[{"packageId":{"terms":{"field":"packageId.keyword"}}}],"size":50,"after":{"packageId":"pkg_12345"}}}}}
  • Laravel 中调用时,别把 after 拼错成 search_after(那是普通查询用的);也别漏掉 sources 数组结构,否则报 parse_exception
  • composite 不支持 sort: "desc" 单字段倒序分页——必须用正向排序 + 反向读取逻辑,或组合多字段(如 [{"packageId":{"terms":{...}}},{"timestamp":{"date_histogram":{...}}}])来构造唯一排序上下文

聚合后查详情:Laravel 侧分两步走

当业务需要“展示课程包列表 + 每个包下最新视频标题”这类需求时,不要试图在聚合里嵌套 top_hits 并分页——top_hits 的 size 是每个桶内部的条数,不是全局分页。正确做法是:

  • 第一步:用 composite 或 terms(加足够大的 size)拿到当前页的 packageId 列表(比如 20 个 ID)
  • 第二步:用 Laravel 的 whereIn('package_id', [...]) 去 MySQL 或主库批量查出这些课程包的完整信息(含封面、名称、创建时间等)
  • 第三步:对每个 packageId 单独发一条 ES 查询(带 size: 1 和 sort: [{"upload_time":"desc"}]),获取其最新一个视频的标题/ID —— 这比在聚合里做 top_hits 更可控、更易 debug
  • 避免在 ES 聚合里做 sum、avg 等指标计算后再分页,这类指标聚合天然无序,composite 不适用;应先分桶,再对桶 ID 做二次聚合或数据库关联

别碰 index.max_result_window,除非你真要导出全部桶

有人想绕过聚合分页限制,直接把索引的 index.max_result_window 调高到 100 万,然后用 terms + 极大 size 拿全量桶——这非常危险。ES 对 terms 聚合的内存消耗是 O(N),N 是唯一值数量;10 万个 packageId 就可能吃光分片 JVM 堆内存,触发频繁 GC 甚至节点退出。真正需要全量桶导出时,应该用 composite 配合循环请求,每次取 1000 个,主动控制节奏。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
laravel组件介绍
laravel组件介绍

laravel 提供了丰富的组件,包括身份验证、模板引擎、缓存、命令行工具、数据库交互、对象关系映射器、事件处理、文件操作、电子邮件发送、队列管理和数据验证。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

857

2024.04.09

laravel中间件介绍
laravel中间件介绍

laravel 中间件分为五种类型:全局、路由、组、终止和自定。想了解更多laravel中间件的相关内容,可以阅读本专题下面的文章。

835

2024.04.09

laravel使用的设计模式有哪些
laravel使用的设计模式有哪些

laravel使用的设计模式有:1、单例模式;2、工厂方法模式;3、建造者模式;4、适配器模式;5、装饰器模式;6、策略模式;7、观察者模式。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2488

2024.04.09

thinkphp和laravel哪个简单
thinkphp和laravel哪个简单

对于初学者来说,laravel 的入门门槛较低,更易上手,原因包括:1. 更简单的安装和配置;2. 丰富的文档和社区支持;3. 简洁易懂的语法和 api;4. 平缓的学习曲线。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

4181

2024.04.10

laravel入门教程
laravel入门教程

本专题整合了laravel入门教程,想了解更多详细内容,请阅读专题下面的文章。

5990

2025.08.05

laravel实战教程
laravel实战教程

本专题整合了laravel实战教程,阅读专题下面的文章了解更多详细内容。

3976

2025.08.05

laravel面试题
laravel面试题

本专题整合了laravel面试题相关内容,阅读专题下面的文章了解更多详细内容。

7469

2025.08.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

1456

2026.03.04

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

60

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
如何安装 Composer
如何安装 Composer

共1课时 | 208人学习

Composer手册
Composer手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn