讲师中心 微信公众号
AI工具推荐 视频效率加速

Laravel ES后台数据报表聚合查询自动统计导出

雨枫君_5383

雨枫君_5383

发布时间:2026-08-17 06:11:19

|

999人浏览过

|

来源于php中文网

原创

ES聚合查询必须绕开Scout直连官方客户端,因Scout仅支持全文检索ID列表,不支持aggs等统计能力;报表场景需用elasticsearch/elasticsearch客户端手动编写DSL,字段名须与索引mapping一致,注意.keyword后缀、size设置、超时配置及错误处理。

laravel es后台数据报表聚合查询自动统计导出

ES 聚合查询必须绕开 Scout,直接用官方客户端

Scout 是为「关键词全文检索」设计的,search() 返回的是 ID 列表,不支持 aggs(聚合)、terms、date_histogram 这类统计能力。报表场景要的是分组计数、时间区间汇总、多桶嵌套,必须跳过 Scout,用 elasticsearch/elasticsearch 客户端直连。

常见错误是硬套 Post::search($q)->with(['author', 'category'])->get() 想顺便聚合——这根本不会触发 ES 的聚合 API,只会查出 ID 再去 MySQL JOIN,完全失去 ES 优势。

  • 安装时只跑 composer require elasticsearch/elasticsearch:^8.0,别装 scout-elasticsearch-driver 或 elasticquent
  • 配置写在 config/services.php 里,host 必须带 https://,且 verify_certs => false(开发环境)
  • 聚合请求不能复用模型的 toSearchableArray() 映射,字段名必须和 ES 索引里实际 mapping 一致(比如 created_at 在 ES 里可能是 created_at.keyword)

聚合参数要手动拼,不能依赖 Eloquent 关系

MySQL 的 GROUP BY author_id 对应 ES 的 terms 聚合,但 ES 不认 Laravel 模型里的 belongsTo 定义。你得自己写聚合 DSL,字段名、嵌套层级、missing 处理都得显式声明。

例如:统计「近 30 天各作者发布的文章数」,不是 Author::whereHas('posts')->withCount('posts')->get(),而是:

Laravel Creem Agent
Laravel Creem Agent

Creem 支付商店助理 — 查询订阅、客户、交易、产品,执行心跳检查,管理本地 Laravel支付商店。

下载
$client->search([
    'index' => 'posts',
    'body' => [
        'query' => [
            'range' => ['published_at' => ['gte' => 'now-30d/d']]
        ],
        'aggs' => [
            'by_author' => [
                'terms' => ['field' => 'author_id.keyword', 'size' => 1000],
                'aggs' => [
                    'total_views' => ['sum' => ['field' => 'views']],
                    'latest_post' => ['max' => ['field' => 'published_at']]
                ]
            ]
        ]
    ]
]);
  • size 要设够大,否则默认只返回前 10 个桶,漏数据
  • 日期字段聚合必须用 .keyword 后缀(如果 mapping 是 text 类型)或明确指定 format
  • 嵌套聚合(如每个作者的最高阅读量)必须写在 aggs 里,不能靠 PHP 循环后处理

导出 CSV 时别把聚合结果全 load 到内存

聚合返回的是 JSON 结构,hits 是空的,真正数据在 aggregations.by_author.buckets 里。直接 array_map() 转 CSV 没问题,但桶数量上万时会 OOM。

正确做法是流式导出:

  • 用 fopen('php://output', 'w') 开文件句柄,fputcsv() 逐行写
  • 聚合响应里 doc_count_error_upper_bound 和 sum_other_doc_count 要检查,非零说明有桶被截断,需调大 size 或改用 composite 聚合分页
  • 别在导出逻辑里再查 MySQL 补作者名——聚合结果里应提前用 include 或 inner_hits 带出关联字段,或用 scripted_metric 做运行时拼接

后台定时任务里聚合要加超时和重试

大范围聚合(比如按天分桶拉 1 年数据)可能卡住,ES 默认 30s 超时,search_phase_execution_exception 错误很常见。

  • 请求体里加 'timeout' => '60s',服务端也得调高 search.default_search_timeout
  • 聚合失败不能静默跳过,要用 try/catch 捕获 Elasticsearch\Common\Exceptions\NoNodesAvailableException 和 TransportException
  • 导出任务建议用 php artisan make:command ExportDailyStats + scheduler,失败日志打全:aggs 参数、took 耗时、_shards.failed 数量

ES 聚合不是 SQL 的平替,字段类型、mapping、分片数、冷热分离策略都会影响结果准确性和性能,上线前必须用真实数据量压测,别信本地 10 条测试数据的返回结果。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
laravel组件介绍
laravel组件介绍

laravel 提供了丰富的组件,包括身份验证、模板引擎、缓存、命令行工具、数据库交互、对象关系映射器、事件处理、文件操作、电子邮件发送、队列管理和数据验证。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

837

2024.04.09

laravel中间件介绍
laravel中间件介绍

laravel 中间件分为五种类型:全局、路由、组、终止和自定。想了解更多laravel中间件的相关内容,可以阅读本专题下面的文章。

815

2024.04.09

laravel使用的设计模式有哪些
laravel使用的设计模式有哪些

laravel使用的设计模式有:1、单例模式;2、工厂方法模式;3、建造者模式;4、适配器模式;5、装饰器模式;6、策略模式;7、观察者模式。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2468

2024.04.09

thinkphp和laravel哪个简单
thinkphp和laravel哪个简单

对于初学者来说,laravel 的入门门槛较低,更易上手,原因包括:1. 更简单的安装和配置;2. 丰富的文档和社区支持;3. 简洁易懂的语法和 api;4. 平缓的学习曲线。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3761

2024.04.10

laravel入门教程
laravel入门教程

本专题整合了laravel入门教程,想了解更多详细内容,请阅读专题下面的文章。

5350

2025.08.05

laravel实战教程
laravel实战教程

本专题整合了laravel实战教程,阅读专题下面的文章了解更多详细内容。

3576

2025.08.05

laravel面试题
laravel面试题

本专题整合了laravel面试题相关内容,阅读专题下面的文章了解更多详细内容。

6749

2025.08.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

1396

2026.03.04

FrankenPHP集成Laravel详细教程
FrankenPHP集成Laravel详细教程

本专题提供FrankenPHP集成Laravel的详细配置指南,全面解析运行原理、开发环境搭建、Caddyfile配置、Octane工作模式、数据库连接、队列任务、定时任务和生产环境优化,解决部署过程中常见的报错与兼容性问题。

0

2026.10.08

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
如何安装 Composer
如何安装 Composer

共1课时 | 201人学习

Composer手册
Composer手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn