讲师中心 微信公众号
AI工具推荐 视频效率加速

LaravelES字段基数聚合查询统计不重复数量

冬芳姑娘_7629

冬芳姑娘_7629

发布时间:2026-08-15 18:05:36

|

188人浏览过

|

来源于php中文网

原创

cardinality聚合专为估算唯一值数量设计,terms聚合枚举所有值再计数会导致内存爆炸和超时;前者基于HyperLogLog近似计算,高效可控,后者是精确分组而非计数工具。

laraveles字段基数聚合查询统计不重复数量

直接用 cardinality 聚合,别想用 terms + top_hits 或 collapse 去“查出再数”,那是错方向。

为什么不能用 terms 聚合代替 cardinality

有人看到 terms 能列出所有去重值,就顺手加个 size: 10000 然后 count($response['aggregations']['my_terms']['buckets']) 来算总数——这在数据量稍大时立刻崩:

  • terms 是精确枚举,内存和响应时间随唯一值数量线性增长;10 万个唯一值就可能 OOM 或超时
  • size 默认只返回前 10 个桶,设成 10000 也仅是上限,ES 不保证能全取回(尤其分布式分片场景)
  • 它本质是“分组+取样”,不是为计数设计的;cardinality 才是专为“不重复数量估算”而生的概率算法

Laravel 中调用 ES cardinality 聚合的实操写法

用官方 PHP 客户端(elasticsearch/elasticsearch)发请求,核心就是构造一个带 cardinality 的聚合体。不需要额外封装,直接写数组结构即可:

laravel-specialist
laravel-specialist

精通 Laravel 10+,遵循现代 PHP 实践的 Laravel 专家。擅长优雅语法、Eloquent ORM、队列系统及企业级特性...

下载
$params = [
    'index' => 'logs-index',
    'body' => [
        'size' => 0,
        'aggs' => [
            'unique_user_count' => [
                'cardinality' => ['field' => 'user_id.keyword']
            ]
        ]
    ]
];
$response = $client->search($params);
$count = $response['aggregations']['unique_user_count']['value'] ?? 0;
  • size: 0 必须加,避免混入 hits 干扰解析
  • user_id.keyword 要带 .keyword 后缀,text 字段默认被分词,无法用于精确去重
  • 如果字段是数字类型(如 user_id 是 long),直接用 user_id 即可,不用加 .keyword
  • 误差可控:cardinality 默认精度约 0.012%,加 'precision_threshold' => 10000 可进一步压低误差(但内存略增)

precision_threshold 参数怎么设才合理

这个参数不是越大越好,也不是随便填。它控制 HyperLogLog 内部寄存器数量,直接影响精度与内存消耗:

  • 默认值是 3000,适用于大多数中小规模场景(百万级唯一值以内)
  • 若预估唯一值在 10 万以内,设 10000 就够用;超过 100 万,可提到 40000,但再往上收益急剧下降
  • 设成 100000 会让单个聚合内存占用翻倍,而精度提升不到 0.1%,纯属浪费
  • 线上建议先用默认值跑一周,监控 _cat/indices 和聚合响应耗时,再决定是否调整

和 Laravel Redis HyperLogLog 方案怎么选

两者不是替代关系,而是分工明确:

  • ES cardinality:适合“已入库、需离线或准实时分析”的场景,比如每天凌晨跑一次昨日 UV;查询走 ES 聚合,不依赖外部服务
  • Redis HyperLogLog(PFADD/PFCOUNT):适合“写多读少、强实时、高并发”的在线统计,比如页面实时 UV 面板;但数据不在 ES 里,无法和其他字段做关联分析
  • 千万别在 ES 查询里嵌套调用 Redis —— 网络开销、事务边界、错误传播都会让逻辑失控
  • 真正需要两者联动时(如 ES 查出 top 用户,再用 Redis 查他们各自的行为基数),应拆成两个独立请求,在应用层组合

实际项目里,cardinality 的 key 名容易写错成 user_id 而非 user_id.keyword,一查永远是 0;这个点必须手敲确认,IDE 不会帮你校验字段后缀。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

相关专题

更多
laravel组件介绍
laravel组件介绍

laravel 提供了丰富的组件,包括身份验证、模板引擎、缓存、命令行工具、数据库交互、对象关系映射器、事件处理、文件操作、电子邮件发送、队列管理和数据验证。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

877

2024.04.09

laravel中间件介绍
laravel中间件介绍

laravel 中间件分为五种类型:全局、路由、组、终止和自定。想了解更多laravel中间件的相关内容,可以阅读本专题下面的文章。

855

2024.04.09

laravel使用的设计模式有哪些
laravel使用的设计模式有哪些

laravel使用的设计模式有:1、单例模式;2、工厂方法模式;3、建造者模式;4、适配器模式;5、装饰器模式;6、策略模式;7、观察者模式。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2508

2024.04.09

thinkphp和laravel哪个简单
thinkphp和laravel哪个简单

对于初学者来说,laravel 的入门门槛较低,更易上手,原因包括:1. 更简单的安装和配置;2. 丰富的文档和社区支持;3. 简洁易懂的语法和 api;4. 平缓的学习曲线。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

4461

2024.04.10

laravel入门教程
laravel入门教程

本专题整合了laravel入门教程,想了解更多详细内容,请阅读专题下面的文章。

6490

2025.08.05

laravel实战教程
laravel实战教程

本专题整合了laravel实战教程,阅读专题下面的文章了解更多详细内容。

4276

2025.08.05

laravel面试题
laravel面试题

本专题整合了laravel面试题相关内容,阅读专题下面的文章了解更多详细内容。

8009

2025.08.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

1496

2026.03.04

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

20

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
如何安装 Composer
如何安装 Composer

共1课时 | 213人学习

Composer手册
Composer手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn