讲师中心 微信公众号
AI工具推荐 视频效率加速

Redis HyperLogLog如何统计千万UV_利用PFADD实现低内存基数统计

秋浩姑娘_9199

秋浩姑娘_9199

发布时间:2026-04-04 09:33:15

|

504人浏览过

|

来源于php中文网

原创

Redis HyperLogLog 是千万级 UV 统计最优解,12KB 内存支持 2⁶⁴ 量级去重估算,误差±0.81%;PFADD 返回值表新元素识别而非操作成败,PFCOUNT 多key为实时并集估算,不修改源key但耗CPU;需按天分key、分业务域使用,无法精确回溯。

redis hyperloglog如何统计千万uv_利用pfadd实现低内存基数统计

Redis HyperLogLog 是目前最实用的千万级 UV 统计方案,只要用对 PFADD,12 KB 内存就能撑住 2⁶⁴ 量级的去重估算,误差稳定在 ±0.81%。它不存原始数据,不能查具体是谁,但正因如此才轻量、可合并、适合高并发写入。

PFADD 怎么用才不会漏统计或误判返回值

PFADD 的返回值不是“成功/失败”,而是“是否有新元素被识别为首次出现”。这点极易误解:

  • 返回 1:至少有一个参数是该 HyperLogLog 之前没见过的(哪怕只加一个新元素,其余全是重复,也返回 1)
  • 返回 0:所有参数都已被该结构“记住”过(注意:不是网络失败,也不是命令报错)
  • 不校验参数类型——传空字符串 ""、数字 123、JSON 字符串 "{\"id\":1}" 都合法,但必须保证业务上能唯一标识用户(比如用 user_id 或 device_id,别用 session_id 这种短期值)
  • 单次最多支持 1024 个元素;超了得拆成多条命令,否则会截断(redis-py 默认会自动分片,但原生命令行或低版本客户端不会)

PFCOUNT 多 key 合并时的隐含行为

调用 PFCOUNT key1 key2 key3 实际等价于先执行一次内存中临时 PFMERGE,再对合并结果做基数估算。这不是简单相加,而是并集去重后的估算:

  • 如果 key1 和 key2 有大量重叠用户,PFCOUNT key1 key2 结果会显著小于 PFCOUNT key1 + PFCOUNT key2
  • 合并过程不修改任何源 key,纯读操作,安全;但高并发下频繁多 key PFCOUNT 可能引发短暂 CPU 尖峰(因需实时合并哈希结构)
  • 线上建议:日常用单 key PFCOUNT 查分片结果;汇总类报表才用多 key 合并,且避开流量高峰

千万 UV 场景下 PFADD 的实际吞吐与稳定性要点

真实压测表明,单实例 Redis(4 核 8G)在 pipeline 模式下,PFADD QPS 轻松突破 5 万+。但要注意三个硬约束:

  • 每个 HyperLogLog 固定占 12 KB 内存,不管里面是 1 个还是 1 亿个用户;所以按天建 key(如 uv:20260401)比长期复用一个 key 更利于内存管理
  • 不要把不同业务域混进同一个 key——比如把 PC 端和 App 端的 user_id 往同一个 uv:20260401 里塞,会导致跨端重复用户被错误去重
  • 若需精确回溯(例如“今天新增 UV 中有多少来自微信渠道”),PFADD 本身做不到,得配合 Bitmap 或单独记录日志;HyperLogLog 只负责“总数快、内存省、合并易”这一件事

真正容易被忽略的是:HyperLogLog 的误差是系统性的,不是随机漂移。连续两天 PFCOUNT 出来都是 992 万,不代表真实 UV 就是这个数——它只是告诉你,大概率在 984 万~1000 万之间(按 0.81% 误差反推)。需要这个精度就用,要精确值就换方案。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2055

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3002

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1016

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

3399

2025.09.10

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1658

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2464

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

5944

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

5289

2023.11.24

C++运算符基础入门
C++运算符基础入门

本专题详细讲解了C++运算符的类型、语法与使用方法,涵盖算术运算符、关系运算符、逻辑运算符、位运算符、赋值运算符、条件运算符及其他特殊运算符,并通过代码示例解析优先级与结合性。

0

2026.10.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn