讲师中心 微信公众号
AI工具推荐 视频效率加速

Redis怎样优化大促期间的计数_利用HyperLogLog缓解系统内存压力

酷强姑娘_1013

酷强姑娘_1013

发布时间:2026-03-23 13:41:09

|

529人浏览过

|

来源于php中文网

原创

HyperLogLog比SET更省内存是因为它不存储原始值,仅用16384个寄存器记录最高位1的位置,通过调和平均估算基数,1000万ID仅需

redis怎样优化大促期间的计数_利用hyperloglog缓解系统内存压力

HyperLogLog 为什么比 SET 更省内存

大促时用 SET 存用户 ID 做去重计数,内存涨得飞快——1000 万个 string 类型的 ID,实际占用可能超 200MB;而 PFADD 同样存 1000 万,内存通常不到 12KB。这不是玄学:HyperLogLog 是概率数据结构,不存原始值,只维护 16384 个寄存器(register),每个寄存器仅记录最高位 1 出现的位置,靠调和平均估算基数。

代价是:它不支持取具体元素、不保证 100% 精确(标准误差约 0.81%),但对“UV”“独立访客数”这类场景,完全可接受。

PFADD / PFCOUNT / PFMERGE 怎么配合用才不翻车

三个命令不是随便组合的。常见错误是把不同维度的 UV 拼成一个 key,比如把「商品页 UV」和「搜索页 UV」都往 uv:all 里 PFADD,结果 PFCOUNT 一算就偏高——HyperLogLog 不区分来源,只管是不是新值。

  • 按业务维度拆 key:uv:page:product:1001、uv:page:search:iphone
  • 聚合用 PFMERGE,别自己 PFADD 多次:合并多个 key 到新 key 再 PFCOUNT,比逐个 PFCOUNT 后相加更准(避免交集重复估算)
  • PFADD 返回值是 1 表示该值首次插入,0 表示已存在——别拿它当「是否新增成功」判断依据,它不反映网络或写入状态

大促前必须检查的三个配置和行为

Redis 默认配置在高压下容易出问题,不是加机器就能扛住:

  • 确认 maxmemory-policy 不是 noeviction:HyperLogLog key 被驱逐后,PFCOUNT 返回 0,但业务可能还在持续 PFADD,导致数据断层
  • 禁用 lazyfree-lazy-user-del yes:大促期间 PFMERGE 产生的临时 key 删除不能延迟,否则会堆积大量待删对象,拖慢主线程
  • 避免在 Lua 脚本里高频调用 PFADD:单次脚本中多次 PFADD 不会批量优化,反而增加 EVAL 开销;改用客户端分批或 pipeline

什么时候不该用 HyperLogLog

不是所有“去重计数”都适合它。如果业务要求:

  • 需要列出具体哪些用户访问过 → 必须换 SET 或布隆过滤器 + 回源
  • 数据量长期低于 1000 → SET 的内存开销反而更低,且支持 SCARD 精确返回
  • 要支持小时级/分钟级滑动窗口 UV → HyperLogLog 无法删除旧元素,得用时间分片 key + 定时清理,复杂度陡增,不如直接上 TimeSeries 或 ClickHouse

真正省内存的关键,不是“用了 HyperLogLog”,而是“用对了边界”。大促压测时,盯着 used_memory_dataset 和 instantaneous_ops_per_sec 看,比背参数重要得多。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7279

2023.08.02

treenode的用法
treenode的用法

​在计算机编程领域,TreeNode是一种常见的数据结构,通常用于构建树形结构。在不同的编程语言中,TreeNode可能有不同的实现方式和用法,通常用于表示树的节点信息。更多关于treenode相关问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2841

2023.12.01

C++ 高效算法与数据结构
C++ 高效算法与数据结构

本专题讲解 C++ 中常用算法与数据结构的实现与优化,涵盖排序算法(快速排序、归并排序)、查找算法、图算法、动态规划、贪心算法等,并结合实际案例分析如何选择最优算法来提高程序效率。通过深入理解数据结构(链表、树、堆、哈希表等),帮助开发者提升 在复杂应用中的算法设计与性能优化能力。

396

2025.12.22

深入理解算法:高效算法与数据结构专题
深入理解算法:高效算法与数据结构专题

本专题专注于算法与数据结构的核心概念,适合想深入理解并提升编程能力的开发者。专题内容包括常见数据结构的实现与应用,如数组、链表、栈、队列、哈希表、树、图等;以及高效的排序算法、搜索算法、动态规划等经典算法。通过详细的讲解与复杂度分析,帮助开发者不仅能熟练运用这些基础知识,还能在实际编程中优化性能,提高代码的执行效率。本专题适合准备面试的开发者,也适合希望提高算法思维的编程爱好者。

437

2026.01.06

C++ 数据结构与算法实现教程合集
C++ 数据结构与算法实现教程合集

以 C++ 为实现语言,系统讲解核心数据结构与算法,涵盖链表(单链表/双链表/环检测)、栈与队列(单调栈/优先队列)、二叉树(遍历/BST/AVL/红黑树)、哈希表(开地址法/链地址法)、图(邻接表/BFS/DFS/Dijkstra/拓扑排序)、常见排序算法(快排/归并/堆排/计数排序)的实现与复杂度分析,同时分享 LeetCode 刷题技巧、竞赛编程常用模板(二分/前缀和/滑动窗口/动态规划),帮助开发者夯实算法基础。

492

2026.05.09

堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

6767

2023.07.18

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2788

2023.08.10

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4738

2023.08.10

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn