APPROX_COUNT_DISTINCT比COUNT(DISTINCT)快,因其基于HyperLogLog算法,仅用固定内存(约12KB)、O(1)单行处理,而后者需构建线性增长的哈希表,易OOM且慢。

APPROX_COUNT_DISTINCT 为什么比 COUNT(DISTINCT) 快那么多?
因为 APPROX_COUNT_DISTINCT 不做精确去重,而是用 HyperLogLog(HLL)概率算法估算基数。它只维护一个固定大小的内存结构(通常几 KB),时间复杂度 O(1) 每行,内存占用不随去重字段唯一值数量增长。而 COUNT(DISTINCT) 在大多数引擎里要建哈希表或排序,内存和时间都随唯一值线性甚至超线性上涨——亿级用户 ID 去重时,COUNT(DISTINCT) 可能 OOM 或跑十几分钟,APPROX_COUNT_DISTINCT 通常秒出,误差率稳定在 ±1% 左右。
不同数据库里怎么写才不报错?
语法差异不小,写错直接抛 function not found 或 invalid function name:
- Spark SQL / Databricks / BigQuery:直接用
APPROX_COUNT_DISTINCT(col),支持DISTINCT关键字但非必须,APPROX_COUNT_DISTINCT(DISTINCT col)也合法 - Presto / Trino:必须写成
approx_distinct(col)(全小写,下划线,无APPROX_前缀),不支持APPROX_COUNT_DISTINCT - SQL Server:用
APPROX_COUNT_DISTINCT(col),但仅限 Azure SQL DB 和 SQL Server 2019+,本地 2017 不支持 - ClickHouse:没有该函数,得用
uniqHLL12(col)或uniqExact(col)替代
什么时候不该用 APPROX_COUNT_DISTINCT?
不是所有“去重计数”场景都适合估算。以下情况建议退回 COUNT(DISTINCT) 或换方案:
- 结果要用于财务对账、SLA 达标判定、合同计费等强一致性要求场景——哪怕误差只有 0.5%,也不行
- 去重字段基数极低(比如只有几十个枚举值),估算反而增加 CPU 开销,且失去意义
- 嵌套在子查询中又被外层做
ORDER BY+LIMIT,某些引擎(如旧版 Presto)可能因估算中间态导致排序逻辑异常 - 字段含大量
NULL,注意各系统对NULL的处理:BigQuery 和 Spark 默认忽略NULL,但 ClickHouse 的uniqHLL12会把NULL当有效值参与估算
如何验证估算误差是否在可接受范围?
不能只信文档写的“±1%”,得实测。最轻量方法是抽样对比:
SELECT APPROX_COUNT_DISTINCT(user_id) AS approx, COUNT(DISTINCT user_id) AS exact FROM events WHERE ds = '2024-06-01' AND rand() < 0.01; -- 抽 1% 样本,避免全表扫
如果 approx 和 exact 相对误差长期 > 2.5%,就要查原因:
- 是不是字段分布极端倾斜?比如 99% 的
user_id是同一个测试值,HLL 对这种低熵数据效果差 - 是不是用了过短的分区键(如只按小时分区却查跨月数据),导致多个 HLL sketch 合并时精度衰减
- 引擎版本太老(如 Spark 3.0 之前),HLL 实现有 bug,升级到 3.2+ 更稳
真正难搞的不是函数调用本身,而是理解你的数据分布是否匹配 HLL 的假设——均匀随机哈希。一旦数据有强 pattern,比如 user_id 是递增 long 或带固定前缀的 UUID,就得先 HASH 一下再喂给 APPROX_COUNT_DISTINCT。

















