Spark SQL原生不支持HLL函数，需通过spark-hyperloglog UDAF实现；其返回Array[Byte]需用hll_get_count解包，支持merge与跨系统兼容，而approx_count_distinct不满足HLL需求。
Spark SQL里没有内置HLL函数，得靠UDAF或第三方库
Spark SQL原生不支持HLL（HyperLogLog）聚合函数，COUNT(DISTINCT user_id)在十亿级UV场景下会触发大量shuffle和内存溢出。直接写SQL跑不动，必须引入近似算法能力。
主流可行路径只有两条：
– 用spark-hyperloglog（Scala/Java UDAF，需注册为临时函数）
– 或升级到Spark 3.4+，用内置的approx_count_distinct（但它是基于KMV，不是HLL，精度和内存行为不同）
如果你明确要HLL（比如需要合并多个HLL sketch、做增量union），别碰approx_count_distinct——它不支持merge，也不兼容Redis/Hive的HLL序列化格式。
用spark-hyperloglog注册UDAF时必须注意JAR加载和类型对齐
GitHub上aggregatefunction/spark-hyperloglog项目提供HLLAgg UDAF，但容易卡在类加载失败或数据类型不匹配：
- 确保打包时把
net.agilemind.hyperloglog依赖设为compile（不是provided），否则spark-submit报ClassNotFoundException -
HLLAgg只接受String或Long输入；传Int会静默转成Long，但传Null会导致整个分区失败，务必提前WHERE user_id IS NOT NULL - 注册函数名建议用
hll_agg而非hll，避免和某些旧版UDF冲突
注册示例：
spark.sql("CREATE TEMPORARY FUNCTION hll_agg AS 'com.github.aggregatefunction.hll.HLLAgg'")
HLL结果是二进制sketch，不能直接SELECT，得用getCount()解包
调用hll_agg(user_id)返回的是Array[Byte]（即HLL sketch字节数组），直接SELECT只会看到乱码或空值。必须配套提供解包UDF：
- 用同一库的
HLLGetCountUDF反解：hll_get_count(hll_agg(user_id)) - 如果要做多天UV合并（比如今天HLL + 昨天HLL），要用
HLLMergeUDF，输入两个Array[Byte]，输出合并后的sketch，再套一层hll_get_count - 注意：sketch大小固定约12KB（默认p=14），但
getCount()结果是Long，别误以为还能继续聚合
典型用法：
SELECT hll_get_count(hll_agg(user_id)) AS uv FROM events WHERE dt = '2024-06-01'
精度和误差控制得看p参数，别盲目信默认值
spark-hyperloglog默认用p = 14（约12KB/sketch，标准误差0.8%），但实际误差受数据分布影响极大：
- 当UV COUNT(DISTINCT)
- 若业务能容忍±2%误差且UV > 1亿，可降到
p = 12（1.5KB/sketch），内存减8倍，但误差升到1.6% - 修改p必须重编译UDF（改
HLLAgg构造函数里的new HLL(p)），无法运行时传参
真正关键的不是“怎么调用HLL”，而是确认你的数据稀疏度、误差预算、下游是否需要merge——这些决定了你该不该用HLL，以及用哪个p。
