讲师中心 微信公众号
AI工具推荐 视频效率加速

在Snowflake SQL中如何利用HLL聚合实现近似去重?

夜磊姑娘_3969

夜磊姑娘_3969

发布时间:2026-09-28 08:48:27

|

469人浏览过

|

来源于php中文网

原创

必须配对使用hll_init+hll_merge+hll_estimate三件套,因Snowflake的HLL非标量函数;漏任一环报错或返回NULL;hll_init需非NULL输入;hll_merge为GROUP BY专用聚合函数;hll_estimate仅接受BINARY型输入。

在snowflake sql中如何利用hll聚合实现近似去重?

直接用 HLL 函数就行,但必须配对使用 hll_init + hll_merge(聚合阶段)+ hll_estimate(最终取值),不能只写一个函数就完事。

为什么不能直接写 COUNT(DISTINCT x) 替换成 HLL?

Snowflake 的 HLL 不是开箱即用的标量函数,它是一套三件套:先用 hll_init 把原始值转成 HLL sketch,再用 hll_merge 合并多个 sketch,最后用 hll_estimate 解出近似基数。漏掉任意一环都会报错或返回 NULL。

  • hll_init(x) 必须传非 NULL 值,NULL 会被跳过 —— 所以 hll_init(COALESCE(col, 'null_placeholder')) 比直接 hll_init(col) 更稳
  • hll_merge 是聚合函数,只能在 GROUP BY 中用,不能出现在 WHERE 或 SELECT 非聚合列里
  • hll_estimate 接收的是 hll_merge 的输出,类型为 BINARY,不能直接 CAST 或参与算术运算

HLL 和 APPROX_COUNT_DISTINCT 选哪个?

如果只是单层聚合、不关心中间 sketch 复用,APPROX_COUNT_DISTINCT(col) 更简单,语义和性能接近 HLL 三件套,误差率也都在 ~1.6% 左右。但它不可拆解 —— 你没法把今天和昨天的 sketch 合并,也没法做分组后二次聚合。

  • 要支持增量合并(比如按天计算再合到月)、或需要跨多个查询复用 sketch,必须用 hll_init/hll_merge/hll_estimate
  • APPROX_COUNT_DISTINCT 在小数据集上可能比精确 COUNT(DISTINCT) 还慢,因为要初始化 sketch 结构;数据量 > 1M 行时优势才明显
  • 两者都对高基数字符串友好,但若列含大量重复短字符串(如状态码 '200'、'404'),HLL sketch 占用空间反而比 APPROX_COUNT_DISTINCT 略大

实际写法:带条件的近似去重怎么写?

比如 “统计每个城市中付费用户(is_paying = true)的近似 UV”,不能在 hll_init 外套 FILTER(Snowflake 不支持聚合函数的 FILTER 子句),得用 CASE:

SELECT
  city,
  hll_estimate(hll_merge(hll_init(CASE WHEN is_paying THEN user_id END))) AS approx_uv
FROM users
GROUP BY city;

注意:CASE 分支返回 user_id 或 NULL,hll_init(NULL) 会跳过,等效于过滤;别写成 CASE WHEN is_paying THEN hll_init(user_id) —— 那会导致非付费行传入 NULL 给 hll_init,语法错误。

真正容易被忽略的是 sketch 生命周期:一旦存成表字段(比如用 hll_merge 结果写入物化视图),后续想加新数据就得再调一次 hll_merge,而不是重新跑全量 hll_init。这一步没想清楚,后面就只能重建。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

4276

2023.06.21

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

1229

2025.12.08

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

223

2026.01.05

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

446

2026.01.05

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

180

2026.09.23

Buffalo框架路由与请求处理实操指南
Buffalo框架路由与请求处理实操指南

本专题讲解Buffalo框架路由与请求处理机制,涵盖路由注册与分组、资源路由、Handler编写规范、Context上下文方法、参数绑定、中间件编写挂载、Session与Cookie读写、Flash消息及错误页面定制方法。

80

2026.09.23

Buffalo框架零基础入门教程
Buffalo框架零基础入门教程

本专题整理Buffalo框架入门内容,涵盖Go环境准备、buffalo CLI安装、新项目生成、目录结构说明、dev热加载启动、数据库连接配置与常见报错排查,帮助新手按约定优于配置的思路跑通第一个Buffalo框架应用。

80

2026.09.23

Conan创建软件包配方指南
Conan创建软件包配方指南

本专题介绍通过conanfile.py创建软件包的方法,讲解包名、版本、依赖和构建设置等基础信息,以及source、build、package、package_info等常用方法的作用及编写思路。

60

2026.09.22

Conan二进制包配置指南
Conan二进制包配置指南

本专题介绍Conan根据操作系统、编译器、架构和构建类型生成二进制包的方法,讲解Profile、Settings、Options及Package ID的作用,帮助管理不同平台和编译环境下的包版本。

60

2026.09.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn