讲师中心 微信公众号

工具推荐

视频效率加速
AniShort
AniShort

AI短剧协同制作平台

updream

一键生成高质量推广成片

Laper
Laper

剧本策划到成片协作

剧云
剧云

中文短剧剧本制作平台

如何在SQL Server中正确使用APPROX_COUNT_DISTINCT进行预估

老磊大大_3282

老磊大大_3282

发布时间:2026-11-20 10:24:04

|

935人浏览过

|

来源于php中文网

原创

在sql server中正确使用approx_count_distinct进行预估,核心在于理解它返回的是近似值而非精确值,适用于对性能要求高于绝对精度的大数据量统计场景。调用时只需将标准count(distinct)替换为approx_count_distinct(column_name)即可,它会基于hyperloglog算法给出一个误差率通常在2%以内的估算结果。需要注意的是,该函数不支持distinct关键字嵌套(即不能写approx_count_distinct(distinct ...)),且无法处理null值以外的复杂聚合逻辑,若需精确计数仍应使用传统方法。

如何在SQL Server中正确使用APPROX_COUNT_DISTINCT进行预估

APPROX_COUNT_DISTINCT与COUNT DISTINCT的性能差异体现在哪里

两者在处理大规模数据时的资源消耗截然不同,APPROX_COUNT_DISTINCT通过概率数据结构大幅降低了内存和CPU开销。COUNT DISTINCT需要维护一个完整的去重集合,当基数极大时会导致严重的排序和哈希冲突,而APPROX版本仅维护固定大小的摘要信息。这种差异使得近似函数在亿级行数扫描中仍能保持毫秒级响应,尽管牺牲了少量精度。

如何在SQL Server中正确使用APPROX_COUNT_DISTINCT进行预估

-- 创建测试表并插入大量重复数据
CREATE TABLE SalesData (
    SaleID INT IDENTITY(1,1),
    CustomerID INT,
    Amount DECIMAL(10,2)
);

-- 模拟100万条数据,CustomerID有10万个唯一值
INSERT INTO SalesData (CustomerID, Amount)
SELECT TOP 1000000 
    ABS(CHECKSUM(NEWID())) % 100000 + 1,
    RAND(CHECKSUM(NEWID())) * 100
FROM sys.objects a CROSS JOIN sys.objects b;

-- 对比两种查询的执行时间和结果
SET STATISTICS TIME ON;

-- 精确计数:耗时较长,内存占用高
SELECT COUNT(DISTINCT CustomerID) AS ExactCount FROM SalesData;

-- 近似计数:耗时极短,内存占用低
SELECT APPROX_COUNT_DISTINCT(CustomerID) AS ApproxCount FROM SalesData;

SET STATISTICS TIME OFF;

运行上述代码后,你会发现APPROX_COUNT_DISTINCT的执行时间显著低于COUNT DISTINCT。例如,在100万行数据中,精确计数可能需要几百毫秒甚至更久,而近似计数通常在几毫秒内完成。返回值方面,ExactCount会给出确切的整数,而ApproxCount会给出一个接近真实值的整数,两者差异通常很小。类型上,两者均返回bigint。这种性能优势在实时报表或交互式分析中尤为明显。

APPROX_COUNT_DISTINCT在分组统计中的行为特征是什么

当结合GROUP BY使用时,APPROX_COUNT_DISTINCT会对每个组独立计算近似基数,不会跨组累积误差。这意味着每个分组的统计都是独立的HyperLogLog实例,保证了局部数据的准确性。然而,由于它是近似算法,不同运行次数的结果可能会有微小波动,这在业务允许范围内是可接受的。此外,它不能与HAVING子句中的精确比较混合使用来过滤组,因为近似值的不确定性可能导致过滤条件失效。

-- 按月份分组统计近似客户数
SELECT 
    DATEPART(MONTH, SaleDate) AS MonthNum,
    APPROX_COUNT_DISTINCT(CustomerID) AS MonthlyUniqueCustomers
FROM SalesData
GROUP BY DATEPART(MONTH, SaleDate)
ORDER BY MonthNum;

-- 尝试使用HAVING过滤(注意:这里比较的是近似值)
SELECT 
    DATEPART(MONTH, SaleDate) AS MonthNum,
    APPROX_COUNT_DISTINCT(CustomerID) AS MonthlyUniqueCustomers
FROM SalesData
GROUP BY DATEPART(MONTH, SaleDate)
HAVING APPROX_COUNT_DISTINCT(CustomerID) > 5000;

在上述分组查询中,每个月份的近似客户数是独立计算的。如果某个月份的实际唯一客户数为5200,APPROX_COUNT_DISTINCT可能返回5100或5300,这取决于内部随机种子和哈希分布。在HAVING子句中,虽然语法允许,但由于近似值的不确定性,建议仅在阈值宽松时使用。若需严格过滤,应先获取近似值,再对符合条件的组进行二次精确验证。这种两步走策略平衡了性能和精度。

当APPROX_COUNT_DISTINCT遇到NULL值时会如何处理

APPROX_COUNT_DISTINCT会自动忽略NULL值,这与COUNT(DISTINCT column)的行为一致。也就是说,只有非NULL的唯一值会被纳入估算。如果一列全部为NULL,函数将返回0。这一特性使得它在处理包含缺失值的数据集时无需额外预处理。然而,需要注意的是,NULL值不参与基数计算,因此不会影响HyperLogLog桶的填充状态,也不会引入额外的误差源。在实际应用中,若需区分“无数据”和“零值”,应确保数据模型中零值是显式存储的,而非NULL。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

笔灵降AI

一款AI论文写作工具,主要用于论文降AI神器,适配知网及维普!一键降至安全线,100%保留原文格式;无口语化问题,文风更学术,降后字数控制最佳!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
大数据分析工具有哪四个
大数据分析工具有哪四个

大数据分析的四个工具分别是rapidminer、Hpcc、Hadoop和Pentaho bi。大数据分析用于从各种来源生成的原始数据中提取有价值的数据。这些数据帮助我们获得有意义的见解、隐藏的模式、未知的相关性、市场趋势等等,具体取决于行业。大数据分析的主要动机是提供有价值的见解,以便为未来做出更好的决策。php中文网为大家带来了大数据分析的相关教程、以及相关文章等内容,供大家免费下载使用。

6676

2023.06.21

Java 大数据处理基础(Hadoop 方向)
Java 大数据处理基础(Hadoop 方向)

本专题聚焦 Java 在大数据离线处理场景中的核心应用,系统讲解 Hadoop 生态的基本原理、HDFS 文件系统操作、MapReduce 编程模型、作业优化策略以及常见数据处理流程。通过实际示例(如日志分析、批处理任务),帮助学习者掌握使用 Java 构建高效大数据处理程序的完整方法。

1289

2025.12.08

大数据专业学习教程
大数据专业学习教程

本专题整合了大数据专业学习相关教程,阅读专题下面的文章了解更多详细内容。

243

2026.01.05

python处理大数据合集
python处理大数据合集

本专题整合了python处理大数据相关教程,阅读专题下面的文章了解更多详细内容。

546

2026.01.05

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7051

2023.08.11

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

0

2026.11.20

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

20

2026.11.17

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

60

2026.11.17

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

80

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn