COUNT(DISTINCT column) 配合 GROUP BY 可直接对非空值去重计数,自动忽略NULL;但空字符串、空白符等仍被计入,需用CASE WHEN或NULLIF显式清洗,推荐COUNT(DISTINCT CASE WHEN TRIM(col) != '' THEN col END)确保语义一致性。

用 COUNT(DISTINCT column) 配合 GROUP BY 实现基础统计
直接对非空值去重计数,核心是先过滤 NULL,再对有效值去重。MySQL、PostgreSQL、SQL Server(2012+)都支持 COUNT(DISTINCT column),但它默认会忽略 NULL —— 这正是你需要的:无需显式 WHERE column IS NOT NULL,COUNT(DISTINCT) 自动跳过空值。
示例语句:
SELECT category, COUNT(DISTINCT tag) AS unique_tag_count FROM items GROUP BY category;
注意:COUNT(DISTINCT tag) 统计的是每个 category 下 tag 字段的非空唯一值个数;如果某分类下所有 tag 全为 NULL,结果为 0。
当字段含空字符串 '' 或空白字符时,COUNT(DISTINCT) 仍会计入
COUNT(DISTINCT) 只跳过 SQL 的 NULL,不处理语义上的“空”——比如 ''、' '、'\t' 都会被当作合法值参与去重。若业务上这些也应排除,必须手动清洗:
- PostgreSQL / MySQL 8.0+:用
NULLIF(TRIM(tag), '')把空白字符串转成NULL - SQL Server:用
NULLIF(LTRIM(RTRIM(tag)), '') - 通用写法(兼容性高):
COUNT(DISTINCT CASE WHEN TRIM(tag) != '' THEN tag END)
推荐后者,逻辑清晰且跨库稳定。例如:
SELECT category,
COUNT(DISTINCT CASE WHEN TRIM(tag) != '' THEN tag END) AS unique_tag_count
FROM items
GROUP BY category;
性能敏感时,避免在大表上直接 COUNT(DISTINCT) + GROUP BY
在千万级数据上,COUNT(DISTINCT ...) 通常触发临时表 + 文件排序,容易慢甚至 OOM。优化方向有:
- 确保
(category, tag)有联合索引,让引擎能走索引扫描而非全表 - 若只关心「是否大于 1」或「是否超过阈值」,改用
APPROX_COUNT_DISTINCT()(BigQuery / Spark SQL)或hyperloglog_distinct()(ClickHouse) - 在 PostgreSQL 中可考虑物化视图预计算,或用
SELECT DISTINCT ON (category, tag)配合子查询降维
别盲目加 DISTINCT 在外层再套一层查询——那只会更慢,没意义。
SQLite 和旧版 MySQL(5.6 及之前)不支持 COUNT(DISTINCT) 与 GROUP BY 混用?
这是常见误解。SQLite 从 3.1.0 开始就完全支持 COUNT(DISTINCT x) GROUP BY y;MySQL 5.0+ 也支持。真正的问题出在「子查询中嵌套 COUNT(DISTINCT)」或某些复杂窗口场景。如果你遇到 ERROR 1111 (HY000): Invalid use of group function,大概率是写成了类似 SELECT COUNT(DISTINCT tag) FROM (SELECT ..., COUNT(DISTINCT tag) ...) 这种非法嵌套。
安全写法永远是:聚合函数只出现在最外层 SELECT 列表,GROUP BY 跟在它后面,中间不穿插子查询包裹。
边界情况容易被忽略:比如字段是 JSON 类型(PostgreSQL/MySQL),COUNT(DISTINCT json_col) 会按二进制字节比较,两个语义等价但格式不同的 JSON 字符串(如键序不同、空格不同)会被算作两个值。真要语义去重,得先标准化再哈希。

















