本文探讨在Pandas中对DataFrame进行nunique()分组统计时,使用df[cols].groupby(...)与df.groupby(...)的本质区别,指出前者在多数场景下并无性能优势,反而可能引入冗余计算;推荐采用df.groupby(col1)[col2].nunique()这一简洁、高效且语义清晰的写法。
本文探讨在pandas中对dataframe进行`nunique()`分组统计时,使用`df[cols].groupby(...)`与`df.groupby(...)`的本质区别,指出前者在多数场景下并无性能优势,反而可能引入冗余计算;推荐采用`df.groupby(col1)[col2].nunique()`这一简洁、高效且语义清晰的写法。
在实际数据分析工作中,我们常需按某一列(如用户ID、日期)统计另一列(如商品类别、状态码)的去重数量。此时,常见写法有两类:
# 写法A:先筛选列子集,再分组去重
df[["user_id", "category"]].groupby("user_id").nunique()["category"]
# 写法B:直接全表分组,再选取目标列
df.groupby("user_id").nunique()["category"]
# ✅ 推荐写法C:链式定位,精准计算
df.groupby("user_id")["category"].nunique()关键差异在于计算范围与执行效率:
- 写法A和B均会先对groupby结果调用.nunique(),该操作默认作用于所有参与分组的数值/可哈希列(若df[cols]含10列,则计算全部10列的nunique),之后才通过["category"]索引提取所需结果——造成不必要的中间计算开销。
- 写法C则利用Pandas的列选择语法["category"]提前限定作用域,使nunique()仅在目标列上执行,显著减少内存占用与CPU消耗,尤其在宽表(数十列以上)场景下提升明显。
此外,需注意一个常见误区:
df[cols].groupby(some_column).nunique()[column2extract] 并不总等价于 df.groupby(some_column).nunique()[column2extract]。
当cols包含some_column和column2extract以外的其他列时,前者会因列子集过滤而隐式排除原始DataFrame中未被选中的列,可能导致分组逻辑意外变化(例如,若some_column存在缺失值,而其他未包含列影响了dropna行为,结果可能不同)。但这种差异通常属于副作用,而非设计意图。
最佳实践总结:
- ✅ 始终优先使用 df.groupby(key_col)[target_col].nunique() —— 语义明确、性能最优、可读性强;
- ⚠️ 避免 .nunique()[col] 形式,因其强制全列计算;
- ? 不必刻意构造df[cols]子集来“优化”,除非你确需排除某些干扰列(如含大量NaN或高基数ID列),且已验证其必要性;
- ? 若some_column是外部Series(非df内列),则df[cols].groupby(external_series)是唯一合法方式,此时子集筛选才有意义。
最后提醒:可通过%%timeit快速验证性能差异。在万行级数据上,写法C通常比A/B快2–5倍,且随列数增加优势更显著。

















