本教程详细讲解如何利用pandas库高效统计dataframe中各列的唯一值及其出现次数，并将结果转换为嵌套字典格式。我们将介绍一种简洁且避免显式循环、`apply`或`agg`方法的pythonic解决方案，通过字典推导式结合`value_counts()`和`to_dict()`实现，确保输出结构清晰、数据准确，同时避免中间数据产生`nan`值。
引言
在数据分析工作中，我们经常需要了解DataFrame中各列数据的分布情况，例如统计每一列中各个唯一值出现的频率。最终目标是将这些统计结果整理成一个特定的字典结构：外层字典的键是DataFrame的列名，值是内层字典，内层字典的键是该列的唯一值，值是其对应的出现次数。本教程将重点介绍一种高效、简洁且符合Pandas惯用法的解决方案，避免使用显式循环、apply或agg等方法，以提升代码性能和可读性。
问题描述与常见误区
假设我们有一个Pandas DataFrame，其结构如下：
import pandas as pd
data = {'Col1': [1, 2, 2, 3, 1],
'Col2': ['A', 'B', 'B', 'A', 'C']}
df = pd.DataFrame(data)
print(df)我们期望得到的输出是一个字典，格式如下：
{'Col1': {1: 2, 2: 2, 3: 1},
'Col2': {'A': 2, 'B': 2, 'C': 1}}在尝试实现这一目标时，一些常见的思路可能包括：
- 显式循环迭代列：虽然能够达到目的，但在处理大型DataFrame时效率较低，且不够“Pandas-idiomatic”。
- 使用df.stack().groupby(level=1).value_counts().unstack(0).to_dict()：这种方法尝试将DataFrame堆叠后进行分组计数，再进行反堆叠。然而，unstack()操作在遇到缺失值时会自动填充NaN，这会导致最终字典中出现不必要的NaN键值对，不符合我们期望的纯净计数结果。
为了避免上述问题并满足不使用显式循环、apply或agg的限制，我们需要一种更为精炼的解决方案。
核心解决方案：字典推导式
解决此问题的最简洁且高效的方法是利用Python的字典推导式（Dictionary Comprehension）结合Pandas的value_counts()和to_dict()方法。
result_dict = {col: df[col].value_counts().to_dict() for col in df}方案详解
让我们逐步解析这个高效的解决方案：
-
for col in df:
- 这是字典推导式的一部分，它会遍历DataFrame df 的所有列名。在每次迭代中，col 将依次取到 'Col1'、'Col2' 等列名。
-
df[col]:
- 在每次迭代中，df[col] 会选择当前列名 col 对应的 Series 对象。例如，当 col 是 'Col1' 时，df['Col1'] 会返回 [1, 2, 2, 3, 1] 这个 Series。
-
.value_counts():
- 这是Pandas Series 对象的一个方法，用于统计 Series 中每个唯一值出现的次数。它会返回一个新的 Series，其中索引是唯一值，值是对应的计数。
- 例如，df['Col1'].value_counts() 将返回：
2 2 1 2 3 1 Name: Col1, dtype: int64
- df['Col2'].value_counts() 将返回：
A 2 B 2 C 1 Name: Col2, dtype: int64
-
.to_dict():
- 这是Pandas Series 对象的另一个方法，用于将 Series 转换为一个Python字典。Series 的索引将成为字典的键，Series 的值将成为字典的值。
- 例如，df['Col1'].value_counts().to_dict() 将返回 {2: 2, 1: 2, 3: 1}（字典内部顺序可能因Python版本而异，但键值对是正确的）。
- df['Col2'].value_counts().to_dict() 将返回 {'A': 2, 'B': 2, 'C': 1}。
-
{col: ...}:
- 字典推导式将上述步骤的结果整合起来。对于每个 col，它将 col 作为外层字典的键，将 df[col].value_counts().to_dict() 的结果作为该键对应的值，从而构建出最终的嵌套字典。
示例代码
下面是完整的示例代码，展示了如何应用此解决方案：
import pandas as pd
# 原始DataFrame
data = {'Col1': [1, 2, 2, 3, 1],
'Col2': ['A', 'B', 'B', 'A', 'C']}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
print("-" * 30)
# 使用字典推导式统计各列唯一值并转换为字典
result_dict = {col: df[col].value_counts().to_dict() for col in df}
print("生成的嵌套字典:")
print(result_dict)输出结果:
原始DataFrame:
Col1 Col2
0 1 A
1 2 B
2 2 B
3 3 A
4 1 C
------------------------------
生成的嵌套字典:
{'Col1': {1: 2, 2: 2, 3: 1}, 'Col2': {'A': 2, 'B': 2, 'C': 1}}优势与注意事项
- 高效性与简洁性：此方法利用了Pandas底层的优化C/Cython实现，避免了Python层面的显式循环，因此在处理大数据集时表现出色。字典推导式本身也使得代码非常紧凑和易读。
- 避免NaN值：与某些 unstack() 方案不同，此方法直接针对每个 Series 进行计数并转换为字典，不会引入任何 NaN 值来填充空白，保证了结果的纯净性。
- Pandas惯用法：这是一种符合Pandas设计哲学的解决方案，充分利用了 Series 对象的强大功能。
- 可读性强：即使对于初学者，代码的意图也相对清晰：为DataFrame中的每一列（for col in df），获取该列的唯一值计数（df[col].value_counts()），然后将其转换为字典（.to_dict()）。
总结
通过本教程，我们学习了一种在Pandas DataFrame中高效统计各列唯一值并将其转换为指定嵌套字典结构的专业方法。利用Python的字典推导式结合Pandas Series 的 value_counts() 和 to_dict() 方法，我们能够以简洁、高性能且避免 NaN 值的方式实现这一目标。这种方法不仅提升了代码的执行效率，也增强了其可读性和维护性，是数据分析师在日常工作中处理类似需求时的推荐实践。
