本文旨在帮助读者掌握如何使用 Pandas 库对 DataFrame 中多个列的组合进行分组，并计算每个组合的统计数据，包括中位数、平均值、计数、90% 分位数和 10% 分位数。通过 groupby() 和 agg() 函数的灵活运用，以及 MultiIndex 的构建，可以高效地完成数据分析任务，并将结果以清晰的方式呈现。
DataFrame 分组与统计聚合
在数据分析中，经常需要对数据进行分组，然后针对每个组计算统计指标。Pandas 提供了强大的 groupby() 方法来实现这一功能。结合 agg() 方法，可以轻松地计算各种统计量，例如均值、中位数、计数和分位数。
假设我们有以下 DataFrame：
import pandas as pd
import numpy as np
data = {'Var1': [True, False, True, False, True, False, True, False, True],
'Var2': [1, 2, 3, 1, 2, 3, 1, 2, 3],
'Var3': ['A', 'B', 'C', 'A', 'B', 'C', 'A', 'B', 'C'],
'Value': [12, 93, 28, 23, 94, 12, 85, 23, 2]}
df = pd.DataFrame(data)
print(df)输出：
Var1 Var2 Var3 Value 0 True 1 A 12 1 False 2 B 93 2 True 3 C 28 3 False 1 A 23 4 True 2 B 94 5 False 3 C 12 6 True 1 A 85 7 False 2 B 23 8 True 3 C 2
我们的目标是根据 Var1、Var2 和 Var3 的组合对数据进行分组，并计算每个组的 Value 列的中位数、平均值、计数、90% 分位数和 10% 分位数。
实现步骤
-
分组与聚合
使用 groupby() 方法对 DataFrame 进行分组，并使用 agg() 方法计算统计量。
df = df.groupby(["Var1", "Var2", "Var3"]).agg( Med=("Value", "median"), Mean=("Value", "mean"), Count=("Value", "count"), q90=("Value", lambda x: x.quantile(q=0.9)), q10=("Value", lambda x: x.quantile(q=0.1)), )这里，agg() 方法接受一个字典，字典的键是新列的名称，值是一个元组，元组的第一个元素是要进行统计的列名，第二个元素是统计函数。 对于分位数，我们使用 lambda 函数来调用 quantile() 方法。
-
重建索引 (Reindexing)
为了确保所有可能的组合都存在于结果中，即使某些组合在原始数据中没有出现，我们需要重建索引。
df = df.reindex( pd.MultiIndex.from_product( [[True, False], [1, 2, 3], ["A", "B", "C"]], names=["Var1", "Var2", "Var3"] ) )pd.MultiIndex.from_product() 创建一个包含所有可能组合的多重索引。reindex() 方法使用这个多重索引来重新索引 DataFrame。 如果某个组合在原始数据中不存在，则其对应的统计量将为 NaN。
-
分组打印结果
最后，我们可以遍历分组后的 DataFrame，并打印每个组的结果。
for _, g in df.groupby(level=[0, 1, 2]): print(g) print("-" * 80)groupby(level=[0, 1, 2]) 按照多重索引的级别进行分组。
完整代码示例
import pandas as pd
import numpy as np
data = {'Var1': [True, False, True, False, True, False, True, False, True],
'Var2': [1, 2, 3, 1, 2, 3, 1, 2, 3],
'Var3': ['A', 'B', 'C', 'A', 'B', 'C', 'A', 'B', 'C'],
'Value': [12, 93, 28, 23, 94, 12, 85, 23, 2]}
df = pd.DataFrame(data)
df = df.groupby(["Var1", "Var2", "Var3"]).agg(
Med=("Value", "median"),
Mean=("Value", "mean"),
Count=("Value", "count"),
q90=("Value", lambda x: x.quantile(q=0.9)),
q10=("Value", lambda x: x.quantile(q=0.1)),
)
df = df.reindex(
pd.MultiIndex.from_product(
[[True, False], [1, 2, 3], ["A", "B", "C"]], names=["Var1", "Var2", "Var3"]
)
)
for _, g in df.groupby(level=[0, 1, 2]):
print(g)
print("-" * 80)注意事项
- 确保在计算分位数时，数据类型是数值型。如果数据类型是字符串，需要先转换为数值型。
- 如果某些组的数据量很小，计算出的分位数可能没有意义。
- reindex() 方法可以确保所有可能的组合都存在于结果中，但如果组合的数量非常大，可能会导致内存占用过高。
总结
本文介绍了如何使用 Pandas 库对 DataFrame 中多个列的组合进行分组，并计算每个组合的统计数据。通过 groupby() 和 agg() 函数的灵活运用，以及 MultiIndex 的构建，可以高效地完成数据分析任务。这种方法在处理需要对数据进行多维度分析的场景中非常有用。
