在数据分析工作中，我们经常需要根据特定条件从大型数据集中提取子集，并对这些子集进行聚合统计。例如，识别并统计数据中缺失值（NaN）在特定分组下的出现频率。Pandas库提供了强大且灵活的工具来高效地完成这类任务。
数据加载与问题描述
假设我们有一个包含多维度数据的CSV文件，其中一列可能包含缺失的数值信息（表示为NaN）。我们的目标是找出NumericValue列为NaN的所有记录，然后根据SpatialDim和TimeDim这两个维度进行分组，并计算每个分组中满足条件的记录数量。
首先，我们需要加载数据。假设我们的数据存储在名为space.csv的文件中，内容示例如下：
Id,SpatialDimType,SpatialDim,TimeDim,Value,NumericValue,Low,High 32256659,COUNTRY,AND,2022,No data,,, 32256659,COUNTRY,AND,2022,No data,,, 32256659,COUNTRY,AND,2023,No data,,, 32256661,COUNTRY,ATG,2022,No data,,, 32256664,COUNTRY,AUS,2001,No data,,, 32256664,COUNTRY,AUS,2001,No data,,, 32256664,COUNTRY,AUS,2001,No data,,, 32256664,COUNTRY,AUS,2004,No data,,, 32256664,COUNTRY,AUS,2004,No data,,, 32256665,COUNTRY,AUT,2004,No data,,,
请注意，NumericValue列在示例数据中是空的，Pandas在读取时会将其解析为NaN。
核心操作：条件筛选与分组计数
解决此问题的核心步骤包括：
Secure Python Code Sandbox
下载
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
- 条件筛选（Filtering）：使用布尔索引筛选出NumericValue列为NaN的行。Pandas提供了isna()方法来检测缺失值。
- 分组（Grouping）：使用groupby()方法根据一个或多个列对数据进行分组。
- 计数（Counting）：对每个分组内的记录进行计数。size()方法可以返回每个分组的大小（即行数）。
- 结果整理（Result Formatting）：groupby().size()的结果是一个Series，其索引是分组键。使用reset_index()可以将其转换回DataFrame，并为计数结果指定一个有意义的列名。
以下是实现上述逻辑的Python代码：
import pandas as pd
# 假设数据文件名为 'space.csv'
# df = pd.read_csv('./space.csv', sep=',') # 如果是本地文件，请使用此行
# 为了代码的可运行性，我们直接创建一个DataFrame模拟数据
data = {
'Id': [32256659, 32256659, 32256659, 32256661, 32256664, 32256664, 32256664, 32256664, 32256664, 32256665],
'SpatialDimType': ['COUNTRY'] * 10,
'SpatialDim': ['AND', 'AND', 'AND', 'ATG', 'AUS', 'AUS', 'AUS', 'AUS', 'AUS', 'AUT'],
'TimeDim': [2022, 2022, 2023, 2022, 2001, 2001, 2001, 2004, 2004, 2004],
'Value': ['No data'] * 10,
'NumericValue': [pd.NA] * 10, # 使用pd.NA来表示缺失值，与NaN类似
'Low': [pd.NA] * 10,
'High': [pd.NA] * 10
}
df = pd.DataFrame(data)
print("原始数据（部分）:")
print(df.head())
print("\n")
# 1. 筛选 NumericValue 列为 NaN 的行
# df_filtered = df[df['NumericValue'].isna()] # 使用pd.NA时，isna()和isnull()均可
df_filtered = df[df['NumericValue'].isnull()] # 对于pd.NA，isnull()更通用
print("筛选后数据（NumericValue为NaN）:")
print(df_filtered.head())
print("\n")
# 2. 根据 SpatialDim 和 TimeDim 进行分组，并计算每个分组的行数
# size() 方法返回每个分组的元素数量
df_result = df_filtered.groupby(
by=['SpatialDim', 'TimeDim']
).size().reset_index(name='count') # reset_index 将分组键转换为列，并命名计数列为 'count'
print("最终统计结果:")
print(df_result)运行结果
执行上述代码，你将得到如下输出：
原始数据（部分）:
Id SpatialDimType SpatialDim TimeDim Value NumericValue Low High
0 32256659 COUNTRY AND 2022 No data <NA> <NA> <NA>
1 32256659 COUNTRY AND 2022 No data <NA> <NA> <NA>
2 32256659 COUNTRY AND 2023 No data <NA> <NA> <NA>
3 32256661 COUNTRY ATG 2022 No data <NA> <NA> <NA>
4 32256664 COUNTRY AUS 2001 No data <NA> <NA> <NA>
筛选后数据（NumericValue为NaN）:
Id SpatialDimType SpatialDim TimeDim Value NumericValue Low High
0 32256659 COUNTRY AND 2022 No data <NA> <NA> <NA>
1 32256659 COUNTRY AND 2022 No data <NA> <NA> <NA>
2 32256659 COUNTRY AND 2023 No data <NA> <NA> <NA>
3 32256661 COUNTRY ATG 2022 No data <NA> <NA> <NA>
4 32256664 COUNTRY AUS 2001 No data <NA> <NA> <NA>
最终统计结果:
SpatialDim TimeDim count
0 AND 2022 2
1 AND 2023 1
2 ATG 2022 1
3 AUS 2001 3
4 AUS 2004 2
5 AUT 2004 1这个结果清晰地展示了每个SpatialDim和TimeDim组合下，NumericValue为NaN的记录数量。
注意事项
- 缺失值的表示：Pandas在读取数据时，会将空字符串、#N/A、NULL等多种形式识别为NaN。isna()（或isnull()）方法是检测这些缺失值的标准方式。如果你的数据中的缺失值是特定的字符串（例如"No data"），你需要先用replace()将其替换为NaN，或者直接用字符串进行条件筛选。
- 性能优化：对于非常大的数据集，链式操作（如df[condition].groupby().size()）通常是高效的。Pandas内部对这些操作进行了优化。
- 其他聚合函数：除了size()，groupby()还支持多种聚合函数，如count()（非NaN值的数量）、mean()、sum()、min()、max()等。你也可以使用agg()方法同时应用多个聚合函数。
- 多重索引：groupby()操作默认会创建一个多重索引（MultiIndex）的Series。reset_index()方法是将其扁平化为普通DataFrame的常用技巧。
- 数据类型：确保你的列数据类型正确。例如，如果NumericValue列被错误地识别为对象（字符串）类型，那么isna()可能无法正确识别所有缺失值。
总结
本文详细阐述了如何利用Pandas库的强大功能，通过组合条件筛选（isna()或isnull()）和分组聚合（groupby().size().reset_index()）来处理数据中的缺失值并进行有意义的统计分析。这种方法在数据清洗、探索性数据分析和报告生成中非常实用，能够帮助用户从复杂数据中快速提取关键信息。掌握这些基本操作是进行高效数据处理和分析的基础。
