本文深入探讨了Pandas中pivot_table在处理包含缺失值（NaN）的索引列时可能导致数据聚合不完整的问题。通过对比pivot_table与groupby().agg()的功能和行为，文章指出pivot_table会默认丢弃索引列中含有NaN的行。教程提供了使用groupby().agg()作为更灵活、更鲁棒的替代方案，并详细解释了如何通过指定不同列的聚合函数（包括非数值列）来确保所有相关数据被正确汇总，从而避免聚合结果不准确。

1. pivot_table聚合的局限性：索引中的NaN值

在数据分析中，我们经常需要对数据进行汇总和聚合。pandas库提供了pivot_table和groupby().agg()等强大工具。然而，在使用pivot_table时，一个常见的陷阱是当其index参数指定的列中包含缺失值（nan）时，这些行会被隐式地丢弃，导致最终的聚合结果不完整。

考虑以下示例数据集：

import pandas as pd
import numpy as np

data = {
    'id': [101, 101, 101, 201, 201, 201, 201, 201],
    'name': ['India', 'India', 'India', 'Kenya', 'Kenya', np.nan, np.nan, np.nan],
    'start_date': ['2023-06-06', '2023-06-06', '2023-06-06', '2023-09-15', '2023-09-15', np.nan, np.nan, np.nan],
    'clicks': [1, 2, 1, 5, 2, np.nan, np.nan, np.nan],
    'conversions': [4, 5, 6, 8, 1, np.nan, np.nan, np.nan],
    'installs': [0, 0, 0, 0, 0, np.nan, np.nan, np.nan],
    'downloads': [np.nan, np.nan, np.nan, np.nan, np.nan, 10, 5, 4]
}
df = pd.DataFrame(data)
df['start_date'] = pd.to_datetime(df['start_date']) # 确保日期格式
print("原始DataFrame:")
print(df.to_markdown(index=False))

原始DataFrame:

| id | name | start_date | clicks | conversions | installs | downloads |
|---:|:-----|:-----------|-------:|------------:|---------:|----------:|
| 101 | India | 2023-06-06 | 1 | 4 | 0 | nan |
| 101 | India | 2023-06-06 | 2 | 5 | 0 | nan |
| 101 | India | 2023-06-06 | 1 | 6 | 0 | nan |
| 201 | Kenya | 2023-09-15 | 5 | 8 | 0 | nan |
| 201 | Kenya | 2023-09-15 | 2 | 1 | 0 | nan |
| 201 | nan | NaT | nan | nan | nan | 10 |
| 201 | nan | NaT | nan | nan | nan | 5 |
| 201 | nan | NaT | nan | nan | nan | 4 |

我们尝试使用pivot_table对数据进行聚合，以id, name, start_date作为索引，并对clicks, conversions, installs, downloads进行求和：

pivot_df = pd.pivot_table(
    df,
    index=['id','name','start_date'],
    aggfunc={'clicks': 'sum','conversions': 'sum','installs': 'sum', 'downloads': 'sum'}
)
print("\npivot_table聚合结果:")
print(pivot_df.to_markdown())

pivot_table聚合结果:

| id | name | start_date | clicks | conversions | installs | downloads |
|---:|:-----|:-----------|-------:|------------:|---------:|----------:|
| 101 | India | 2023-06-06 | 4 | 15 | 0 | 0 |
| 201 | Kenya | 2023-09-15 | 7 | 9 | 0 | 0 |

观察id=201的downloads列，其聚合结果为0。然而，在原始数据中，id=201存在三条downloads值为10, 5, 4的记录，总和应为19。pivot_table之所以返回0，是因为这三条记录的name和start_date列为NaN（或NaT，Pandas中的日期时间缺失值），而这些列被指定为pivot_table的索引。pivot_table在构建索引时，会默认丢弃所有索引列中包含缺失值的行。

2. 使用 groupby().agg() 进行灵活聚合

为了解决pivot_table因索引缺失值导致数据丢失的问题，groupby().agg()提供了更强大的灵活性和控制。它允许我们按指定的列进行分组，然后对每个分组内的不同列应用不同的聚合函数，而不会因为非分组列的缺失值而丢弃整行。

以下是使用groupby().agg()实现正确聚合的代码：

OpenClaw Skill: Obsidian Markdown to Cloudflare Pages

将选定的 Obsidian 笔记发布为静态站点并部署到 Cloudflare Pages。

下载

out_df = (df.groupby('id', as_index=False)
          .agg({'name': 'first',
                'start_date': 'first',
                'clicks': 'sum',
                'conversions': 'sum',
                'installs': 'sum',
                'downloads': 'sum'})
         )
print("\ngroupby().agg()聚合结果:")
print(out_df.to_markdown(index=False))

groupby().agg()聚合结果:

| id | name | start_date | clicks | conversions | installs | downloads |
|---:|:-----|:-----------|-------:|------------:|---------:|----------:|
| 101 | India | 2023-06-06 | 4 | 15 | 0 | 0 |
| 201 | Kenya | 2023-09-15 | 7 | 9 | 0 | 19 |

现在，id=201的downloads列正确地显示为19。

3. groupby().agg() 详解

让我们深入理解groupby().agg()的工作原理：

1. df.groupby('id', as_index=False):

   • groupby('id')：首先，我们将DataFrame按照id列进行分组。这意味着所有具有相同id的行将被视为一个组。
   • as_index=False：这个参数很重要。如果设置为True（默认值），id列将成为结果DataFrame的索引。设置为False则id列会作为普通列保留在结果中，使得输出更接近原始的表格结构，也方便后续操作。

2. .agg({...}):

   • agg()方法用于对每个分组应用一个或多个聚合函数。它接收一个字典作为参数，字典的键是需要聚合的列名，值是应用于该列的聚合函数（可以是字符串形式的函数名，如'sum', 'mean', 'first'，也可以是函数对象）。
   • 数值列聚合: 对于clicks, conversions, installs, downloads等数值列，我们使用'sum'来计算它们的总和。agg()会自动忽略这些列中的NaN值进行求和，这正是我们期望的行为。
   • 非数值列处理: 对于name和start_date这类非数值列，它们不是我们希望求和的对象，但我们仍希望在聚合结果中保留它们的信息。在这种情况下，我们可以使用聚合函数如'first'、'last'、'min'、'max'等。
     • 'first'：返回分组内该列的第一个非NaN值。在我们的示例中，对于id=101，name和start_date的值都是一致的，所以'first'能正确获取。对于id=201，尽管有几行name和start_date是NaN，但前几行有有效值（'Kenya', '2023-09-15'），'first'会获取这些有效值。如果一个组内的所有值都是NaN，那么'first'也会返回NaN。

4. 注意事项与总结

• 选择合适的工具: 当聚合操作的索引列可能包含缺失值，并且你希望所有相关数据（包括那些索引列有缺失值的行）都能被纳入计算时，groupby().agg()通常是比pivot_table更安全、更灵活的选择。
• pivot_table的适用场景: pivot_table更适合于将数据重塑为交叉表形式，通常用于所有索引和列都具有明确且不含缺失值的场景。它在生成汇总报告或进行多维分析时非常有用，但对索引中NaN的处理需要特别注意。
• 处理非数值列: 在groupby().agg()中，对于非数值列，务必选择一个合适的聚合函数（如'first', 'last', 'min', 'max', 'nunique'等），以确保在聚合过程中保留有意义的信息。如果一个组内的非数值列有多个不同的有效值，'first'或'last'将只取其中一个，这可能需要根据业务逻辑来决定。
• 性能: 对于大规模数据集，groupby().agg()在某些情况下可能比pivot_table更高效，因为它避免了pivot_table内部可能涉及的额外重塑逻辑。

通过理解pivot_table和groupby().agg()在处理缺失值方面的不同行为，我们可以更准确、更高效地完成Pandas中的数据聚合任务，避免因工具选择不当而导致的数据分析错误。