问题场景描述
在数据分析和处理中，我们经常会遇到这样的需求：有两个dataframe，一个包含重复的键值（例如，订单明细表中的产品id），另一个包含每个唯一键的汇总数据（例如，产品库存或总销售额）。现在，我们希望将汇总dataframe中的值根据键在明细dataframe中出现的次数进行平均分配或拆分，并将这些拆分后的值合并回明细dataframe中。
考虑以下两个示例DataFrame：
DataFrame 1 (df1): 包含重复的id，代表需要分配的记录。
| id |
|---|
| A |
| B |
| A |
| C |
| A |
| A |
| C |
DataFrame 2 (df2): 包含唯一的id以及与这些id相关的聚合数据。
| id | Col1 | Col2 | Col3 |
|---|---|---|---|
| A | 400 | 100 | 20 |
| B | 200 | 800 | |
| C | 600 | 800 |
我们期望的输出结果是：对于df1中的每一行，如果其id在df2中有对应值，则df2中Col1, Col2, Col3的值应根据该id在df1中出现的总次数进行平均分配。例如，id 'A'在df1中出现了4次，在df2中Col1为400，那么每个id 'A'对应的Col1值应为 400 / 4 = 100。
期望输出：
| id | Col1 | Col2 | Col3 |
|---|---|---|---|
| A | 100 | 25 | 5 |
| B | 200 | 800 | |
| A | 100 | 25 | 5 |
| C | 300 | 400 | |
| A | 100 | 25 | 5 |
| A | 100 | 25 | 5 |
| C | 300 | 400 |
核心思路与步骤
解决此问题的关键在于利用Pandas的强大功能，包括value_counts()、div()和merge()。具体步骤如下：
- 计算键的出现频率： 统计df1中每个id出现的次数。
- 标准化DataFrame 2： 将df2中的数据列根据步骤1中计算出的频率进行除法运算。
- 合并数据帧： 将标准化后的df2与原始df1进行左连接，以获取最终结果。
1. 准备数据
首先，我们创建示例DataFrame：
import pandas as pd
import numpy as np
# DataFrame 1
data1 = {'id': ['A', 'B', 'A', 'C', 'A', 'A', 'C']}
df1 = pd.DataFrame(data1)
# DataFrame 2
data2 = {'id': ['A', 'B', 'C'],
'Col1': [400, 200, 600],
'Col2': [100, np.nan, 800], # 使用np.nan表示空值
'Col3': [20, 800, np.nan]}
df2 = pd.DataFrame(data2)
print("原始 df1:")
print(df1)
print("\n原始 df2:")
print(df2)2. 计算键的出现频率
使用value_counts()方法可以轻松获取df1中id列的每个唯一值的出现次数。
id_counts = df1['id'].value_counts()
print("\nid 在 df1 中的出现频率:")
print(id_counts)
# 输出示例:
# A 4
# C 2
# B 1
# Name: id, dtype: int643. 标准化DataFrame 2
这是实现值拆分的关键一步。我们将df2的id列设置为索引，然后使用div()方法将其数据列除以id_counts。axis=0确保按行（即按id）进行除法。
# 将df2的'id'列设为索引，以便与id_counts对齐
df2_indexed = df2.set_index('id')
# 将df2的数据列除以对应的id出现频率
# Pandas会自动根据索引（id）进行对齐
df2_standardized = df2_indexed.div(id_counts, axis=0)
print("\n标准化后的 df2:")
print(df2_standardized)
# 输出示例:
# Col1 Col2 Col3
# id
# A 100.0 25.0 5.0
# B 200.0 NaN 800.0
# C 300.0 400.0 NaN4. 合并数据帧
最后一步是将标准化后的df2_standardized与原始df1进行合并。为了保留df1的原始行顺序和索引信息，我们通常会先重置df1的索引，进行合并后再恢复。
# 为了在合并后保留df1的原始索引顺序，先reset_index()
# 然后进行左连接，将标准化后的数据合并到df1
# 最后通过set_index().reindex()恢复原始索引和顺序
result_df = (df1.reset_index() # 保存原始索引
.merge(df2_standardized, on='id', how='left')
.set_index('index') # 恢复原始索引
.reindex(df1.index) # 确保顺序与df1完全一致
)
print("\n最终结果 DataFrame:")
print(result_df)完整代码示例
将上述步骤整合到一起，得到简洁高效的解决方案：
import pandas as pd
import numpy as np
# 1. 准备数据
data1 = {'id': ['A', 'B', 'A', 'C', 'A', 'A', 'C']}
df1 = pd.DataFrame(data1)
data2 = {'id': ['A', 'B', 'C'],
'Col1': [400, 200, 600],
'Col2': [100, np.nan, 800],
'Col3': [20, 800, np.nan]}
df2 = pd.DataFrame(data2)
# 2. 计算id在df1中的出现频率，并标准化df2
# df2.set_index('id') 将id列设为索引
# .div(df1['id'].value_counts(), axis=0) 将df2的数据列按id出现频率进行除法
# axis=0 表示按行（即按索引id）进行对齐和除法
df2_standardized = df2.set_index('id').div(df1['id'].value_counts(), axis=0)
# 3. 合并数据帧
# df1.reset_index() 暂时保存df1的原始索引，以便后续恢复
# .merge(..., on='id', how='left') 执行左连接，基于'id'合并标准化后的数据
# .set_index('index').reindex(df1.index) 恢复原始索引并确保行顺序与df1一致
output_df = (df1.reset_index()
.merge(df2_standardized, on='id', how='left')
.set_index('index').reindex(df1.index)
)
print("最终输出:")
print(output_df)输出结果:
最终输出: id Col1 Col2 Col3 0 A 100.0 25.0 5.0 1 B 200.0 NaN 800.0 2 A 100.0 25.0 5.0 3 C 300.0 400.0 NaN 4 A 100.0 25.0 5.0 5 A 100.0 25.0 5.0 6 C 300.0 400.0 NaN
注意事项与最佳实践
- how='left' 合并： 使用左连接（how='left'）可以确保df1中的所有行都被保留，即使某些id在df2中没有对应项。对于df2中不存在的id，合并后的相应数据列将填充NaN。
- 处理 NaN 值： 如果df2中存在空值（如Col2中id 'B'对应的空值），经过除法运算后仍然会是NaN。这通常是符合预期的行为。如果需要填充这些NaN，可以在合并后使用fillna()方法。
- 索引管理： reset_index()、set_index()和reindex()的组合使用是为了确保合并后的DataFrame不仅包含正确的数据，而且其行索引和顺序与原始df1完全一致，这对于后续的数据处理或分析非常重要。
- 性能考量： 对于非常大的DataFrame，Pandas的这些操作通常是高度优化的。value_counts()和div()是基于C语言实现的，效率很高。merge()操作也经过了优化。然而，如果df1或df2的规模达到数百万甚至上亿行，可能需要考虑内存使用和更高级的优化策略。
- 通用性： 这种方法不仅适用于单个数据列，而是可以自动应用于df2中所有非id的数据列，提供了很高的通用性。
总结
本教程展示了一种高效且灵活的Pandas解决方案，用于根据键的出现频率将一个DataFrame中的值智能地拆分并合并到另一个DataFrame中。通过结合value_counts()统计频率、set_index()和div()进行标准化，以及merge()进行数据整合，我们能够轻松处理复杂的数据分配需求。掌握这种模式对于进行高级数据预处理和特征工程至关重要。
