本文详解如何基于多条件（如字符串后缀匹配）对 DataFrame 进行行级筛选，并按账户分组聚合金额，再与元信息表关联生成结构化结果，避免 apply 嵌套陷阱，推荐高效、可读性强的 groupby + concat + merge 范式。
本文详解如何基于多条件（如字符串后缀匹配）对 dataframe 进行行级筛选，并按账户分组聚合金额，再与元信息表关联生成结构化结果，避免 `apply` 嵌套陷阱，推荐高效、可读性强的 `groupby + concat + merge` 范式。
在 pandas 中处理“按规则动态分组并聚合”的需求时，直接在 df2 上使用 apply 并嵌套遍历 df1（尤其配合 lambda 和列表追加）不仅性能差，还极易因索引/列名不匹配（如报错 KeyError: 'Indi'）或作用轴未指定（缺少 axis=1）而失败。更专业、稳定且可扩展的解法是：先对 df1 按业务逻辑拆分为多个子集并分别聚合，再统一合并，最后与 df2 精确关联。
✅ 正确实现步骤
首先构建示例数据：
import pandas as pd
data1 = {
'Acc': [1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 3, 3, 3, 3, 4],
'indi_val': ['Val1', 'val2', 'Val_E', 'Val1_E', 'Val1', 'Val3', 'val2', 'val2_E', 'val22_E', 'val2_A', 'val2_V', 'Val_E', 'Val_A', 'Val', 'Val2', 'val7'],
'Amt': [10, 20, 5, 5, 22, 38, 15, 25, 22, 23, 24, 56, 67, 45, 87, 88]
}
df1 = pd.DataFrame(data1)
data2 = {
'Acc': [1, 1, 2, 2, 3, 4],
'Indi': ['With E', 'Without E', 'With E', 'Without E', 'Normal', 'Normal']
}
df2 = pd.DataFrame(data2)接着，按三类逻辑分别聚合 df1：
- Normal：全量求和（无字符串过滤）
- With E：indi_val 以 '_E' 结尾 → 使用 .str.endswith('_E')
- Without E：indi_val 不以 '_E' 结尾 → 使用 ~df1['indi_val'].str.endswith('_E')
df_temp = []
# Normal: 所有记录按 Acc 求和
normal_agg = df1.groupby('Acc')['Amt'].sum().reset_index()
normal_agg['Indi'] = 'Normal'
df_temp.append(normal_agg)
# With E: 仅匹配 '_E' 后缀
with_e_mask = df1['indi_val'].str.endswith('_E')
with_e_agg = df1[with_e_mask].groupby('Acc')['Amt'].sum().reset_index()
with_e_agg['Indi'] = 'With E'
df_temp.append(with_e_agg)
# Without E: 排除 '_E' 后缀
without_e_agg = df1[~with_e_mask].groupby('Acc')['Amt'].sum().reset_index()
without_e_agg['Indi'] = 'Without E'
df_temp.append(without_e_agg)
# 合并三类结果
result_long = pd.concat(df_temp, ignore_index=True)最后，与 df2 按 ['Acc', 'Indi'] 双键精确关联（确保输出顺序和结构与预期一致）：
final_result = df2.merge(result_long, on=['Acc', 'Indi'], how='left') print(final_result)
输出结果为：
Acc Indi Amt 0 1 With E 10 1 1 Without E 90 2 2 With E 47 3 2 Without E 62 4 3 Normal 255 5 4 Normal 88
⚠️ 注意：原始问题中 Acc==1 的 With E 实际应为 5 + 5 = 10（对应 'Val_E' 和 'Val1_E'），而非示例目标中的 7；同理 Acc==3 的 Normal 总和为 56+67+45+87 = 255。本方案严格遵循数据事实，结果可验证、可复现。
✅ 为什么优于 apply？
- ❌ df2.apply(get_indi) 中未传 axis=1 → 默认 axis=0，导致函数接收的是列而非行，引发 KeyError: 'Indi'；
- ❌ df1.apply(...) 在 get_indi 内部滥用，每次调用都全表扫描，时间复杂度 O(n×m)，不可扩展；
- ✅ 分组聚合是向量化操作，底层由 C/Cython 加速，性能提升数倍至数十倍；
- ✅ 逻辑解耦清晰：过滤 → 分组 → 标记 → 合并 → 关联，每步可单独调试、单元测试；
- ✅ 易于扩展：新增规则（如 With A）只需追加一个 df_temp.append(...) 分支。
掌握这种“先分治、后统合”的思维，是写出健壮、高性能 pandas 数据处理代码的关键。
