本文介绍如何对 dataframe 中两个等长列表列(如类别与对应分数)进行元素级关联,通过 explode 展开后 pivot_table 聚合,高效计算各分类的总分、正/负分计数等指标。
本文介绍如何对 dataframe 中两个等长列表列(如类别与对应分数)进行元素级关联,通过 explode 展开后 pivot_table 聚合,高效计算各分类的总分、正/负分计数等指标。
在实际数据分析中,常遇到将“类别列表”与“数值列表”一一对应的场景(例如:每个商品有多个标签及对应权重、每条日志含多组事件类型与耗时)。Pandas 原生不支持跨列列表对齐,需借助 explode() 实现行级展开,再通过 pivot_table 进行结构化聚合。
以下是完整实现步骤:
1. 构造示例数据
import pandas as pd
cat = [
['speed', 'health', 'strength', 'health'],
['strength', 'speed', 'speed'],
['strength', 'speed', 'health', 'speed']
]
pts = [
[1, 2, 1.5, -1],
[2, -1.5, 1.5],
[-1, 2, 0, 1.5]
]
df = pd.DataFrame({'cat': cat, 'pts': pts})2. 同时展开两列(关键!)
使用 explode(['cat', 'pts']) 确保类别与分数严格按原始顺序一一对应(Pandas 1.3+ 支持多列 explode):
tmp = df.explode(['cat', 'pts']) # 此时每行对应一个 (category, point) 对,且保留原始行索引
3. 定义聚合函数并透视汇总
为同时计算总和、正数个数、负数个数,定义辅助函数,并传入 pivot_table 的 aggfunc:
def count_pos(x): return (x > 0).sum()
def count_neg(x): return (x < 0).sum()
pivot = tmp.pivot_table(
index=tmp.index,
columns='cat',
values='pts',
aggfunc={'sum': 'sum', 'pos': count_pos, 'neg': count_neg}
)
# 注意:pivot_table 默认对重复列名去重,此处用字典明确指定各聚合项4. 重命名列并合并结果
将多级列名扁平化为 category_aggregation 格式,并与原 DataFrame 拼接:
pivot.columns = [f"{col[1]}_{col[0]}" for col in pivot.columns] # 如 'health_sum'
result = pd.concat([df, pivot], axis=1)✅ 输出效果:自动覆盖所有出现过的类别(speed/health/strength),缺失值以 NaN 表示;sum 为浮点型,pos/neg 为整型,语义清晰。
⚠️ 注意事项:
- explode(['cat', 'pts']) 要求两列列表长度一致,否则会报错 —— 建议预先校验:df.apply(lambda x: len(x['cat']) == len(x['pts']), axis=1).all()
- 若需统计零值,可扩展 count_zero = lambda x: (x == 0).sum()
- 对于超大规模数据,explode 可能增加内存占用,可考虑分块处理或使用 itertools.chain 配合 groupby 替代方案。
该方法兼具可读性与扩展性,是处理“键值对列表列”聚合问题的标准范式。

















