讲师中心 微信公众号
AI工具推荐 视频效率加速

Pandas GroupBy多列聚合后广播结果回原始行的正确方法

千强大大_8416

千强大大_8416

发布时间:2025-12-31 13:20:03

|

882人浏览过

|

来源于php中文网

原创

Pandas GroupBy多列聚合后广播结果回原始行的正确方法

使用pandas对dataframe按多列分组计算指标(如加权平均、调整价等),再将标量结果广播到每组所有行,应避免直接用`groupby().apply()`赋值,而需先聚合生成映射表,再通过`merge`或`map`安全回填。

在pandas中,对多列(如 ['Deal', 'Commodity', 'startdate'])进行分组并为每组计算一个汇总值(例如自定义公式得出的 fprice),然后将该值广播(broadcast)到组内每一行,是常见但易出错的操作。问题核心在于:df.groupby(...).apply(...) 返回的是一个以分组键为索引的Series(或DataFrame),若直接赋值给新列(如 df['fprice'] = ...),pandas会尝试按原始DataFrame的索引对齐,而非按分组逻辑广播——这极易导致长度不匹配、索引错位或NaN填充,正如提问中出现的 J2 被错误赋予 1.25、而 J3/J4 反而缺失的结果。

✅ 正确做法是两步分离:

  1. 先聚合:使用 groupby(...).apply(...) 或更高效的 agg() 计算每组的标量结果,得到一个带分组键的中间结果;
  2. 再回填:通过 merge(推荐,健壮且可读性强)或 map(适用于单键)将结果精准关联回原始行。

以下是以提问数据为例的完整实现:

响应式金融公司HTML5网站模板
响应式金融公司HTML5网站模板

响应式金融公司HTML5网站模板是一款适合提供家族财富管理、节税互助基金、保险投资、节税投资、财务策划和在线投资计划等服务的金融公司宣传网站模板下载。提示:本模板调用到谷歌字体库,可能会出现页面打开比较缓慢。

下载
import pandas as pd

# 示例数据(注意列名大小写与提问一致)
df = pd.DataFrame({
    'ID': ['J1', 'J2', 'J3', 'J4'],
    'Deal': ['Sell', 'Sell', 'Buy', 'Buy'],
    'Party': ['J', 'J', 'J', 'J'],
    'Commodity': ['(stock1, stock2)'] * 4,
    'startdate': ['01Jan23'] * 4,
    'enddate': ['01Feb23'] * 4,
    'fixedpricestrike': [10.0, 10.0, 5.0, 5.0],
    'quantity': [10, 10, 10, 5],
    'mtmvalue': [100.0, 100.0, 50.0, 25.0]
})

# Step 1: 按多列分组,计算每组 fprice(公式:-(∑mtm - ∑(strike×qty)) / ∑qty)
grouped_fprice = df.groupby(['Deal', 'Commodity', 'startdate']).apply(
    lambda g: -(g['mtmvalue'].sum() - (g['fixedpricestrike'] * g['quantity']).sum()) / g['quantity'].sum()
).reset_index(name='fprice')

# Step 2: 左连接回原表(确保每行都获得对应组的 fprice)
df = pd.merge(df, grouped_fprice, on=['Deal', 'Commodity', 'startdate'], how='left')

print(df)

输出结果将严格符合预期:

   ID  Deal Party         Commodity startdate  enddate  fixedpricestrike  quantity  mtmvalue  fprice
0  J1  Sell     J  (stock1, stock2)   01Jan23  01Feb23              10.0        10     100.0     0.0
1  J2  Sell     J  (stock1, stock2)   01Jan23  01Feb23              10.0        10     100.0     0.0
2  J3   Buy     J  (stock1, stock2)   01Jan23  01Feb23               5.0        10      50.0    1.25
3  J4   Buy     J  (stock1, stock2)   01Jan23  01Feb23               5.0         5      25.0    1.25

? 关键注意事项:

  • ❌ 避免 df['new_col'] = df.groupby(...).apply(...):apply 返回对象索引为分组键,与原df索引无直接对应关系,强制赋值会触发隐式对齐,引发错位;
  • ✅ merge 是最安全通用的方式,支持任意数量的分组键,且自动处理重复键、缺失组等边界情况;
  • ⚡ 若仅按单列分组,可用 map 提升性能:df['fprice'] = df['Deal'].map(grouped_fprice.set_index('Deal')['fprice']);
  • ? 公式中注意括号优先级与数据类型:确保 quantity 为数值型(非字符串),必要时添加 .astype(float);
  • ? 对于复杂计算,建议将逻辑封装为独立函数,提升可读性与复用性。

掌握这一“聚合→关联”范式,即可稳健实现多维分组指标的行级广播,是构建金融风控、交易分析等场景中衍生特征的基础技能。

热门AI工具

更多
Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

320

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

252

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

671

2026.04.13

数据类型有哪几种
数据类型有哪几种

数据类型有整型、浮点型、字符型、字符串型、布尔型、数组、结构体和枚举等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3131

2023.10.31

php数据类型
php数据类型

本专题整合了php数据类型相关内容,阅读专题下面的文章了解更多详细内容。

554

2025.10.31

c语言 数据类型
c语言 数据类型

本专题整合了c语言数据类型相关内容,阅读专题下面的文章了解更多详细内容。

542

2026.02.12

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

6887

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

804

2025.10.23

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

100

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
uni-app从入门到实战教程
uni-app从入门到实战教程

共0课时 | 0人学习

uni-app x harmony开发指南
uni-app x harmony开发指南

共0课时 | 0人学习

uni-app鸿蒙运行和发行
uni-app鸿蒙运行和发行

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn