讲师中心 微信公众号
AI工具推荐 视频效率加速

如何显著加速 Pandas 中基于时间窗口的分组滚动均值计算?

冬芳君_4020

冬芳君_4020

发布时间:2026-01-28 13:34:04

|

545人浏览过

|

来源于php中文网

原创

如何显著加速 Pandas 中基于时间窗口的分组滚动均值计算?

本文介绍一种比传统 `groupby().apply(rolling())` 快约 15 倍的替代方案,通过重构索引与预聚合滚动计算,大幅提升大规模时序分组滚动均值(如 180 天窗口)的执行效率。

在处理高频时序分组分析任务(如赛马数据中按“马匹+练马师”组合统计过去 180 天的平均积分)时,Pandas 默认的链式写法虽然语义清晰,但性能瓶颈明显:

# ❌ 原始低效写法(约 18.5 秒 / 10 万行)
df['HorseRaceCount90d'] = (
    df.groupby(['Horse', 'Trainer'], group_keys=False)
      .apply(lambda x: x.rolling(window='180D', on='RaceDate')['Points'].mean())
)

该方式对每个分组单独执行 rolling(..., on='RaceDate'),触发大量重复索引对齐与时间窗口判定,且 apply 无法被 Pandas 底层向量化优化,导致严重性能衰减。

AI舌诊面诊问诊医疗系统+诊疗商城系统源码
AI舌诊面诊问诊医疗系统+诊疗商城系统源码

AI 舌诊面诊问诊医疗系统 + 诊疗商城系统源码是一套结合 AI 辅助诊断与商品转化的健康类程序,基于浩创云、ThinkPHP(PHP)开发,支持微信服务号与 H5 端,适合做中医舌诊面诊问答、健康建议推送以及配套诊疗商品的运营。

下载

✅ 更优解:先设索引 → 分组滚动 → 合并回原表
核心思路是将时间列设为索引,使 rolling('180D') 直接作用于 DatetimeIndex,避免每次调用都解析 on= 参数;再利用 groupby(...)['Points'].rolling(...).mean() 的原生高效实现,最后通过三键(Horse, Trainer, RaceDate)精准合并结果:

# ✅ 高效写法(约 1.18 秒 / 10 万行,提速 15×)
rolling_result = (
    df.set_index('RaceDate')                    # 关键:以时间列为索引
      .groupby(['Horse', 'Trainer'])['Points']  # 按业务维度分组
      .rolling('180D')                          # 原生支持时间字符串窗口
      .mean()                                   # 向量化滚动均值
      .rename('HorseRaceCount90d')              # 命名结果列
)

# 通过 Horse + Trainer + RaceDate 三字段精确匹配合并(确保时序对齐)
df = df.merge(
    rolling_result,
    left_on=['Horse', 'Trainer', 'RaceDate'],
    right_index=True,
    how='left'
)

⚠️ 注意事项:

  • set_index('RaceDate') 前务必确认 RaceDate 已为 datetime64[ns] 类型(可用 pd.to_datetime() 强制转换);
  • merge 时必须包含全部分组键(Horse, Trainer)和时间戳(RaceDate),否则可能因索引重复或错位导致 NaN 或数据错乱;
  • 若原始数据存在同一 (Horse, Trainer, RaceDate) 多条记录(如多场同日赛事),需提前去重或聚合,否则 merge 可能产生笛卡尔膨胀;
  • 此方法天然支持 min_periods=1(默认行为),如需严格要求满窗才计算,可追加 .rolling('180D', min_periods=180),但注意天数精度受实际日期密度影响。

? 扩展建议:
若需批量计算多个时间窗口(如 30D/90D/180D),可封装为函数复用索引结构;对于超大规模数据(千万级+),建议结合 dask.dataframe 或 polars 进一步加速——后者在同类滚动操作中通常比 Pandas 再快 2–5 倍。

总之,避开 apply、善用索引驱动的原生 rolling、精准 merge 回填,是优化 Pandas 时间感知分组滚动计算的黄金三角。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

340

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

252

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

691

2026.04.13

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

20

2026.10.28

Vite 如何搭配 Vue.js
Vite 如何搭配 Vue.js

Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。

0

2026.10.28

Vite 项目目录怎么看
Vite 项目目录怎么看

Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章,帮助读者理解各文件夹的用途与引用方式。

0

2026.10.28

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

120

2026.10.22

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

60

2026.10.22

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

60

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
uni-app从入门到实战教程
uni-app从入门到实战教程

共0课时 | 0人学习

uni-app x harmony开发指南
uni-app x harmony开发指南

共0课时 | 0人学习

uni-app鸿蒙运行和发行
uni-app鸿蒙运行和发行

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn