讲师中心 微信公众号
AI工具推荐 视频效率加速

pandas 如何在 rolling().apply() 中使用 numba 加速

酷静姑娘_4046

酷静姑娘_4046

发布时间:2026-01-27 18:01:03

|

775人浏览过

|

来源于php中文网

原创

rolling().apply()中直接传numba函数会报错,因pandas要求函数处理一维ndarray且返回标量,而numba不兼容Series;正确做法是设raw=True、用.values提取纯数组,并确保numba函数仅处理numpy.ndarray、自行处理NaN。

pandas 如何在 rolling().apply() 中使用 numba 加速

rolling().apply() 里直接传 numba 函数会报错

因为 pandas 的 rolling().apply() 要求传入的函数必须接受一维 ndarray(或 Series),且返回标量或同长度数组;而 numba.jit 编译后的函数默认不支持对 pandas 对象(如 Series)的直接调用,更不兼容其内部索引逻辑。常见错误是:TypingError: Failed in nopython mode... 或 AttributeError: 'numpy.ndarray' object has no attribute 'values'。

关键点:必须确保 numba 函数只处理纯 numpy.ndarray,且输入形状可控(通常是 1D)、无缺失值干扰。

正确做法:先用 numba 编译纯数组函数,再在 apply 中手动提取 .values

绕过 pandas 对象、只喂给 numba 纯 numpy.ndarray 是最稳妥的路径。注意三点:

  • numba.jit 函数需加 nopython=True 和 fastmath=True(若计算允许)以获得实际加速
  • rolling().apply() 的 raw=True 参数必须设为 True,否则传入的是 Series,不是 ndarray
  • 原始数据中若有 NaN,raw=True 下仍会传入 nan 值,numba 函数需自行处理(比如用 np.isnan() 过滤或提前 dropna)

示例:

import numpy as np
import pandas as pd
from numba import jit
<p>@jit(nopython=True, fastmath=True)
def my_rolling_sum(arr):</p><h1>arr 是 1D numpy.ndarray,可能含 nan</h1><pre class='brush:python;toolbar:false;'>total = 0.0
for x in arr:
    if not np.isnan(x):
        total += x
return total

s = pd.Series([1.0, 2.0, np.nan, 4.0, 5.0]) result = s.rolling(3).apply(my_rolling_sum, raw=True)

替代方案:用 numba 实现完整 rolling 逻辑(跳过 pandas apply)

当窗口计算逻辑复杂、或对性能极致敏感时,rolling().apply() 的 Python 层开销(如每次构造子数组、类型检查)反而成为瓶颈。此时更高效的方式是:

Python数据分析(专业版)
Python数据分析(专业版)

企业级Python数据分析方案,支持机器学习建模、时间序列预测、大数据处理与自动化报表。

下载
  • 用 np.lib.stride_tricks.sliding_window_view(NumPy 1.20+)生成窗口视图
  • 把整个窗口数组传给 numba 函数批量处理(避免逐窗口调用)
  • 注意边界:sliding_window_view 不自动处理首尾不足窗口长度的情况,需手动 pad 或截断

示例(等效于 rolling(3).sum()):

from numpy.lib.stride_tricks import sliding_window_view
<p>@jit(nopython=True)
def batch_sum(windows):  # windows.shape == (n_windows, window_size)
out = np.empty(windows.shape[0], dtype=windows.dtype)
for i in range(windows.shape[0]):
acc = 0.0
for j in range(windows.shape[1]):
if not np.isnan(windows[i, j]):
acc += windows[i, j]
out[i] = acc
return out</p><p>arr = s.to_numpy()
windows = sliding_window_view(arr, window_shape=3)
result_arr = batch_sum(windows)  # 返回 (len-2,) 数组</p>

容易被忽略的坑:dtype 不一致和 missing value 处理

numba 对 dtype 敏感,如果输入数组是 float64,但某次 rolling 窗口因全为 NaN 导致 pandas 内部回退为 object 类型,raw=True 仍可能传入非数值数组,触发 numba 编译失败或运行时报错。

务必在调用前统一 dtype 并显式处理缺失值:

  • 用 s.astype(np.float64) 强制数值类型
  • 避免在滚动前混用 None 和 np.nan(后者才是 numba 可识别的)
  • 若业务允许,优先用 s.fillna(0) 或 s.dropna() 预处理,比在 numba 函数里反复判断 np.isnan 更快

真正卡住人的往往不是 numba 怎么写,而是 pandas 滚动窗口怎么把数据“干净地”塞进去 —— 这一步没控好,后面全白搭。

热门AI工具

更多
VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

300

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

212

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

331

2026.04.13

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

120

2026.09.23

Buffalo框架路由与请求处理实操指南
Buffalo框架路由与请求处理实操指南

本专题讲解Buffalo框架路由与请求处理机制,涵盖路由注册与分组、资源路由、Handler编写规范、Context上下文方法、参数绑定、中间件编写挂载、Session与Cookie读写、Flash消息及错误页面定制方法。

60

2026.09.23

Buffalo框架零基础入门教程
Buffalo框架零基础入门教程

本专题整理Buffalo框架入门内容,涵盖Go环境准备、buffalo CLI安装、新项目生成、目录结构说明、dev热加载启动、数据库连接配置与常见报错排查,帮助新手按约定优于配置的思路跑通第一个Buffalo框架应用。

40

2026.09.23

Conan创建软件包配方指南
Conan创建软件包配方指南

本专题介绍通过conanfile.py创建软件包的方法,讲解包名、版本、依赖和构建设置等基础信息,以及source、build、package、package_info等常用方法的作用及编写思路。

40

2026.09.22

Conan二进制包配置指南
Conan二进制包配置指南

本专题介绍Conan根据操作系统、编译器、架构和构建类型生成二进制包的方法,讲解Profile、Settings、Options及Package ID的作用,帮助管理不同平台和编译环境下的包版本。

40

2026.09.22

Conan私有仓库搭建教程
Conan私有仓库搭建教程

本专题系统的讲解Conan私有仓库的搭建流程,涵盖仓库服务部署、存储目录配置、用户认证、权限划分和远程地址添加,并介绍内部C++依赖包的上传、下载及版本维护方法。

40

2026.09.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn