讲师中心 微信公众号
AI工具推荐 视频效率加速

高效生成滚动子序列 DataFrame:使用 NumPy 滑动窗口加速计算

大伟同学_5379

大伟同学_5379

发布时间:2026-02-11 16:53:08

|

327人浏览过

|

来源于php中文网

原创

高效生成滚动子序列 DataFrame:使用 NumPy 滑动窗口加速计算

本文介绍如何利用 numpy.lib.stride_tricks.sliding_window_view 高效构建滚动窗口 dataframe,替代低效循环,在 10 万行数据上提速超 400 倍,兼顾内存友好性与代码简洁性。

在时间序列分析、特征工程或滑动统计建模中,常需将一列数据(如传感器读数、股价序列)转换为多个长度固定的滚动子序列,并组织成二维结构(如 DataFrame)。例如,对长度为 1000 的序列以窗口大小 5 进行滑动,应得到 996 个长度为 5 的子序列,最终构成形状为 (5, 996) 的矩阵——每列代表一个起始位置的窗口,每行对应窗口内偏移量(即 col0 是各窗口首元素,col1 是次元素,依此类推)。

传统做法(如嵌套 for 循环 + iloc)虽逻辑直观,但时间复杂度为 O(n×w),在 n=20,000 时耗时近 10 分钟,完全不可扩展。根本瓶颈在于频繁的 Python 层索引开销与内存拷贝。

推荐方案:零拷贝滑动视图 + 向量化转置
NumPy 1.20+ 提供的 sliding_window_view 可创建内存共享的滑动视图——不复制原始数据,仅通过调整 strides 和 shape 实现“虚拟”窗口,近乎常数时间开销。配合 .T 转置,即可自然对齐目标格式(行=窗口,列=时间步):

import pandas as pd
import numpy as np
from numpy.lib.stride_tricks import sliding_window_view as swv

# 构造示例数据(1000 行)
N = 1000
df = pd.DataFrame({'col0': range(1, N + 1)})

# ✅ 高效生成滚动子序列 DataFrame(窗口大小=5)
window_size = 5
rolling_array = swv(df['col0'], window_shape=window_size)  # 形状: (996, 5)
result_df = pd.DataFrame(rolling_array.T).add_prefix('col')  # 转置后: (5, 996) → 列命名 col0~col995

print(result_df.head())
#    col0  col1  col2  col3  col4  col5  ...  col990  col991  col992  col993  col994  col995
# 0     1     2     3     4     5     6  ...     991     992     993     994     995     996
# 1     2     3     4     5     6     7  ...     992     993     994     995     996     997
# 2     3     4     5     6     7     8  ...     993     994     995     996     997     998
# 3     4     5     6     7     8     9  ...     994     995     996     997     998     999
# 4     5     6     7     8     9    10  ...     995     996     997     998     999    1000

性能对比(n=100,000)

  • 循环实现:≈ 10,000 ms(10 秒级)
  • sliding_window_view:≈ 25 ms(提升 400×),且内存占用恒定(视图无拷贝)

关键注意事项

  • ✅ 兼容性:需 NumPy ≥ 1.20;旧版本可用 np.lib.stride_tricks.as_strided(需手动计算 strides,易出错,不推荐)。
  • ⚠️ 只读语义:sliding_window_view 返回只读数组,若需修改结果,请显式调用 .copy()。
  • ? 输出维度:输入长度 n、窗口大小 w → 输出列数为 n - w + 1,行数恒为 w。
  • ? 多列扩展:若需对多列同时滚动,先 swv(df.values, w) 再按需重塑(注意 axis 顺序),但需确保列间对齐逻辑一致。

该方法将滚动窗口从“计算密集型任务”降维为“元数据操作”,是 Pandas 用户处理大规模滑动特征的首选实践。结合后续向量化操作(如 df.mean(axis=0) 计算每窗口均值),可构建端到端高性能流水线。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

320

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

252

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

671

2026.04.13

传感器故障解决方法
传感器故障解决方法

传感器故障排除指南:识别故障症状(如误读或错误代码)。检查电源和连接(确保连接牢固,无损坏)。校准传感器(遵循制造商说明)。诊断内部故障(目视检查、信号测试、环境影响评估)。更换传感器(选择相同规格,遵循安装说明)。验证修复(检查信号准确性,监测异常行为)。

4344

2024.06.04

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

60

2026.10.22

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

40

2026.10.22

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

40

2026.10.22

Gradle怎么构建Java项目
Gradle怎么构建Java项目

本专题介绍Gradle Java项目构建方法,涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查,帮助你理解各阶段的任务关系,逐步完成项目构建。

20

2026.10.22

PHP时间戳漏洞修复教程
PHP时间戳漏洞修复教程

本专题汇总PHP常见时间戳漏洞,包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等,并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案,帮助开发者快速排查和加固时间相关代码。

40

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn