讲师中心 微信公众号
AI工具推荐 视频效率加速

Polars 中对连续 n 行进行分组聚合的惯用方法

云浩大大_3101

云浩大大_3101

发布时间:2026-01-30 10:21:18

|

669人浏览过

|

来源于php中文网

原创

Polars 中对连续 n 行进行分组聚合的惯用方法

在 polars 中,对 dataframe 按固定行数(如每 n 行)进行滑动或分段聚合,最简洁、高效且符合惯用法的方式是结合 `with_row_index()` 与 `group_by_dynamic()`,并显式将索引列转为有符号整型(如 `int32`)。

当需要将大型 DataFrame(例如百万级行、多列)按连续 n 行(如 n = 100)划分为非重叠段并执行聚合(如均值、求和、统计量等)时,group_by_dynamic(index_column=..., every="ni") 是 Polars 官方推荐且性能最优的方案——它专为基于索引/时间的动态分组设计,底层高度优化,支持并行执行,远优于手动切片或 group_by(pl.int_range().floor_div(n)) 等替代写法。

你最初的实现逻辑正确,但可进一步简化与健壮化。推荐写法如下:

import polars as pl

df = pl.DataFrame({"a": [1, 1, 3, 8, 62, 535, 4213], "b": [10, 20, 30, 40, 50, 60, 70]})

n = 3
result = (
    df
    .with_row_index()  # 自动添加 'index' 列(UInt32 类型)
    .group_by_dynamic(
        index_column=pl.col("index").cast(pl.Int32),  # 必须转为有符号整型
        every=f"{n}i",                                 # "3i" 表示每 3 行一组(i = integer)
        period=f"{n}i",                                # 可选:若需重叠窗口,设 period < every
        closed="left"                                  # 默认行为:[0,3), [3,6), ...
    )
    .agg(
        pl.col("a").mean().alias("a_mean"),
        pl.col("b").sum().alias("b_sum"),
        pl.col("a").count().alias("n_rows")  # 验证每组实际行数(末组可能不足 n 行)
    )
)
print(result)

✅ 关键要点说明:

python学习
python学习

Python 编程学习助手 skill,面向零基础用户。 当用户表达以下意图时触发: - 学习 Python 基础概念(变量、数据类型、循环、函数、类等) - 请求 Python 练习题或测验 - 请求审查或调试 Python 代码 - 请求 Python 项目实战指导(爬虫、数据分析、Web 开发等入门项目) - 泛化表述如"教我 Python""我想学编程""Python 怎么写""帮我学 Python" 此 skill

下载
  • with_row_index() 比 with_columns(index=pl.int_range(...)) 更简洁、语义更清晰,且避免手写长度计算;
  • group_by_dynamic 要求 index_column 为有符号整型(Int32 或 Int64),因此必须 .cast(pl.Int32);
  • "ni" 中的 i 表示 integer(整数步长),区别于时间单位(如 "3h"),这是对行索引分组的正确语法;
  • 若数据量极大(如 10**6 行),该方案仍保持 O(N) 时间复杂度与良好内存局部性,无显式 Python 循环或副本开销;
  • 注意:末组可能不足 n 行(如 7 行分 3 行一组 → 三组:[0–2], [3–5], [6]),closed="left" 确保行为可预测;如需严格丢弃不完整组,可在后续用 filter(pl.col("n_rows") == n)。

⚠️ 不推荐的替代方式(性能或可维护性较差):

  • df.group_by(pl.int_range(0, pl.len()).floor_div(n)):虽可行,但 int_range + floor_div 构造键列效率略低,且语义不如 group_by_dynamic 直观;
  • 手动切片循环(for i in range(0, len(df), n): ...):完全违背 Polars 向量化原则,性能急剧下降;
  • 使用 rolling:适用于重叠窗口(如移动平均),而非非重叠分段聚合。

综上,你已走在正确的路上——只需将 with_columns(...int_range...) 升级为 with_row_index() 并补上类型转换,便是 Polars 社区公认的惯用、高效、可扩展的最佳实践。

热门AI工具

更多
Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

相关专题

更多
go语言 数组和切片
go语言 数组和切片

本专题整合了go语言数组和切片的区别与含义,阅读专题下面的文章了解更多详细内容。

1852

2025.09.03

C++类型转换方式
C++类型转换方式

本专题整合了C++类型转换相关内容,想了解更多相关内容,请阅读专题下面的文章。

2382

2025.07.15

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

20

2026.10.22

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

0

2026.10.22

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

20

2026.10.22

Gradle怎么构建Java项目
Gradle怎么构建Java项目

本专题介绍Gradle Java项目构建方法,涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查,帮助你理解各阶段的任务关系,逐步完成项目构建。

0

2026.10.22

PHP时间戳漏洞修复教程
PHP时间戳漏洞修复教程

本专题汇总PHP常见时间戳漏洞,包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等,并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案,帮助开发者快速排查和加固时间相关代码。

20

2026.10.22

Golangci-lint配置文件与规则设置
Golangci-lint配置文件与规则设置

本专题聚焦Golangci-lint YAML配置文件,讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置,便于团队统一检查标准。

0

2026.10.22

Golangci-lint安装与入门教程
Golangci-lint安装与入门教程

本专题讲解Golangci-lint的安装、初始化、基础命令和首次代码检查,覆盖本地环境、Docker及多平台用法,帮助Go开发者快速上手。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn