讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在 Polars 中实现“5 分钟内后续出现特定事件”的时序窗口过滤?

阿辰吖_7313

阿辰吖_7313

发布时间:2026-11-05 16:52:25

|

946人浏览过

|

来源于php中文网

原创

如何在 Polars 中实现“5 分钟内后续出现特定事件”的时序窗口过滤?

本文详解如何在 Polars 中高效实现类似 SQL COUNT_IF(...) OVER (PARTITION BY user_id ORDER BY t RANGE BETWEEN CURRENT ROW AND '5 MINUTES' FOLLOWING) 的逻辑,即筛选出「在相同用户下、当前记录之后(含/不含自身)5 分钟内至少发生一次事件 A」的所有原始记录,并提供可复用的模式化解决方案。

本文详解如何在 polars 中高效实现类似 sql `count_if(...) over (partition by user_id order by t range between current row and '5 minutes' following)` 的逻辑,即筛选出「在相同用户下、当前记录之后(含/不含自身)5 分钟内至少发生一次事件 a」的所有原始记录,并提供可复用的模式化解决方案。

在 Polars 中模拟 SQL 的 RANGE 窗口函数(如“未来 5 分钟内是否存在某事件”)不能直接通过 .over() + 表达式链完成——因为 Polars 的 rolling 表达式不支持嵌套在聚合上下文(如 .filter() 或 .over())中;而 DataFrame 级的 .rolling() 又默认执行聚合,会丢失原始行粒度。解决这一矛盾的关键在于:先用 rolling(..., group_by=...) 构建带时间窗口的分组聚合结果,再通过 pl.all().first() 保留原始行信息,最后基于窗口内事件列表做逻辑判断并还原原始顺序。

以下是完整、可运行的实现方案(以筛选“5 分钟内后续出现 'A' 事件”的记录为例):

import polars as pl
from datetime import datetime

# 示例数据(注意:t 列必须为 Datetime 类型)
df = pl.DataFrame({
    "t": [
        datetime(2025, 1, 1, 0, 0),
        datetime(2025, 1, 1, 0, 0),
        datetime(2025, 1, 1, 0, 0),
        datetime(2025, 1, 1, 0, 1),
        datetime(2025, 1, 1, 0, 3),
        datetime(2025, 1, 1, 0, 3),
        datetime(2025, 1, 1, 0, 4),
        datetime(2025, 1, 1, 0, 5),
        datetime(2025, 1, 1, 0, 5),
        datetime(2025, 1, 1, 0, 6),
    ],
    "user_id": ["Bart", "Aaron", "Charles", "Aaron", "Aaron", "Charles", "Bart", "Bart", "Aaron", "Aaron"],
    "cat": ["C", "C", "B", "A", "C", "B", "A", "A", "B", "A"],
})

# ✅ 核心方案:保留原始行 + 时间窗口内事件检查
result = (
    df
    .with_row_index("i")  # 步骤1:添加原始索引,用于最终排序还原顺序
    .rolling(
        index_column="t",
        period="5m",
        offset="0m",
        group_by="user_id",
        closed="both"  # 包含当前行;若仅需“后续”(不含当前),请见下方说明
    )
    .agg(
        pl.all().first(),           # 步骤2:对每列取窗口内首行值 → 保留原始行内容
        pl.col("cat").alias("_filt")  # 步骤3:单独聚合 cat 列为列表,用于条件判断
    )
    .filter(pl.col("_filt").list.contains("A"))  # 步骤4:窗口内存在 'A' 则保留该行
    .sort("i")                                   # 步骤5:按原始索引排序,恢复输入顺序
    .drop(["_filt", "i"])                        # 步骤6:清理临时列
)

print(result)

⚠️ 关键注意事项:

  • closed="both" 表示窗口包含当前行及其后 5 分钟内的所有行;若业务要求严格“后续”(即排除当前行本身),需改用 closed="right" 或保持 "both" 并手动切片:
    .filter(pl.col("_filt").list.slice(1, None).list.contains("A"))
  • pl.all().first() 是核心技巧:它确保每个窗口输出一行,且该行内容完全对应窗口起始位置的原始记录(因 Polars rolling 默认按 index_column 升序处理,且 first 取窗口左端点行)。
  • group_by 必须显式指定(如 "user_id"),否则跨用户混算将导致逻辑错误。
  • 时间列 t 必须是 Datetime 类型(推荐 time_unit='us'),否则 period 解析可能失败。

延伸:SQL → Polars 窗口思维转换指南
| SQL 概念 | Polars 等效实现 | 说明 | |----------|----------------|------| | PARTITION BY X | group_by="X" in .rolling() | 分组维度必须由 DataFrame 级滚动指定 | | ORDER BY Y | index_column="Y" | 时间/序号列必须作为 index_column,不可用 .sort() 替代 | | RANGE BETWEEN CURRENT ROW AND INTERVAL '5m' FOLLOWING | period="5m", offset="0m", closed="both" | offset="0m" 表示从当前时刻开始,closed="both" 包含两端 | | COUNT_IF(cond) > 0 | .agg(pl.col(...).alias("_tmp")).filter(pl.col("_tmp").list.contains(...)) | 将布尔条件转化为 list.contains() 检查 |

此模式不仅适用于事件存在性判断,还可扩展至:计算窗口内某事件首次出现时间、统计后续事件频次、提取后续首条匹配记录等场景,是 Polars 处理复杂时序依赖逻辑的基石范式。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1871

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

5104

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1809

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

30797

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3647

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3667

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1243

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

616

2023.08.10

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

0

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn