
本文介绍在 polars 中按分组(partition)进行时间窗口滚动计算时,如何不依赖自连接,直接获取每个滚动窗口内最大值所对应的原始日期,并对比 sql 实现思路。
本文介绍在 polars 中按分组(partition)进行时间窗口滚动计算时,如何不依赖自连接,直接获取每个滚动窗口内最大值所对应的原始日期,并对比 sql 实现思路。
在使用 Polars 进行时间序列分析时,常需对每个分组(如 category)执行基于日期的滚动聚合(如 rolling_max_by)。但原生 rolling_max_by 仅返回数值结果,无法直接返回该最大值对应的 date —— 这正是实际建模与归因分析中的关键需求。
幸运的是,Polars 提供了更灵活、更高效的替代方案:rolling_apply + 自定义函数,配合结构化表达式,可避免低效的自连接(self-join),显著提升性能与可读性。
✅ 推荐方案:使用 rolling_apply 返回 (value, date) 元组
import polars as pl
from datetime import date
from random import randint
df = pl.DataFrame({
"category": [cat for cat in ["A", "B"] for _ in range(1, 32)],
"date": [date(2025, 1, i) for _ in ["A", "B"] for i in range(1, 32)],
"value": [randint(1, 50) for _ in ["A", "B"] for _ in range(1, 32)]
})
# 关键步骤:对每个 category 分组,按 date 排序后,在 5 天窗口内查找 value 最大值对应的 date
result = (
df.sort(["category", "date"])
.with_columns(
# 使用 rolling_apply 遍历窗口,返回 (max_value, max_date) 元组
pl.struct(["value", "date"])
.rolling_apply(
lambda s: s.to_list(),
window_size=5,
min_periods=1,
by="date",
)
.over("category")
.alias("window_data")
)
.with_columns(
# 解析窗口数据:找出 value 最大的项,并提取其 date
pl.col("window_data")
.list.eval(
pl.element().struct.field("date")
.filter(pl.element().struct.field("value") == pl.element().struct.field("value").max())
.first() # 取首个匹配(若并列,返回最早日期)
)
.alias("date_max")
)
.drop("window_data")
)⚠️ 注意事项:
rolling_apply的by="date"必须配合已排序的数据(sort(["category", "date"])),否则窗口边界不准确;list.eval(... .first())确保即使多个值并列最大,也稳定返回窗口内最早出现该最大值的日期(符合业务常见逻辑);- 若需返回最后出现的日期,将
.first()替换为.last()即可。
? 对比:SQL 中的等价实现(以标准窗口函数为例)
如问题答案所示,SQL 可通过 LAG() 拉取历史行 + CASE WHEN 匹配实现,但存在明显局限:
- 窗口大小硬编码(如
LAG(..., 1)至LAG(..., 5)),难以动态扩展; - 逻辑冗长、易出错,且不同数据库对
ROWS BETWEEN和LAG的支持略有差异; - 无法天然处理“多列同步对齐”(如同时拉取
value和date并关联判断)。
而 Polars 的结构化表达式(struct, list.eval, filter)天然支持列协同操作,语义清晰、扩展性强。
✅ 最佳实践总结
| 场景 | 推荐方法 | 优势 |
|---|---|---|
| 小窗口(≤10 行)、高可读性要求 |
rolling_apply + struct + list.eval
|
逻辑直观、无需 join、支持任意窗口内复杂判断 |
| 超大宽表、极致性能敏感 | 自定义 Rust UDF(高级) | 绕过 Python 层开销,但开发成本高 |
| 已有 SQL 生态、需跨平台复用 | 使用 ROW_NUMBER() OVER (...) + 子查询 |
兼容性强,但需两层嵌套,维护成本上升 |
最终,避免自连接、利用 Polars 的结构化列表操作,是解决“滚动最大值对应日期”问题最简洁、最地道的方式。它既保持了声明式风格,又兼顾了运行效率与业务语义准确性。

















