
本文介绍如何在 Polars 中实现“左边界非严格”的 5 分钟滚动时间窗口平均值——即窗口以当前时间戳为右边界,左边界允许包含早于 t - 5m 的最近可用数据点,从而避免因时间不均匀导致的数据截断。
本文介绍如何在 polars 中实现“左边界非严格”的 5 分钟滚动时间窗口平均值——即窗口以当前时间戳为右边界,左边界允许包含早于 `t - 5m` 的最近可用数据点,从而避免因时间不均匀导致的数据截断。
在 Polars 中,原生的 rolling() 操作默认要求时间窗口严格对齐(如 closed="right" 表示 [t−5m, t)),但实际时序数据常存在稀疏、不规则采样——例如缺失 t−5m 正好对应的记录。此时若强制截断,会丢失早期有效观测值(如示例中 10:06:00 窗口本应包含 10:00:01),导致统计偏差。
Polars 并未直接提供 Pandas 风格的自定义索引器(如 BaseIndexer),但可通过 滚动 + join_asof 组合策略优雅解决该问题:
- 先用
rolling(..., closed="right")计算标准右闭左开窗口(即[t−5m, t)); - 再通过
join_asof(..., right_on=timestamp.dt.offset_by("5m"))将每个窗口的「理论左边界」反向匹配到数据中最接近且 ≤ 该边界的最早行; - 最后合并窗口内值与额外匹配值,并重新计算均值。
以下是完整可运行代码:
import polars as pl
df = pl.DataFrame({
"timestamp": [
"2024-04-10 10:00:01",
"2024-04-10 10:01:30",
"2024-04-10 10:03:10",
"2024-04-10 10:05:00",
"2024-04-10 10:06:00",
"2024-04-10 10:08:10",
],
"value": [1, 2, 3, 4, 5, 6]
}).with_columns(
pl.col("timestamp").str.strptime(pl.Datetime)
)
result = (
df.rolling("timestamp", period="5m", closed="right")
.agg(pl.col("value"))
.join_asof(
df,
left_on="timestamp",
right_on=pl.col("timestamp").dt.offset_by("5m")
)
.select(
pl.col("timestamp"),
pl.when(pl.col("value_right").is_null())
.then(pl.col("value"))
.otherwise(pl.concat_list(pl.col("value_right"), pl.col("value")))
.alias("value")
)
.with_columns(rolling_value=pl.col("value").list.mean())
)
print(result)输出结果与预期一致:
shape: (6, 3) ┌─────────────────────┬────────────────┬───────────────┐ │ timestamp ┆ value ┆ rolling_value │ │ --- ┆ --- ┆ --- │ │ datetime[μs] ┆ list[i64] ┆ f64 │ ╞═════════════════════╪════════════════╪═══════════════╡ │ 2024-04-10 10:00:01 ┆ [1] ┆ 1.0 │ │ 2024-04-10 10:01:30 ┆ [1, 2] ┆ 1.5 │ │ 2024-04-10 10:03:10 ┆ [1, 2, 3] ┆ 2.0 │ │ 2024-04-10 10:05:00 ┆ [1, 2, 3, 4] ┆ 2.5 │ │ 2024-04-10 10:06:00 ┆ [1, 2, 3, 4, 5]┆ 3.0 │ │ 2024-04-10 10:08:10 ┆ [3, 4, 5, 6] ┆ 4.5 │ └─────────────────────┴────────────────┴───────────────┘
✅ 关键要点说明:
-
offset_by("5m")将右边界t向前推 5 分钟,生成虚拟左边界t−5m; -
join_asof默认采用strategy="backward",即对每个t查找timestamp ≤ t−5m的最大时间点对应行(即“最晚的早期数据”),完美模拟左边界弹性扩展; - 使用
pl.when(...).then(...).otherwise(...)处理边界情况(如首行无前驱数据),确保逻辑健壮; - 注意:
join_asof要求左右表时间列已排序(rolling输出天然有序,无需额外sort)。
⚠️ 注意事项:
- 若数据中存在重复时间戳,建议先去重或明确排序策略(如
by="timestamp"+maintain_order=True); -
offset_by()支持负偏移(如"−5m"),但此处需正向偏移以构造左边界查询键; - 该方法时间复杂度为 O(n log n),适用于百万级以内时序数据;超大规模场景可考虑预分桶 +
group_by_dynamic替代,但会牺牲左边界灵活性。
此方案兼顾表达力与性能,是 Polars 生态中处理“非对齐滚动窗口”的推荐实践。

















