
本文介绍如何在 polars 中实现「左边界非严格」的 5 分钟滚动时间窗口均值:窗口以当前时间戳为右边界,左边界自动回溯至最早可用数据点(而非精确截断),从而确保每个窗口至少包含一个有效观测。
本文介绍如何在 polars 中实现「左边界非严格」的 5 分钟滚动时间窗口均值:窗口以当前时间戳为右边界,左边界自动回溯至最早可用数据点(而非精确截断),从而确保每个窗口至少包含一个有效观测。
在 Polars 中,原生 rolling() 操作默认遵循严格的区间语义(如 closed="right" 表示 [t−5m, t)),无法直接支持“若 t−5m 处无数据,则取更早最近值”的柔性左边界逻辑。但通过组合 rolling 与 join_asof,可高效模拟该行为——核心思路是:先用标准滚动获取 [t−5m, t) 内的数据,再通过反向 join_asof 将恰好位于 t−5m 左侧(即 t−5m 偏移后)的最晚历史记录“拉回”补入窗口。
以下是完整实现:
import polars as pl
df = pl.DataFrame({
"timestamp": [
"2024-04-10 10:00:01",
"2024-04-10 10:01:30",
"2024-04-10 10:03:10",
"2024-04-10 10:05:00",
"2024-04-10 10:06:00",
"2024-04-10 10:08:10",
],
"value": [1, 2, 3, 4, 5, 6]
}).with_columns(
pl.col("timestamp").str.strptime(pl.Datetime)
)
result = (
df.rolling("timestamp", period="5m", closed="right")
.agg(pl.col("value")) # → 得到 [t−5m, t) 内的 value 列表
.join_asof(
df.select("timestamp", value_right=pl.col("value")),
left_on="timestamp",
right_on=pl.col("timestamp").dt.offset_by("-5m"), # 关键:将右表 timestamp 向前偏移 5m,使 join_asof 匹配「t−5m 时刻之前最后一个可用点」
strategy="backward"
)
.select(
"timestamp",
value=pl.when(pl.col("value_right").is_null())
.then(pl.col("value"))
.otherwise(pl.concat_list("value_right", "value"))
)
.with_columns(rolling_value=pl.col("value").list.mean())
)
print(result)输出结果与预期一致:
┌─────────────────────┬────────────────┬───────────────┐ │ timestamp ┆ value ┆ rolling_value │ │ --- ┆ --- ┆ --- │ │ datetime[μs] ┆ list[i64] ┆ f64 │ ╞═════════════════════╪════════════════╪═══════════════╡ │ 2024-04-10 10:00:01 ┆ [1] ┆ 1.0 │ │ 2024-04-10 10:01:30 ┆ [1, 2] ┆ 1.5 │ │ 2024-04-10 10:03:10 ┆ [1, 2, 3] ┆ 2.0 │ │ 2024-04-10 10:05:00 ┆ [1, 2, 3, 4] ┆ 2.5 │ │ 2024-04-10 10:06:00 ┆ [1, 2, 3, 4, 5]┆ 3.0 │ │ 2024-04-10 10:08:10 ┆ [3, 4, 5, 6] ┆ 4.5 │ └─────────────────────┴────────────────┴───────────────┘
✅ 关键要点说明:
-
join_asof(..., strategy="backward")确保对每个左表时间戳t,从右表中查找≤ t的最大时间戳对应行; - 右表使用
offset_by("-5m")后,join_asof实际匹配的是「时间 ≤t − 5m的最新记录」,这正是我们希望补入窗口的“左边界外第一个点”; -
pl.when(...).then(...).otherwise(...)安全处理首行(无前置数据)场景,避免空值导致列表拼接失败; - 此方案无需 UDF 或 Python 循环,全程基于 Polars 原生表达式,性能接近底层 Rust 实现。
⚠️ 注意事项:
- 输入
timestamp列必须为Datetime类型且已排序(rolling和join_asof均要求升序); - 若存在重复时间戳,建议预先去重或明确业务逻辑(如取均值/首值);
-
offset_by("-5m")中的负号表示向前偏移,务必确认方向符合语义(此处是为让右表时间点“提前”,以便join_asof拉回左边界外数据)。
该模式可轻松泛化至任意时长窗口(如 "10m"、"1h")或其它聚合函数(如 sum、max),是 Polars 中实现 Pandas 风格自定义滚动逻辑的推荐范式。

















