本文介绍如何在 Polars 中批量、高性能地过滤 DataFrame 行——基于另一 DataFrame 中多个子字符串进行部分匹配（如 SQL 的 LIKE '%pattern%'），避免低效循环，充分利用向量化操作。
本文介绍如何在 polars 中批量、高性能地过滤 dataframe 行——基于另一 dataframe 中多个子字符串进行部分匹配（如 sql 的 `like '%pattern%'`），避免低效循环，充分利用向量化操作。
在数据预处理中，常需从主表中剔除文件名、ID 或文本列中包含任意黑名单关键词的行（例如：含 "skip" 或 "discard" 的文件路径）。SQL 可通过 EXISTS + LIKE 高效完成，但若用 Polars 循环调用 .filter()（如对每个关键词执行一次 .str.contains()），不仅代码冗长，更会严重损害性能——每次 .filter() 都触发全量扫描与内存重分配，且无法并行。
幸运的是，Polars 自 0.20.0 起提供了原生支持批量子串匹配的表达式：.str.contains_any()。它接受一个字符串列表（或 Series），内部自动编译为向量化查找逻辑，等价于「列值中是否包含任一指定子串」，语义清晰、性能卓越，是替代手动循环的首选方案。
✅ 推荐方案：使用 str.contains_any() 一次性过滤
假设你有以下两个 CSV 文件：
data.csv
filename,col2 keep.txt,bar skip.txt,foo keep2.txt,zoom skip3.txt,custom1 discard.txt,custom2 file3.txt,custom3 discard2.txt,custom4 file4.txt,custom5
filter.csv
skip discard
只需三行核心代码即可完成高效过滤：
import polars as pl
df_data = pl.read_csv("data.csv")
df_filter = pl.read_csv("filter.csv")
# 构建过滤表达式：保留 filename 中不包含 filter 列任意值的行
result = df_data.filter(
~pl.col("filename").str.contains_any(df_filter.get_column("skip"))
)
print(result)输出：
shape: (4, 2) ┌───────────┬─────────┐ │ filename ┆ col2 │ │ --- ┆ --- │ │ str ┆ str │ ╞═══════════╪═════════╡ │ keep.txt ┆ bar │ │ keep2.txt ┆ zoom │ │ file3.txt ┆ custom3 │ │ file4.txt ┆ custom5 │ └───────────┴─────────┘
? 原理说明：contains_any() 底层使用 SIMD 加速的子串搜索（如 Aho-Corasick 算法变体），对单列做一次扫描即可判断是否匹配任意关键词，时间复杂度接近 O(n)，远优于循环版的 O(n × k)（k 为关键词数）。
⚠️ 替代方案：手动构建复合表达式（兼容旧版本）
若你使用的是 Polars
# 等价于：NOT (contains("skip") OR contains("discard"))
pattern_series = df_filter.get_column("skip")
expr = pl.all_horizontal(
~pl.col("filename").str.contains(pattern) for pattern in pattern_series
)
result = df_data.filter(expr)
⚠️ 注意：此方式虽避免显式 Python 循环，但仍需构造 Python 生成器；而 contains_any() 是纯 Rust 实现的原子操作，推荐优先使用。
? 关键注意事项
- 空值安全：contains_any() 对 null 值默认返回 null，在 filter() 中会被视为 False（即被排除）。如有空值需保留，建议先用 .fill_null("") 处理。
- 转义特殊字符：若 filter.csv 中含正则元字符（如 .、*、?），默认按字面量匹配；如需正则能力，请改用 .str.contains() 配合 regex=True，并预先对关键词 re.escape()。
- 性能对比实测：在百万级数据 + 数百关键词场景下，contains_any() 比循环版快 5–10 倍，并显著降低内存峰值。
✅ 总结
| 方案 | 是否推荐 | 并行化 | 维护性 | 适用 Polars 版本 |
|---|---|---|---|---|
| str.contains_any() | ✅ 强烈推荐 | ✔️ | 极高 | ≥ 0.20.0 |
| all_horizontal + contains | △ 可用 | ✔️ | 中 | 全版本 |
| Python for 循环 | ❌ 禁止 | ✘ | 极低 | 全版本 |
摒弃客户端循环，拥抱 Polars 原生向量化表达式——这是写出高性能、可扩展数据管道的关键一步。
