本文介绍如何在 Polars 中对含空值的多分类列（如 A、B）进行无冗余宽表转换，规避 pivot() 因 null 值重复导致的 DuplicateError，通过 group_by + agg + eq().any() 组合实现语义清晰、零冗余列的布尔型宽格式重构。
本文介绍如何在 polars 中对含空值的多分类列（如 a、b）进行无冗余宽表转换，规避 `pivot()` 因 `null` 值重复导致的 `duplicateerror`，通过 `group_by + agg + eq().any()` 组合实现语义清晰、零冗余列的布尔型宽格式重构。
在 Polars 中，直接使用 pivot() 对多列（如 on=["A", "B"]）执行宽表转换时，若各列均含 null 值，框架会为每个 null 生成同名列（如 "null"），从而触发 DuplicateError: column with name 'null' has more than one occurrence。这不是 bug，而是 pivot() 将 null 视为有效类别参与列名生成的默认行为——但通常我们不希望 null 单独成列，尤其当目标是构建“是否存在某类别”的布尔宽表时。
更优雅的解法是绕过 pivot，改用语义明确的聚合逻辑：按 DATE 分组后，对每个非索引列（如 A, B），枚举其非空唯一值，并为每个值生成一个布尔标识列（如 A_option1, B_YES），值为 True 表示该 DATE 组内至少存在一行匹配该值，否则为 False（注意：此处原答案用 .any() 返回布尔值，实际输出中 Null 对应 False，与示例表格中显示 "Null" 一致；若需显式 null，可替换为 .is_in([val]).any().cast(pl.Boolean) 并保持 null 传播，但布尔 False 更符合“存在性”语义）。
以下是完整、可复现的解决方案：
import polars as pl
df_example = pl.DataFrame(
{
"DATE": ["2024-11-11", "2024-11-11", "2024-11-12", "2024-11-12", "2024-11-13"],
"A": [None, None, "option1", "option2", None],
"B": [None, None, "YES", "YES", "NO"],
}
)
result = (
df_example.pipe(
lambda df: df.group_by("DATE").agg(
[
pl.col(col).eq(val).any().alias(f"{col}_{val}")
for col in df.select(pl.exclude("DATE")).columns
for val in df.get_column(col).unique().drop_nulls()
]
)
).sort("DATE")
)
print(result)输出结果为：
shape: (3, 5) ┌────────────┬────────────┬────────────┬──────────┬──────────┐ │ DATE ┆ A_option1 ┆ A_option2 ┆ B_YES ┆ B_NO │ │ --- ┆ --- ┆ --- ┆ --- ┆ --- │ │ str ┆ bool ┆ bool ┆ bool ┆ bool │ ╞════════════╪════════════╪════════════╪══════════╪══════════╡ │ 2024-11-11 ┆ false ┆ false ┆ false ┆ false │ │ 2024-11-12 ┆ true ┆ true ┆ true ┆ false │ │ 2024-11-13 ┆ false ┆ false ┆ false ┆ true │ └────────────┴────────────┴────────────┴──────────┴──────────┘
✅ 优势说明：
-
零冗余列：自动跳过
null，仅对真实类别（option1,option2,YES,NO）建模； -
语义清晰：
A_option1 = True明确表示“该日期下 A 列出现过 option1”，无需解释null列含义； -
高性能：基于 Polars 原生表达式链，避免
pivot的中间展开与冲突处理开销； -
可扩展：轻松支持任意数量的分类列（只需调整
pl.exclude("DATE")范围）。
⚠️ 注意事项：
- 若原始数据中某类别仅在部分日期出现（如
A_option2仅在2024-11-12出现），结果中其他日期对应列为false（非null），这符合“存在性”定义；若业务要求保留null表示“未观测”，可将.any()替换为.is_in([val]).sum().cast(bool)并结合coalesce，但通常false更直观； -
drop_nulls()是关键：确保不将null作为val参与循环，彻底规避列名冲突； - 此方法生成的是宽布尔矩阵，若需数值计数（如出现频次），可将
.eq(val).any()改为.eq(val).sum()。
该方案以声明式表达替代命令式预处理（如填充假值或分步 pivot），真正实现了简洁、健壮、可维护的宽表转换。
