讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

Seko
Seko

AI短剧一键生成成片

剧云
剧云

中文短剧剧本制作平台

SoundView
SoundView

字幕擦除翻译、配音口型同步

如何在 Polars 中正确提取满足条件的重复行

浅枫姑娘_4731

浅枫姑娘_4731

发布时间:2026-11-22 12:01:29

|

568人浏览过

|

来源于php中文网

原创

如何在 Polars 中正确提取满足条件的重复行

本文详解 Polars 中 filter() 内布尔表达式顺序导致 SchemaError 的根本原因,说明为何 is_duplicated() 返回的 Boolean Series 与列表达式(pl.col())组合时必须将 Expression 放在左侧,并提供安全、可扩展的重复行筛选方案(含 pl.exclude + pl.struct 实战写法)。

本文详解 polars 中 `filter()` 内布尔表达式顺序导致 schemaerror 的根本原因,说明为何 `is_duplicated()` 返回的 boolean series 与列表达式(`pl.col()`)组合时必须将 expression 放在左侧,并提供安全、可扩展的重复行筛选方案(含 `pl.exclude` + `pl.struct` 实战写法)。

在 Polars 中对 DataFrame 进行“带条件的重复行提取”是一个高频但易踩坑的操作。你可能遇到类似这样的报错:

df.filter((df.is_duplicated()) & (pl.col("city") == "NY"))  # ❌ SchemaError: cannot unpack series of type `object`

而仅仅调换左右操作数顺序就能正常运行:

df.filter((pl.col("city") == "NY") & (df.is_duplicated()))  # ✅ 正确返回两行 Alice/NY

这不是 bug,而是 Polars 表达式系统的设计逻辑所致。

? 根本原因:Expression 与 Series 的运算优先级与类型推导规则

Polars 的 .filter() 接收的是 Expression(表达式),而非原始 Python 布尔值或 Series。当你写 pl.col("city") == "NY",它返回一个 Expr 对象;而 df.is_duplicated() 返回的是一个 polars.Series(布尔型)。

关键点在于:

  • ✅ Expr & Series → Polars 会自动将右侧 Series 提升为 Expr(隐式广播/转换),类型推导成功;
  • ❌ Series & Expr → Polars 尝试将左侧 Series 当作标量或参与表达式构建,但其底层类型在旧版本中被误判为 object(尤其在复杂链式调用如 df.drop(...).is_duplicated() 后),触发 ComputeError: cannot cast 'Object' type。

? 注:该行为已在 Polars v1.30.0(2024年6月发布)中通过 PR #22527 修复,新版中两种顺序均能工作。但为兼容性和代码健壮性,强烈建议始终将 pl.col(...) 等 Expression 写在左侧。

✅ 推荐实践:使用 pl.struct() + pl.exclude() 安全处理多列去重逻辑

你提到真实场景需基于“除 3 列外的所有列”判断重复——这正是 pl.exclude() 与 pl.struct() 的典型用武之地,既清晰又高效,且完全规避 Series/Expression 混用风险:

import polars as pl

df = pl.DataFrame({
    "name": ["Alice", "Bob", "Alice", "David", "Eve", "Bob", "Frank"],
    "city": ["NY", "LA", "NY", "SF", "LA", "LA", "NY"],
    "age": [25, 30, 25, 35, 28, 30, 40],
    "col1": [1, 2, 1, 4, 5, 2, 7],  # 待排除列
    "col2": ["x", "y", "x", "z", "w", "y", "v"],
    "col3": [True, False, True, False, True, False, True]
})

# ✅ 正确做法:基于除 col1/col2/col3 外的所有列判断重复,并叠加 city == "NY" 条件
result = df.filter(
    (pl.struct(pl.exclude("col1", "col2", "col3")).is_duplicated()) 
    & (pl.col("city") == "NY")
)

print(result)
# shape: (2, 6)
# ┌───────┬──────┬─────┬──────┬──────┬───────┐
# │ name  ┆ city ┆ age ┆ col1 ┆ col2 ┆ col3  │
# │ ---   ┆ ---  ┆ --- │ ---  ┆ ---  ┆ ---   │
# │ str   ┆ str  ┆ i64 ┆ i64  ┆ str  ┆ bool  │
# ╞═══════╪══════╪═════╪══════╪══════╪═══════╡
# │ Alice ┆ NY   ┆ 25  ┆ 1    ┆ x    ┆ true  │
# │ Alice ┆ NY   ┆ 25  ┆ 1    ┆ x    ┆ true  │
# └───────┴──────┴─────┴──────┴──────┴───────┘

✅ 优势总结:

  • 类型安全:全程使用 Expression,无 Series 参与布尔运算;
  • 可读性强:pl.exclude(...) 明确表达“忽略哪些列”,比手动 drop() 更语义化;
  • 性能友好:pl.struct() 构建结构化键,内部优化重复检测;
  • 可扩展:轻松适配 40+ 列场景,增删排除列仅需修改 exclude() 参数。

⚠️ 注意事项与避坑指南

  • 永远避免 df.xxx().is_duplicated() 直接参与 & 运算:即使当前版本不报错,也属反模式,易在升级后失效;
  • 不要依赖 df.drop(...).is_duplicated() 链式调用结果作为 Expression:它返回 Series,不是 Expr;
  • 若必须用 Series 临时逻辑,请显式转为 Expr(不推荐,仅作了解):
    mask = df.drop("col1","col2","col3").is_duplicated()
    df.filter(pl.lit(mask) & (pl.col("city") == "NY"))  # ✅ 强制转为 Expr,但丧失懒求值优势
  • 调试技巧:用 type(...) 和 .meta.explain() 检查表达式类型:
    print(type(pl.col("city") == "NY"))           # <class 'polars.expr.Expr'>
    print(type(df.is_duplicated()))                # <class 'polars.series.series.Series'>

掌握 Expression 优先原则与 pl.struct(pl.exclude()) 范式,你就能写出稳定、高效、可维护的 Polars 重复数据处理逻辑——无论面对 3 列还是 40 列,皆游刃有余。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

函子Zion

一款支持AI搭建、可视化编辑和多端发布的全栈无代码开发平台。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1971

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

5664

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1929

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

34817

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4047

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4067

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1303

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

636

2023.08.10

Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

20

2026.11.20

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn