讲师中心 微信公众号
AI工具推荐 视频效率加速

如何利用Python和Pandas处理机器学习中的非结构化缺失值?

落芳姑娘_6447

落芳姑娘_6447

发布时间:2026-08-19 12:37:46

|

181人浏览过

|

来源于php中文网

原创

非结构化缺失值在机器学习中并不存在,真正需处理的是伪装成有效值的隐性缺失(如"N/A"、空字符串)及跨类型列混杂导致的检测失效;isna()仅识别None、np.nan、pd.NA、pd.NaT,对字符串型隐性缺失无响应,须手动替换为pd.NA并转为可空类型(如"string"、"Int64")以确保dropna()、fillna()等操作正确生效。

如何利用python和pandas处理机器学习中的非结构化缺失值?

非结构化缺失值在机器学习项目中根本不存在——Pandas 只处理结构化表格数据,所谓“非结构化缺失值”其实是误用术语。真正要解决的,是那些**伪装成有效值的隐性缺失**(如 "N/A"、"-"、空字符串 ""、零值 0 在本不该为零的字段中),以及**跨类型列混杂导致的检测失效**问题。

为什么 isna() 对 "n/a" 和 "" 完全没反应

isna() 只识别 None、np.nan、pd.NA 和 pd.NaT 这四类显式缺失标记。字符串 "n/a"、"NULL"、"--" 或空格串 " " 在 Pandas 里就是普通字符串,类型是 object 或 string,isna() 返回 False。

  • 先用 df.select_dtypes("object").columns 找出所有文本列
  • 对每列手动检查常见隐性标记:df[col].isin(["n/a", "N/A", "-", "", " ", "NULL", "null"])
  • 把它们统一转为 pd.NA(推荐)或 np.nan:df[col] = df[col].replace(["n/a", "-"], pd.NA)
  • 再调用 df[col] = df[col].astype("string") 强制启用可空字符串类型,避免后续被自动转回 object

dropna() 删除后行数暴减?可能是整行被误判为全空

默认 dropna() 对任何含 NaN 的行都删,但如果你之前把隐性缺失转成了 pd.NA,而列又是 object 类型,pd.NA 在 object 列中不被 dropna() 识别——结果就是该删的没删,不该删的反而因其他列的 NaN 被连坐删除。

Python Testing
Python Testing

Python 测试速查:运行 pytest、使用 mock/patch、参数化、fixtures、异步、覆盖率测试。

下载
  • 务必在 dropna() 前确认数据类型:df.dtypes,看到 object 就警惕
  • 把文本列转为可空类型:df[col] = df[col].astype("string") 或 df[col] = df[col].astype("boolean")(布尔列)
  • 数值列优先用 "Int64"、"Float64" 等可空类型,避免 float64 中混入 np.nan 导致精度丢失
  • 删除时明确指定范围:df.dropna(subset=["age", "income"], how="any"),别依赖默认行为

用 fillna() 填了却报错 TypeError: cannot convert float NaN to integer

这是整型列里混入 np.nan 后最典型的报错。因为 np.nan 是浮点,而原始列是 int64,Pandas 拒绝用浮点填整型——但它又不会自动帮你升维,只会抛错。

立即学习“Python免费学习笔记(深入)”;

  • 根本解法:从源头禁用 int64,改用可空整型:df["col"] = df["col"].astype("Int64")(注意大写 I)
  • 如果必须保留原类型,填之前先转浮点:df["col"] = df["col"].astype("float64").fillna(0),但会损失整数语义
  • 别用 df.fillna(0) 全表填——它会对所有列生效,字符串列也会被填成 0,破坏数据类型
  • 填众数时注意:df["category"].mode()[0] 在无众数时会报错,加 try/except 或用 df["category"].fillna(df["category"].mode().iloc[0] if not df["category"].mode().empty else "Unknown")

真正麻烦的不是填或删,而是隐性缺失和类型混乱交织在一起——比如一列标称“销量”,却混着 "暂无"、0、np.nan,三者语义完全不同,但 isna() 只认出最后一个。这种情况下,必须人工定义业务规则,而不是依赖通用函数。

热门AI工具

更多
二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1631

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

4004

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1629

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

23057

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2827

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2867

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1123

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

596

2023.08.10

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

20

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn