讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在 Pandas 中正确加载含连续尾部分隔符的 CSV 文件并保留所有空列

浅雪姑娘_8277

浅雪姑娘_8277

发布时间:2026-10-27 09:32:11

|

732人浏览过

|

来源于php中文网

原创

如何在 Pandas 中正确加载含连续尾部分隔符的 CSV 文件并保留所有空列

使用 pandas.read_csv() 读取含连续尾部分隔符(如 ;;;;)的 CSV 时,默认会忽略末尾空字段;需通过 skip_blank_lines=False 和关键参数 engine='python' 配合 keep_default_na=False 等设置,强制解析全部列并填充为 NaN。

使用 `pandas.read_csv()` 读取含连续尾部分隔符(如 `;;;;`)的 csv 时,默认会忽略末尾空字段;需通过 `skip_blank_lines=false` 和关键参数 `engine='python'` 配合 `keep_default_na=false` 等设置,强制解析全部列并填充为 `nan`。

当 CSV 行末存在多个连续分隔符(例如 a;b;c;;;),Pandas 默认 C 引擎会截断尾部空字段,导致列数少于实际定义——这正是你遇到的问题:原始数据含 37 个字段(由 36 个分号分隔),但 read_csv 仅返回 13 列。

根本原因在于 Pandas 的默认解析引擎(C engine)对尾部空字段的优化行为。解决方法是显式启用 Python 引擎并禁用空白行跳过与默认 NA 识别,确保逐字符严格按分隔符切分:

import pandas as pd

# ✅ 正确加载:保留所有尾部空列
df = pd.read_csv(
    config.get("OS", "output_file"),
    header=None,
    sep=config.get("OS", "delimiter"),  # 如 ';'
    engine='python',           # 关键!启用 Python 解析器,支持完整字段计数
    skip_blank_lines=False,    # 防止跳过全空字段行(虽此处非空行,但增强鲁棒性)
    keep_default_na=False,     # 避免将空字符串误判为 NaN 干扰列结构
    na_values='',                # 显式指定空字符串为 NA 值(可选,更精准)
    dtype=str                    # 可选:先统一为字符串,后续再类型转换,避免自动推断失败
)

# 若需将空字符串转为 True NaN(而非空字符串),再执行:
df = df.replace('', pd.NA)

⚠️ 注意事项:

Knowledge Graph - Csv Graph Loader Generator
Knowledge Graph - Csv Graph Loader Generator

从 CSV 数据集生成图数据库加载器和三元组映射。将表格 CSV 数据转换为图数据库可直接使用的节点、边和三元组。

下载
  • engine='python' 是核心:C 引擎不支持尾部空字段保留,Python 引擎则严格按分隔符分割,即使末尾连续分隔符也生成对应空列;
  • skip_blank_lines=False 并非针对本例(因行非空白),但若文件混有空行,此参数可防止意外跳过影响行对齐;
  • 避免 df.fillna(value='') 过早覆盖原始 NaN —— 应先确保列结构完整,再按需填充;
  • 若原始数据含 None 字符串(非 Python None),建议添加 na_values=['None'] 使其被识别为缺失值。

验证列数是否符合预期:

print(f"DataFrame shape: {df.shape}")  # 应输出 (行数, 37)
print(f"Column count: {len(df.columns)}")  # 应为 37
print(df.iloc[0].isna().sum())  # 查看首行中 NaN 数量(应包含所有尾部空列)

最终,你将获得一个结构完整的 DataFrame,每列对应原始 CSV 中的一个字段位置,尾部连续分隔符被准确映射为独立的 NaN 列,为后续清洗与分析奠定可靠基础。

热门AI工具

更多
VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

320

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

252

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

671

2026.04.13

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

80

2026.10.22

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

40

2026.10.22

Golangci-lint检查器使用教程
Golangci-lint检查器使用教程

本专题整理Golangci-lint常用Linters的用途与配置方法,覆盖错误处理、无效代码、安全、复杂度、命名和依赖检查,帮助项目合理选规则。

40

2026.10.22

Gradle怎么构建Java项目
Gradle怎么构建Java项目

本专题介绍Gradle Java项目构建方法,涵盖Java插件配置、依赖声明、源码编译、测试执行和打包检查,帮助你理解各阶段的任务关系,逐步完成项目构建。

20

2026.10.22

PHP时间戳漏洞修复教程
PHP时间戳漏洞修复教程

本专题汇总PHP常见时间戳漏洞,包括2038年溢出、时区漂移、时间戳伪造、重放攻击、时间盲注与日志审计失效等,并给出升级64位环境、使用 DateTimeImmutable、统一UTC、严格超时校验、预处理绑定、hash_equals 比对等修复方案,帮助开发者快速排查和加固时间相关代码。

40

2026.10.22

Golangci-lint配置文件与规则设置
Golangci-lint配置文件与规则设置

本专题聚焦Golangci-lint YAML配置文件,讲清运行参数、规则启停、目录排除、问题过滤及严重级别设置,便于团队统一检查标准。

20

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn