讲师中心 微信公众号
AI工具推荐 视频效率加速

Python CSV 文件处理的注意事项

阿辰同学_8711

阿辰同学_8711

发布时间:2026-01-31 13:48:20

|

354人浏览过

|

来源于php中文网

原创

必须指定 newline='',否则 Windows 下 csv 写入会多空行;读取需用 encoding='utf-8-sig' 消除 BOM;DictReader 字段名易被污染,应校验 fieldnames;中文乱码常因编码误配,优先试 utf-8-sig;大文件须流式处理,禁用 list(reader)。

python csv 文件处理的注意事项

用 csv 模块读写时必须指定 newline=''

Python 的 csv 模块在 Windows 上容易多出空行,根本原因是它会把 \n 当作行结束符,而文件对象本身又按系统默认方式处理换行(比如 Windows 下自动把 \n 转成 \r\n),导致双重转换。不加 newline='',csv.writer 可能写出 \r\r\n。

  • 读取时:用 open(..., newline='') 打开文件,再传给 csv.reader
  • 写入时:同样必须用 open(..., 'w', newline='') ,否则每行末尾多一个空行
  • 别用 encoding='utf-8-sig' 代替 newline=''——前者解决 BOM 问题,后者才是换行控制的关键

csv.DictReader 的字段名可能被意外截断或污染

当 CSV 文件首行含不可见字符(如 BOM、多余空格、制表符)或字段名重复时,csv.DictReader 会静默接受,但后续 row['xxx'] 可能 KeyError 或取到错误列。

  • 打开文件时优先用 encoding='utf-8-sig' 消除 BOM 影响
  • 检查 reader.fieldnames 是否符合预期,必要时手动赋值:fieldnames=['id', 'name', 'email']
  • 避免依赖原始首行——尤其从 Excel 导出的 CSV 常含隐藏格式字符

中文字段或内容乱码,不只是编码问题

常见报错 UnicodeDecodeError: 'gbk' codec can't decode byte 0xad 表面是编码错误,但根源常是:文件实际是 UTF-8 编码却用 gbk 打开,或文件带 BOM 却没用 utf-8-sig。

Knowledge Graph - Csv Graph Loader Generator
Knowledge Graph - Csv Graph Loader Generator

从 CSV 数据集生成图数据库加载器和三元组映射。将表格 CSV 数据转换为图数据库可直接使用的节点、边和三元组。

下载
  • 优先尝试 encoding='utf-8-sig'(兼容 BOM)
  • 若失败,用 chardet 库探测:chardet.detect(open('x.csv', 'rb').read(10000))
  • Excel 保存的 CSV 默认可能是 gbk(Windows 简体中文版),不是 UTF-8——别假设所有 CSV 都是 UTF-8

大文件用 csv 模块逐行处理,别一次性 list(reader)

csv.reader 返回迭代器,但有人习惯转成 list 再遍历,几百万行 CSV 很快吃光内存。更隐蔽的问题是:某些 Excel 导出的 CSV 含跨行字段(引号包裹的换行符),list(reader) 会提前耗尽迭代器,导致后续逻辑拿不到数据。

立即学习“Python免费学习笔记(深入)”;

  • 坚持用 for row in reader: 流式处理
  • 需要随机访问?先写入临时 SQLite 数据库,比全载入内存安全得多
  • 用 csv.Sniffer().sniff() 探测分隔符前,确保只读前 1024 字节,避免大文件阻塞
BOM、换行、编码、字段名、内存占用——这些点单独看都不难,但混在一起时,错一个就卡住一整天。最麻烦的是错误不报,只是结果不对。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

相关专题

更多
windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3299

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2858

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1508

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2619

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3310

2023.08.08

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1637

2023.08.10

windows boot manager
windows boot manager

windows boot manager无法开机的解决方法:1、系统文件损坏,使用Windows安装光盘或USB启动盘进入恢复环境,选择修复计算机,然后选择自动修复;2、引导顺序错误,进入恢复环境,选择命令提示符,输入命令"bootrec /fixboot"和"bootrec /fixmbr",然后重新启动计算机;3、硬件问题,使用硬盘检测工具进行扫描和修复;4、重装操作系统。本专题还提供其他解决

2497

2023.08.28

windows锁屏快捷键
windows锁屏快捷键

windows锁屏快捷键是Windows键+L、Ctrl+Alt+Del、Windows键+D、Windows键+P和Windows键+R。本专题为大家提供windows相关的文章、下载、课程内容,供大家免费下载体验。

5027

2023.08.30

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

60

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 44.7万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 3.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn