讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 文本流处理的工程实践

千明酱_4080

千明酱_4080

发布时间:2026-02-16 15:23:02

|

412人浏览过

|

来源于php中文网

原创

应使用 io.StringIO 处理字符串流、io.BytesIO 处理字节流;逐行迭代读取比 readlines() 更省内存;CSV 解析需正确配置 delimiter、quotechar 和 quoting;Python 3 应直接用 open(..., encoding=...) 而非 codecs.open。

python 文本流处理的工程实践

用 io.StringIO 替换字符串做流操作,但别忘了编码边界

字符串不是字节流,io.StringIO 只接受 str,不能塞 bytes;一塞就报 TypeError: initial_value must be str or None。常见于从文件读取后想“假装是流”再处理,结果误把 open(..., 'rb') 的返回值传进去。

  • 如果原始数据是字节(比如 HTTP 响应体、二进制文件内容),该用 io.BytesIO,不是 StringIO
  • 如果原始是字符串但含非 ASCII 字符(如中文、emoji),StringIO 没问题,但它不涉及编码/解码——它只管 Unicode 层,编码是写入文件或网络时才发生的
  • 别在 StringIO 上调用 .encode() 或期待它有 encoding 参数——它没有

示例:正确复用字符串为流

import io
text = "你好,world\n123"
stream = io.StringIO(text)
stream.readline()  # → "你好,world\n"

逐行读大文本时,for line in f 比 f.readlines() 真的省内存

f.readlines() 会一次性把全部行载入内存,哪怕文件只有 100MB,也可能生成数百万个 str 对象,GC 压力陡增。而 for line in f 是迭代器式读取,底层用缓冲区按需拉取,内存占用基本恒定。

  • 注意:line 结尾带换行符 \n(或 \r\n),需要 line.rstrip('\n\r') 才能干净取内容
  • 如果要跳过空行或注释行,别写 if line.strip(): ...——strip() 会新建字符串,高频场景下可改用 line[:1] not in ('\n', '\r', '#') 这类轻量判断
  • Windows 下用 open(..., newline='') 能统一换行符行为,避免 \r\n 被当两行

csv.reader 和 csv.DictReader 的 delimiter 与 quotechar 容易配错

默认逗号分隔、双引号包裹字段,但真实数据常是制表符、竖线,或用单引号、无引号。配错会导致字段劈开错位、头部解析失败,甚至静默吞掉数据。

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载

立即学习“Python免费学习笔记(深入)”;

  • 用 delimiter='\t' 处理 TSV 时,别漏掉 quoting=csv.QUOTE_MINIMAL(否则含制表符的字段会崩)
  • 字段含双引号又不用引号包裹?得设 quotechar=None 并配合 quoting=csv.QUOTE_NONE,否则报 Error: iterator should return strings, not bytes 类似错误
  • DictReader 读首行当 key,若首行本身有脏字符(空格、BOM、隐藏控制符),key 名会异常,建议先 next(f).strip('\ufeff').split(...) 预处理头

示例:安全读带单引号、竖线分隔的 CSV

import csv
with open('data.txt') as f:
    reader = csv.reader(f, delimiter='|', quotechar="'", quoting=csv.QUOTE_ALL)
    for row in reader:
        print(row)

用 codecs.open 还是 open(..., encoding=...)?Python 3.7+ 就别绕路了

codecs.open 是 Python 2 时代遗留方案,Python 3 中 open 已原生支持 encoding 参数,功能一致且更直观。继续用 codecs.open 不仅多写 import,还会掩盖一个关键点:它的 errors 参数名和行为跟内置 open 不完全等价,容易配错策略。

  • 统一用 open(path, encoding='utf-8', errors='replace'),errors 可选 'ignore'、'replace'、'strict'
  • UTF-8-BOM 文件?加 encoding='utf-8-sig',它会自动剥离 BOM,不用手动切片
  • 读写同一文件时,别混用编码:写用 utf-8,读却用 gbk,会直接抛 UnicodeDecodeError

真正麻烦的是混合编码日志文件——没有银弹,得靠 chardet 或 charset-normalizer 先探,再重开,这个步骤没法省。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

相关专题

更多
scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1029

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3300

2023.10.25

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1858

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2984

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6264

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

6229

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

7814

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

11854

2024.04.29

Docker Desktop怎么设置端口映射
Docker Desktop怎么设置端口映射

本专题聚焦Docker Desktop容器端口映射与访问配置,整理从创建容器、设置端口绑定到验证本地服务访问的操作流程。针对端口被占用、映射配置错误、容器服务无法访问等情况,也提供相应的检查方向,方便用户完成端口配置。

0

2026.11.03

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn