用chunksize分块读取并配合dtype优化可避免内存爆炸：设chunksize为50000～100000，指定数值列用int32、字符串列用'string'、高重复列用category，并用usecols筛选必要列。
用 chunksize 分块读取，避免内存爆炸
直接调用 pd.read_csv() 读取几个 GB 的 CSV，大概率触发 MemoryError。根本解法不是换机器，而是不让 Pandas 一次性把全部数据载入内存。chunksize 参数就是为此设计的——它让 read_csv() 返回一个可迭代的 TextFileReader 对象，每次只加载指定行数的数据块。
实操建议：
立即学习“Python免费学习笔记（深入）”；
-
chunksize值不是越大越好：设为 50000～100000 通常较平衡；太小会增加 I/O 次数，太大仍可能撑爆内存 - 别用
list(reader)试图把所有 chunk 转成列表，这等于又全载入内存了 - 常见错误是写成
for chunk in pd.read_csv(..., chunksize=10000): process(chunk)却在process()里不断pd.concat()累加，结果越跑内存越高
提前指定 dtype 和 usecols 省下 30%+ 内存
Pandas 默认把所有数字列当 float64、字符串列当 object，对超大文件来说，这是巨大的浪费。比如一列只有 0/1 的标识符，用 bool 或 category 类型能省下 75% 内存；日期列不转 datetime64 就一直以字符串存着，既占空间又没法直接计算。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 用
pd.read_csv(filename, nrows=10000)先读一小段，配合df.dtypes和df.memory_usage(deep=True).sum()观察各列实际类型和内存占用 - 数值列若无小数，强制用
int32或int16；重复度高的字符串列优先试category -
usecols只传真正需要的列名列表（如['user_id', 'event_time', 'action']），跳过无关字段，I/O 和解析都更快
用 dtype={'col': 'string'} 避开 object 类型陷阱
从 Pandas 1.3 开始，'string' 是推荐的字符串类型（基于 Arrow 后端），比传统 object 更省内存、支持原生字符串方法，且不会在 concat 或 merge 时意外转成 object。但很多人还在用 dtype={'col': str}，这其实等价于 object，毫无优化效果。
Python 环境工具专业版功能概述Python 环境工具专业版是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。核心要点使用时应结合输入条件选择合适的执行方式，核对必要参数、依赖环境与输出内容，并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景，可作为自动化工作流的一部分，也便于后续检查、调整和扩展。执行完成后建议检查结果是否符合预期，并保留必要记录。使用与执行同时注意输入完整性、执行条件和输出可用性。从功能定位来看，该技能
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 显式写
dtype={'name': 'string', 'city': 'string'}，而不是str - 注意：如果 CSV 中该列有缺失值，
'string'类型能正确保留pd.NA；而object会存成np.nan，后续.str操作可能报错 - 旧版本 Pandas（'string'，需降级用
category或接受object
跳过无用行与解析优化：用 skiprows、parse_dates 和 date_parser
有些日志 CSV 开头带几十行元信息或注释，或者时间字段格式复杂（如 "2023-04-05T14:22:31.123Z"），默认解析慢且容易出错。Pandas 提供了轻量级跳过和预解析机制，不用先读再清洗。
实操建议：
立即学习“Python免费学习笔记（深入）”；
-
skiprows=lambda x: x in [0,1,2] or x > 1000000可灵活跳行，但注意chunksize模式下，skiprows是对整个文件生效的，不是每 chunk 独立计数 -
parse_dates=['timestamp']让 Pandas 在读取时就转日期，比读完再pd.to_datetime()快 2～5 倍；若格式非标，配date_parser=lambda x: datetime.strptime(x, '%Y-%m-%dT%H:%M:%S.%fZ') - 避免用
infer_datetime_format=True：它只对标准格式（如%Y-%m-%d %H:%M:%S）有效，误判反而更慢
真正卡住的往往不是某一行代码，而是没意识到 dtype 和 chunksize 必须配合使用——单独设一个，效果几乎归零。
