百万行报表性能瓶颈在于读取、存储和计算三环节优化：必须用usecols和dtype精简读取，用query和向量化替代链式索引与apply，分块聚合并用parquet存储，关键字段强制转category类型。
直接说结论：百万行报表不是靠“写得漂亮”跑出来的，而是靠“读得少、存得巧、算得快”三步卡死瓶颈。你写的代码再优雅，只要 pd.read_csv('report.csv') 没加参数，十有八九会在内存里卡住或跑半小时——这不是你的问题，是默认配置没对齐真实数据规模。
读 CSV 时必须指定 usecols 和 dtype
报表文件往往字段多（50+列）、但每次只用其中 5–10 列做指标计算。默认全读会白占 70%+ 内存和 I/O 时间。
-
usecols要精确到列名或列索引，比如usecols=['order_id', 'amount', 'status', 'create_time']，避免加载日志、备注、原始 JSON 等干扰字段 -
dtype必须按需降级：ID 类整数用int32或int16（别信int64是安全的），状态码等有限枚举值直接转'category'，金额列用float32足够 - 字符串时间列别让它自动解析成
object，改用parse_dates=['create_time']+date_parser指定格式，省掉类型推断开销
避免 apply() 和链式布尔索引
报表里常见“按地区筛选 → 按状态过滤 → 计算人均订单额”，写成 df[df['region']=='华东'][df['status']=='paid']['amount'].mean() 会创建两个中间 DataFrame，百万行下每个多占 100MB+ 内存。
- 改用
query()一行写完：df.query("region == '华东' and status == 'paid'")['amount'].mean()，底层走numexpr，不建中间对象 - 所有逐行逻辑（如“金额 > 1000 打标为高价值”）必须转成向量化：
df['is_high_value'] = df['amount'] > 1000，而不是df.apply(lambda x: x['amount'] > 1000, axis=1) - 真绕不开 Python 逻辑？先用
np.where()或pd.cut()拆解，实在不行再上apply()，且务必加raw=True和result_type='expand'控制返回结构
分块聚合 + 迭代保存，别等最后 merge
自动化报表常要“每日汇总 + 周环比 + 月累计”，如果等全量数据 load 完再 groupby，内存峰值可能翻 3 倍。更稳的做法是边读边算。
立即学习“Python免费学习笔记（深入）”；
- 用
chunksize=50000分块读取，每块独立做groupby(['date', 'region']).agg({'amount': 'sum', 'order_id': 'count'})，结果 append 到列表 - 所有块处理完，再用
pd.concat(chunks_list, ignore_index=True).groupby(...).sum()做最终聚合——这时数据量已压缩 90%+ - 中间结果别存 CSV，用
to_parquet()（带engine='pyarrow'），下次读取快 3–5 倍，且类型不丢
category 类型不是可选项，是必选项
报表里的“省份”“产品线”“订单状态”这类字段，重复率通常 >80%。保持 object 类型会让 groupby 变慢 5–20 倍，内存多占 7–10 倍。
- 加载后立刻转换：
df['province'] = df['province'].astype('category')，别等到groupby前才转 - 注意：
category不支持fillna()直接填新值（会报错），要先用cat.add_categories()预留空值类别 - 导出报表前，记得
df['province'] = df['province'].astype(str)回转，避免下游系统读 parquet 时解析失败
最易被忽略的一点：优化不是调参游戏，而是对数据物理形态的认知——你面对的不是“表格”，是内存地址、CPU 缓存行、磁盘顺序读取的字节流。百万行报表的快慢，差在第一行 read_csv 参数里，不在最后一行 to_excel。
