Python处理海量数据需选对工具、分清场景、合理分工：Pandas适合几GB内数据，Dask兼容Pandas并支持并行，Polars高效适合ETL，PySpark用于TB级生产；读取时分块、列裁剪、用Parquet过滤；计算优先向量化和延迟执行；开发按样本→单机→集群分层推进。
Python 处理海量数据不靠单线程硬扛，关键在选对工具、分清场景、合理分工。
用对工具：Pandas 不是万能，Dask 和 Polars 更适合大表
Pandas 在内存充足、数据量在几 GB 以内时很顺手；一旦超过物理内存，容易 OOM 或卡死。这时要换“会并行”的工具：
- Dask DataFrame：API 兼容 Pandas，自动切分任务、调度到多核或集群，适合已有 Pandas 代码想平滑升级的场景；
- Polars：Rust 写的，内存效率高、执行快，语法简洁，尤其适合 ETL 类清洗和聚合；
- PySpark：真正上生产环境处理 TB 级数据时的主力，可跑在 YARN/K8s 上，但学习成本略高，本地小试建议用 standalone 模式。
数据读取不贪大：分块、过滤、列裁剪
很多性能问题出在“一上来就读全量”。实际中常有 80% 的列和行根本用不上：
- 读 CSV 时用 chunksize 分批处理，边读边算，不堆内存；
- 用 usecols 只加载需要的列（比如只分析 sales_date 和 amount，就别把 product_desc 也拖进来）；
- 读 Parquet 文件优先——自带列式存储、压缩和元数据，配合 filters 参数（如 [("region", "==", "CN")]) 可跳过不相关数据块。
计算优化：向量化 > 循环，延迟计算 > 立即执行
避免写 for 循环遍历 DataFrame 行，也别急着调 .compute()：
Miller CSV TSV JSON 数据处理器
下载
Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。
立即学习“Python免费学习笔记（深入）”；
- 用 .apply() 前先看有没有内置方法（如 .str.contains()、.dt.month），它们底层是向量化实现；
- Dask 和 Polars 默认延迟执行，组合多个操作再触发计算，减少中间结果；
- 重复用到的中间表，显式调用 .persist()（Dask）或 .cache()（Polars），避免反复重算。
落地小技巧：本地调试 + 生产切换无缝
别等上了集群才发现逻辑错。推荐分层开发：
- 本地用 1% 样本 + Polars 快速验证清洗逻辑；
- 中等数据（10–50 GB）用 Dask + 单机多进程跑通全流程；
- 上线前把 Dask 代码稍作调整（如改用 client.submit），就能对接 Dask Gateway 或 Spark 集群。
基本上就这些。工具不是越多越好，而是按数据规模、团队熟悉度、部署环境选一个主攻，吃透它比样样都试更高效。
