PyArrow加速需显式启用且全链路对齐：read_csv必须指定engine="pyarrow"，dtype_backend仅影响类型推断；Parquet默认用PyArrow但需正确使用columns和filters；string[pyarrow]才真正提升内存与字符串操作性能。
PyArrow后端在 Pandas 2.0 中不会自动加速——它只在你显式启用且用对地方时才生效，否则读 CSV 还是走 C 引擎，字符串列仍是 object，内存和速度都无改善。
read_csv 必须显式传 engine="pyarrow"，不能只靠全局设置
很多人设了 pd.options.mode.dtype_backend = "pyarrow" 就以为 CSV 会自动提速，结果没变化。这是因为 read_csv() 默认无视该选项，仍用 C parser 解析。
-
engine="pyarrow"是解析阶段的开关，必须写进函数调用里，例如：pd.read_csv("data.csv", engine="pyarrow") -
pd.options.mode.dtype_backend = "pyarrow"只影响解析后的类型推断（比如把字符串列默认建为string[pyarrow]），不改变解析器本身 - 混用参数会覆盖：如果同时写了
engine="c"或engine="python"，engine="pyarrow"直接失效 - 必须已安装
pyarrow>=12.0，旧版本会静默 fallback 到 Python engine 并报FutureWarning
Parquet 读取默认走 PyArrow，但 filters 和 columns 得写对格式
pd.read_parquet() 在 Pandas 2.0 中只要装了 pyarrow，默认就用 PyArrow 引擎——但“默认启用”不等于“默认高效”，列裁剪和谓词下推必须手动声明且语法严格。
- 只读几列？用
columns=["a", "b"]，不是usecols（那是 CSV 参数） - 加过滤条件？
filters=[("a", ">", 100)]，注意是 list of lists，不是 Pandas 风格的"a > 100"字符串 - 字段名大小写、下划线、空格必须和 Parquet 文件 schema 完全一致，否则
filters静默失效，整文件加载 - 分区路径中斜杠结尾缺失（如
"data/year=2023"vs"data/year=2023/"）可能触发 schema 不匹配，导致降级为 slow path
string[pyarrow] 才是内存和字符串操作提速的关键
很多人以为 .astype("string") 就启用了 Arrow，其实那是 Pandas 自研的 nullable string（底层仍是 object 数组），内存不降、.str 不快。真正起效的是 string[pyarrow] 类型。
Claw Code Suite (Python-Only Edition)
下载
仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...
立即学习“Python免费学习笔记（深入）”；
- 读 CSV 时一步到位：
pd.read_csv("data.csv", dtype={"name": "string[pyarrow]"})或全局dtype_backend="pyarrow" -
df["col"].astype("string")≠string[pyarrow]；前者内存几乎不变，后者实测 100 万行字符串内存可从 260 MB 降到 45 MB -
.str.contains()等操作在string[pyarrow]上直调 C++ kernel，比object快 3–5 倍；若混合object列做concat，会强制转回object，白费功夫 - 避免中间态：别先用默认方式读，再
.astype—— 那会多一次内存拷贝，大文件易 OOM
PyArrow 引擎不兼容很多常用参数，错用直接报错或静默退化
PyArrow 的 CSV parser 更接近标准 C++ 实现，不支持 Pandas 那套灵活但低效的解析逻辑。习惯性参数一用就翻车。
-
parse_dates、converters、skiprows全部不支持；日期列得读完再.astype("timestamp[ns][pyarrow]") -
na_values和keep_default_na被忽略；PyArrow 只认None、空字符串、NULL、NaN字面量，自定义空值需预处理 -
dtype字典里写"str"或"object"会报错；必须用"string[pyarrow]"、"int64[pyarrow]"等带[pyarrow]后缀的语法 - 列名含空格或特殊字符时，PyArrow 可能抛
ArrowInvalid；建议提前清理列名，或用names=显式指定
最易被忽略的点是：PyArrow 加速不是“换引擎就完事”，而是整条链路要对齐——解析器、内存布局、列类型、后续操作全得落在 Arrow 路径上，任一环节掉链子，性能就回落到默认水平。
