pyarrow.read_parquet报ArrowInvalid: Unable to infer schema，多因文件损坏或截断；需检查文件大小、用parquet-tools验证；分区仅对目录路径生效；压缩需实测确认；pandas读取报ArrowNotImplementedError常因PyArrow版本过低。
pyarrow.read_parquet 读取失败的常见报错和应对
pyarrow.read_parquet 报错 ArrowInvalid: Unable to infer schema，大概率是文件本身不完整或被截断（比如写入中途崩溃、网络中断上传未完成）。Parquet 是列式格式，头部有 schema 元数据，缺了就无法解析。
- 检查文件大小是否明显偏小（比如几百字节），用
ls -lh或os.path.getsize快速确认 - 用
parquet-tools命令行工具验证：运行parquet-tools meta your_file.parquet，若报错或无输出，基本可判定损坏 - 不要尝试用
try/except吞掉这个错误后强行读——read_parquet不支持跳过坏块，它要么全读，要么失败
write_table 写 Parquet 时分区字段没生效？检查参数位置
分区功能靠 partition_cols 参数触发，但它只在写入目录路径时有效；如果目标是单个文件（如 "data/part-001.parquet"），传 partition_cols 完全被忽略，且不报错。
- 确保
where是目录路径，例如"./output/"，而不是带.parquet后缀的文件名 - 分区列必须是
table的列之一，且类型需支持字典编码（string、int常见，float或含None的列可能失败） - 默认使用 Hive 风格分区（
year=2023/month=04/），如需自定义分隔符或格式，得自己预处理列值再建子目录，pyarrow不提供钩子
内存暴涨或写入极慢？关掉 compression 或换 codec
默认 compression="snappy" 对 CPU 友好但压缩率一般；设成 "zstd" 或 "lz4" 能减体积，但某些旧版 PyArrow 会因编译时没启用对应库而静默回退到 None，导致文件变大、读写变慢。
Secure Python Code Sandbox
下载
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
- 先查实际生效的压缩方式：
parquet-tools meta file.parquet | grep Compression - 小数据量（compression=None，省去编解码开销，实测常比 snappy 快 2–3 倍
- 如果要用
zstd，确保安装时带了支持：pip install pyarrow[zstd]，否则运行时不报错，但写出来是未压缩的
用 pandas.read_parquet 读却提示 ArrowNotImplementedError？版本不匹配
这是典型的 PyArrow 和 pandas 版本协同问题。pandas 2.0+ 内部大量依赖 PyArrow 行为，但若 PyArrow ArrowNotImplementedError: Unsupported logical type。
立即学习“Python免费学习笔记（深入）”；
- 运行
import pyarrow as pa; print(pa.<strong>version</strong>)，低于 12.0.0 就升级：pip install --upgrade pyarrow - 不要只升 pandas：pandas 2.2.x 要求 PyArrow ≥ 12.0.0，降 pandas 版本反而容易引发更隐蔽的 dtype 转换错误
- 如果必须用旧 PyArrow（如公司镜像限制），读取前加
use_nullable_dtypes=False，避免 pandas 尝试映射新逻辑类型
PyArrow 处理 Parquet 时，很多问题不是代码写错了，而是文件状态、参数作用域或版本边界没对齐。尤其注意：分区只对目录有效、压缩行为要实测验证、版本号得手动核对——这些点不看文档根本猜不到。
