结构化数组的 dtype 定义直接影响 I/O 性能：应避免 Unicode 字符串和嵌套 dtype，改用固定长度字节字符串与扁平化字段；优先使用 np.savez_compressed；内存映射需对齐字段大小；HDF5 需预声明 special_dtype 且字段名须合规。
结构化数组的 dtype 定义直接影响 I/O 性能
NumPy 结构化数组读写慢，八成出在 dtype 定义上。比如用 Python 字符串类型 'U10' 或嵌套 dtype（如 [('name', 'U20'), ('meta', [('x', 'f4'), ('y', 'f4')])]）会强制 NumPy 使用对象指针跳转，无法连续内存布局，np.save 和 np.fromfile 都会退化为逐字段序列化。
实操建议：
- 优先用固定长度字节字符串
'S32'替代'U32'，避免 Unicode 编码/解码开销 - 扁平化嵌套
dtype：把('meta', [('x','f4'),('y','f4')])拆成('meta_x', 'f4')和('meta_y', 'f4') - 字段名避免含空格或特殊字符，否则
np.genfromtxt或 HDF5 后端可能静默降级为 object 模式
用 np.savez_compressed 替代 pickle 或 CSV
pickle 保留 Python 对象引用，csv 是纯文本解析，两者都比原生二进制慢一个数量级。而 np.savez_compressed 直接按 dtype 的内存布局压缩，不经过中间表示。
注意点：
立即学习“Python免费学习笔记（深入）”；
- 它只压缩单个数组，多个结构化数组需打包进 dict：
np.savez_compressed('data.npz', arr1=arr1, arr2=arr2) - 加载后需用
npz_file['arr1']访问，不是直接返回数组；若字段含中文，保存前确保arr.dtype.names是 ASCII 字符串 - 压缩级别默认是 3，对科学数据通常 1–2 就够了，设
compress=True即可，不必手动调compression='lz4'（除非已装 lz4）
内存映射（mmap_mode）读大文件时别忽略 offset 对齐
用 np.memmap 读结构化数组时，如果 dtype 字段总宽不是 8 字节倍数（比如含 'i2' + 'f4' 导致 6 字节），操作系统页对齐可能失败，触发 ValueError: mmap length is greater than file size。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
解决办法：
- 用
np.dtype(...).itemsize检查是否对齐，不对齐就加padding字段：('pad', 'V2')补到 8 字节 -
mmap_mode='r'时，文件必须已存在且大小严格等于record_size * n_records，不能多一个 BOM 或换行 - 写入时用
np.memmap(..., mode='w+')并显式调flush()，否则部分字段可能没落盘
HDF5（h5py）适合混合读写但 dtype 要预声明
h5py 支持边写边读、压缩分块、字段索引，但结构化数组必须先定义 h5py.special_dtype，不能直接传 np.dtype。
典型写法：
import h5py
import numpy as np
<p>dt = np.dtype([('t', 'f8'), ('val', 'f4')])
h5_dtype = h5py.special_dtype(vlen=False, dtype=dt)</p><p>with h5py.File('data.h5', 'w') as f:
dset = f.create_dataset('raw', (1000000,), dtype=h5_dtype)
dset[:] = my_structured_array # 必须 shape 匹配</p>容易漏的点：
- 字段名含下划线或数字开头（如
'2d_pos'）会导致 HDF5 写入失败，改用'pos_2d' - 读取时
dset[:]返回的是视图，但修改字段值不会自动同步回文件，得重新赋值dset[i] = new_record - 小文件（
结构化数组的 I/O 瓶颈从来不在工具选型，而在 dtype 是否“机器友好”——只要字段对齐、无嵌套、无动态类型，np.fromfile 和 np.tofile 就是最优解。其余方案都是为妥协而生。
