np.memmap不能直接读取任意格式超大文件，因为它仅支持连续、同构、已知dtype和shape的二进制数据；对CSV、HDF5等需解析的格式会报错或乱码，且必须精确匹配字节数、offset与dtype。
为什么 np.memmap 不能直接读取任意格式的超大文件
np.memmap 不是万能加载器，它只认「连续、同构、已知 dtype 和 shape」的二进制数据。如果你手头是 CSV、HDF5、Parquet 或带 header 的日志文件，np.memmap 会直接报错或读出乱码——因为它跳过解析，只做裸字节映射。
常见错误现象：ValueError: cannot reshape array of size X into shape (A,B)，本质是文件字节数 ≠ dtype.itemsize * A * B；或者读出来全是 0 或极大负数，大概率是 dtype 指定错了（比如把 np.float32 当成 np.float64）。
- 必须提前知道：元素类型（
dtype）、总长度或形状（shape）、是否含 header（影响offset） - 原始文件得是
np.save写出的.npy，或用np.ndarray.tofile()保存的纯二进制，又或是你自己用 C/Python 控制字节顺序生成的 - 若数据来自外部（如传感器采集），建议先用脚本预处理成 raw binary：剥离 header、统一字节序、验证 checksum
创建 memmap 时 mode 和 offset 怎么选
mode 决定你对文件的权限和缓存行为，不是“读写开关”那么简单。例如 mode='r' 是只读 + OS 页面缓存，而 mode='c'（copy-on-write）看似安全，但一旦修改就触发页复制，内存占用翻倍且不落盘——除非你明确需要临时修改不污染原文件。
offset 很容易被忽略：它单位是字节，不是元素个数。比如想跳过前 1024 字节的 header，且 dtype 是 np.float32（4 字节/元素），那后续 shape 就不能再按“从第 0 个元素开始”算。
立即学习“Python免费学习笔记（深入）”；
Python 环境工具专业版功能概述Python 环境工具专业版是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。核心要点使用时应结合输入条件选择合适的执行方式，核对必要参数、依赖环境与输出内容，并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景，可作为自动化工作流的一部分，也便于后续检查、调整和扩展。执行完成后建议检查结果是否符合预期，并保留必要记录。使用与执行同时注意输入完整性、执行条件和输出可用性。从功能定位来看，该技能
- 读已有数据：优先用
mode='r'；需局部写入（如打标签）用mode='r+'；确定要覆盖原文件才用mode='w+' -
offset=1024后，若想映射为 (1000, 500) 的float32数组，文件总长至少得是1024 + 1000*500*4 = 2,001,024字节 - Windows 下打开已由其他进程锁定的文件会失败，此时换
mode='r'并确认文件没被 Excel/记事本占用
用 memmap 做分块计算时，为何有时比普通 load() 还慢
memmap 的优势不在“一次全读”，而在“按需页加载 + 避免内存拷贝”。如果你写 arr[:] = some_computation(arr[:])，等于强制把整个数组调入物理内存，还多了一层 mmap 系统调用开销。
真正高效的模式是：用小切片（slice）驱动计算，让 OS 按需换页，并配合 numpy.ndarray.flush() 控制写回时机。
- 避免
arr.sum()或arr.mean()全局聚合——改用循环分块：for i in range(0, len(arr), chunk_size): batch = arr[i:i+chunk_size]; result += f(batch) - 写入密集场景下，每处理完一个 chunk 调一次
arr.flush()，否则修改可能滞留在 page cache 中，程序崩溃就丢数据 - Linux 上可配合
os.posix_fadvise(fd, offset, len, os.POSIX_FADV_DONTNEED)提示内核释放不用的页，减少 swap 压力（需用open()获取 fd）
跨平台使用 memmap 的三个硬坑
Windows 和 Linux 对 mmap 的实现差异会导致同一份代码在不同系统上行为不一致，尤其涉及文件锁、共享内存和字节序。
最典型的错误：OSError: [Errno 22] Invalid argument —— 多半是 Windows 下尝试用 mode='c' 映射网络路径（SMB/NFS），或者文件被杀毒软件实时扫描锁定。
- 路径必须用正斜杠或双反斜杠：
r'C:\data\big.bin'或'C:/data/big.bin'，单反斜杠会触发转义错误 - 不要在 NFS/Samba 共享目录上用 memmap；如必须，改用
mode='r'+ 客户端本地缓存 - 不同平台默认字节序不同（x86 是 little-endian），如果文件由另一台机器生成，务必显式指定
dtype带字节序，如np.dtype('>f4')表示 big-endian float32
memmap 真正省的是内存，不是开发时间——dtype 错一位、offset 少算一 byte、mode 选错场景，都可能让程序跑出完全不可预期的结果，而且问题往往延迟暴露。
