mmap 比 open().read() 快因按需映射、避免全量内存拷贝;但需校验文件大小、正确设置 access 参数、注意结构体对齐及偏移计算,否则易越界或解析错位。

为什么直接用 mmap 读超大二进制文件比 open().read() 快
因为 mmap 不把整个文件加载进内存,而是让操作系统按需将文件页映射到进程虚拟地址空间。对几十 GB 的二进制日志或科学数据文件,read() 会触发大量内存分配和拷贝,而 mmap 只建立映射关系,访问时才发生缺页中断——真正省的是物理内存和初始化时间。
但要注意:这不是“无代价”的加速。如果随机跳转访问过于稀疏(比如每次只读 1 字节、间隔几 MB),反而可能因频繁缺页拖慢;它最适合块状、局部、重复扫描的场景。
mmap.mmap 初始化时必须设对 access 参数
常见错误是默认用 access=mmap.ACCESS_READ 却想用 struct.unpack_from 解析含指针偏移的数据结构——这本身没问题;但如果文件里有可变长字段(如以 \0 结尾的字符串)、或你需要跳过 padding 对齐字节,就容易越界读到未映射区域,抛出 ValueError: mmap offset is greater than file size 或直接 SegmentationFault(尤其在 Windows 上)。
- 务必先用
os.path.getsize(filepath)校验文件长度,传给mmap.mmap(fd, length=..., access=...)的length不能超过它 - 若需写入(如打标记、修复头信息),必须用
access=mmap.ACCESS_WRITE,且打开文件时得用open(..., "r+b"),只读模式下写会报PermissionError - 在 Linux 上,
ACCESS_COPY很少用——它创建私有写时复制副本,但无法反映原文件变更,调试时容易误判数据新鲜度
用 struct.unpack_from 解析结构体时,偏移计算必须严格对齐
mmap 对象支持切片(如 mm[0x1000:0x1000+16]),但频繁切片会生成新 bytes 对象,失去零拷贝优势。更高效的方式是固定缓冲区 + struct.unpack_from(buf, offset),其中 buf 就是 mmap 实例本身。
立即学习“Python免费学习笔记(深入)”;
关键陷阱在于 C struct 的内存对齐。比如定义了 struct.pack("I B", 0x12345678, 0xFF),实际占 8 字节(I 是 4 字节,B 是 1 字节,但编译器默认按 4 字节对齐,补 3 字节 padding)。若你按“4+1=5”算偏移,后续所有解析都会错位。
- 用
struct.calcsize(fmt)获取真实打包长度,而不是手动加总 - 不确定对齐方式时,在格式字符串开头加
=(标准大小/无对齐)或@(原生对齐),例如"=IB"强制按字节紧排 - 解析前先检查
offset + struct.calcsize(fmt) ,避免 <code>struct.error: unpack_from requires a buffer of at least ... bytes
关闭 mmap 不能只靠 del mm,得显式调用 close()
Python 的 mmap 对象不遵循 RAII,del 或作用域退出不会自动释放映射。尤其在循环处理多个大文件时,不 close() 会导致 OSError: [Errno 24] Too many open files(Linux 默认限制 1024 个 fd),或者 Windows 下提示 “The process cannot access the file because it is being used by another process”。
正确姿势是用 with 语句或确保 finally 块中调用 mm.close()。注意:关闭后 mmap 对象不可再访问,但底层文件描述符(fd)仍需单独 os.close(fd) ——除非你是用 open() 返回的 file object 构造的 mmap(此时 file.close() 会一并关掉 mmap)。
最简稳妥写法:
with open(filepath, "rb") as f:
with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
# 解析逻辑
header = struct.unpack_from("=IHH", mm, 0)
这里两个 with 嵌套,既保 mmap 安全释放,又让文件自动关闭。
跨平台兼容性上,Windows 要求 mmap 长度不能为 0,所以用 0 表示“映射整个文件”时,得先 os.stat 拿真实大小;而 Linux 允许,但写成显式长度更可靠。


















