open().read()会卡死或爆内存，是因为它将GB级文件一次性全量载入进程堆内存，3GB文件即占约3GB RAM，易触发系统swap或OOM killer；而mmap通过内存映射实现按需分页加载，仅访问时才将对应页载入物理内存，显著降低内存占用。
为什么直接用 open() + read() 会卡死或爆内存
读取 GB 级文件时，open('big.bin', 'rb').read() 会把整个文件一次性载入 Python 进程的堆内存——哪怕你只想要开头 100 字节。3GB 文件 ≈ 3GB RAM 占用，触发系统 swap 或直接被 OOM killer 杀掉。这不是 Python 慢，是策略错。
内存映射（mmap）绕过数据拷贝：内核直接把文件逻辑块映射到进程虚拟地址空间，Python 通过切片访问，像操作 bytes 数组一样，但底层不加载整块内容到物理内存。
- 仅按需分页加载（page fault 触发），真正访问哪段才进 RAM
- 多个进程可共享同一映射（适合只读场景）
- 避免
bytes对象的额外内存开销和 GC 压力
mmap.mmap() 的关键参数怎么选
最易踩坑的是 length 和 access 参数。错误设置会导致 ValueError: mmap length is greater than file size 或写入失败。
-
length=0是安全选择：自动匹配文件当前大小（注意：文件后续增长不会自动扩展映射） - 只读场景必须用
access=mmap.ACCESS_READ（Windows 下缺省是ACCESS_WRITE，会报PermissionError） - 不要传
length大于os.path.getsize()，即使文件支持 sparse，Pythonmmap不处理 - Linux 下可加
flags=mmap.MAP_PRIVATE避免写时拷贝（只读时无影响）
示例：
立即学习“Python免费学习笔记（深入）”；
SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的 双功能合体技能 ，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途 ：；核心要点📝 题解模式 ：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式 ：输入 Python 代码，自动添加详细中。它将相关步骤、
import mmap
with open('data.bin', 'rb') as f:
# 安全的只读映射
mm = mmap.mmap(f.fileno(), length=0, access=mmap.ACCESS_READ)
header = mm[:32] # 快速读前32字节，不加载全文
如何按结构体偏移高效解析二进制格式
GB 文件常是固定结构的二进制流（如传感器采样、数据库快照）。用 struct.unpack_from() 直接在 mmap 对象上解析，零拷贝。
-
mmap对象支持__getitem__，可直接传给struct.unpack_from(buf, offset) - 避免
mm[offset:offset+8]切片再解包——这会触发该段落页加载并生成新bytes对象 - 若结构体含字符串字段，注意 C-style null terminator 和编码；
mm[offset:offset+64].split(b'\x00', 1)[0].decode('utf-8')比先切片再 decode 更稳
例如解析每 128 字节一个记录的头部：
import struct
record_fmt = '<I8sQ' # little-endian: uint32 + 8-char str + uint64
for i in range(0, len(mm), 128):
if i + struct.calcsize(record_fmt) > len(mm):
break
ts, tag, seq = struct.unpack_from(record_fmt, mm, i)
常见陷阱：Windows 上的文件锁和 close 顺序
Windows 默认对打开的文件加共享锁，mmap 映射后，如果先 close() 文件对象，映射可能立即失效（尤其 NTFS），导致 ValueError: mmap offset is greater than file size 或读到乱码。
- 必须保持
file对象存活，直到mmap对象close()完成 - 推荐用上下文管理器嵌套：
with open(...) as f: with mmap.mmap(...) as mm: - 显式调用
mm.close()后，再f.close()（虽然with会自动做，但顺序不能反） - Linux/macOS 无此限制，但统一写法更稳妥
多进程并发读同一个文件时，确保所有进程都用 ACCESS_READ，否则 Windows 可能拒绝映射。
真正麻烦的不是映射本身，而是结构体定义是否与实际二进制布局严格一致——字节序、填充、对齐，差一个字节，后面全错。建议先用 hexdump -C -n 256 data.bin 对照验证头几个记录。
