mmap是解决大文件关键词搜索最直接有效的手段，因其将文件映射为内存、按需分页、避免逐行解析和字符串构造开销；而open().readlines()易致MemoryError、编码错位及无法跨行匹配。
mmap 是解决大文件关键词搜索最直接有效的手段之一，尤其当文件远超可用内存（比如 10GB 日志）且你只需快速定位几处匹配时。它不加载全文，不逐行解析，而是把文件“当作一块内存”来扫描，底层由操作系统按需分页，性能差距往往是数量级的。
为什么不能用 open().readlines() 搜 10GB 文件
常见错误是写个循环 for line in f: 然后用 if "ERROR" in line: —— 这会强制 Python 把每行解码、构造字符串对象、再做子串查找。不仅内存爆满（Python 字符串开销远大于原始字节），而且 UTF-8 多字节边界、换行符位置、BOM 头都可能让匹配错位或崩溃。
- 真实错误现象：
MemoryError或进程被系统 OOM killer 杀掉 - 即使没崩，
line.decode()在循环中反复调用，CPU 花在编码转换上远多于实际搜索 - 无法跨行匹配（比如关键词横跨两行末尾/开头）——而
mmap原生支持字节级任意位置查找
mmap + re.finditer() 的正确打开方式
核心是：用 mmap 获取一个 bytes-like 对象，直接喂给 re.finditer()（注意必须用 bytes 模式正则，即 b"pattern"）。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 文件必须以
r+b模式打开，否则fileno()不可用或映射失败 -
mmap.mmap(f.fileno(), 0)中长度传0表示映射整个文件；若只查前 1GB，可传具体字节数节省虚拟地址空间 - 正则必须用
bytes字面量，re.compile(r"ERROR")会报TypeError: cannot use a string pattern on a bytes-like object - 匹配到的
match.start()是字节偏移，不是行号；要取整行需手动向左找b" "、向右找b" "
import mmap
import re
<p>with open("access.log", "r+b") as f:
with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:</p><h1>注意：b"404" 是 bytes，不是 "404"</h1><pre class='brush:python;toolbar:false;'> for m in re.finditer(b"404", mm):
# 向左找上一个换行（避免 start=0 时 rfind 返回 -1）
start = mm.rfind(b"
", 0, m.start()) + 1
end = mm.find(b"
", m.start())
line_bytes = mm[start:end] if end != -1 else mm[start:]
print(line_bytes.decode(errors="replace"))搜索中文关键词或带空格的短语时的陷阱
中文在文件里是 UTF-8 编码，一个汉字占 2~4 字节。如果你用 b"登录失败" 直接搜，没问题；但若误写成 "登录失败".encode("gbk")，而文件是 UTF-8，就永远匹配不上。
立即学习“Python免费学习笔记（深入）”；
- 先确认文件编码：
file -i access.log或用chardet库粗略探测（仅用于调试，生产环境应明确约定） - 关键词统一转为文件实际编码的
bytes，不要依赖默认str.encode()（它走系统 locale） - 空格、制表符、不可见字符要显式写出：
b"user_id: \d+"，而不是靠字符串格式化拼接 - 避免用
mm.find(b"关键词")查多字节字符——它只做朴素字节匹配，不处理 UTF-8 齐整性；正则更稳妥
性能关键：什么时候该关掉 mmap？
不是所有大文件都适合 mmap。它快的前提是“随机访问密度高”或“重复使用同一文件”。如果只是单次顺序扫一遍，传统 buffered read(8192) 可能更快，因为少了页表建立和缺页中断开销。
- 适合
mmap：grep类交互式查询、日志实时监控、多进程共享词典检索 - 不适合
mmap：一次性流式清洗（如 CSV 转 JSON）、需要按字段解析结构化数据、文件在 NFS 或某些网络文件系统上（mmap 性能暴跌甚至报错） - 容易被忽略的一点：Linux 下
mmap映射的匿名页或文件页，会参与全局内存回收策略。若同时跑多个mmap进程，可能触发 swap，反而拖慢——这时得配合madvise(MADV_WILLNEED)提示内核预加载，但 Pythonmmap模块不暴露该接口，只能用ctypes调用
