直接 open().read() 会将整个大文件加载进内存导致OOM，应分块读取并用 hashlib.md5().update() 增量计算；需二进制模式打开、单次初始化哈希对象、避免文本模式和错误块大小。
为什么不能直接 open().read() 算大文件 MD5
内存会爆。比如读一个 2GB 的 ISO 文件，read() 会一次性把全部内容加载进内存，Python 进程可能被系统 OOM kill，或者拖慢整个机器。哈希计算本身不需要随机访问，顺序读一块算一块就行——hashlib.md5() 支持增量更新。
用 hashlib.md5().update() 分块读取的正确写法
核心是：打开文件、循环读固定大小的 bytes 块、每次调用 update()、最后 hexdigest()。别用 readline()（文本模式、换行符干扰）、别用 read() 不加限制。
- 推荐块大小设为
8192或65536（8KB–64KB），太小增加系统调用开销，太大无实质收益 - 必须用二进制模式打开：
open(path, "rb")，否则update()会报错或结果错乱 - 不要在循环里反复创建
hashlib.md5()实例，只初始化一次
import hashlib
def file_md5(path):
h = hashlib.md5()
with open(path, "rb") as f:
while chunk := f.read(8192): # Python 3.8+ walrus；旧版本用 while True + break
h.update(chunk)
return h.hexdigest()
hashlib.md5() 在不同 Python 版本下的兼容性注意点
主要差异在默认算法支持和性能优化上，但 MD5 本身没变化。真正要留意的是：
- Python 3.9+ 默认禁用部分不安全哈希（如
md4），但md5完全可用，无需额外配置 - 3.0–3.8 中，
hashlib.md5()返回对象的digest_size是 16，hexdigest()是 32 字符十六进制字符串，这个行为稳定 - 如果代码跑在受限环境（如某些嵌入式 Python），确认
hashlib模块未被裁剪——可先import hashlib; hasattr(hashlib, "md5")检查
常见错误现象和调试线索
算出来的 MD5 和 md5sum 命令结果不一致？八成是下面这几个坑之一：
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
立即学习“Python免费学习笔记（深入）”；
- 用了文本模式打开：
open(path, "r")→ 读取时自动处理换行符、编码转换，bytes 内容已失真 - 块大小设为 0 或负数 →
f.read(0)返回空 bytes，循环卡死或跳过所有内容 - 忘记调用
h.update(chunk)，或者把chunk错写成字符串（如str(chunk)）→ 实际更新的是字符串的字节表示，不是原始文件内容 - Windows 下路径含中文，但没处理编码异常 → 其实
open(..., "rb")跟路径编码无关，只要路径字符串本身能被 OS 正确解析即可；出错通常是传入了非法路径字符，而非编码问题
验证是否正确：拿一个小文件（比如 1KB 的纯文本），手动用 echo -n "hello" | md5sum 对比，再用你的函数跑一遍，值一样就说明逻辑通了。
分块读的本质不是“为了分块而分块”，是让内存占用可控、IO 更平滑。块大小选 8KB 到 64KB 之间基本都行，不用纠结最优值——除非你真在嵌入式设备上跑，那才需要压榨每一 KB。
