不能直接用hashlib.md5(file.read())处理大文件，因为会一次性将全部内容加载到内存，导致内存溢出或系统变慢；必须采用rb模式分块读取（如8192字节），调用update()流式计算。
为什么不能直接用 hashlib.md5(file.read()) 读大文件？
因为会把整个文件加载进内存，1GB 文件就吃掉 1GB 内存，还可能触发 MemoryError 或拖慢系统。真实场景中，2GB 日志、10GB 镜像、几十 GB 数据库备份都常见，必须流式分块读取。
核心原则：每次只读固定大小（如 8192 字节），更新哈希对象，不保存原始内容。
-
hashlib.md5()返回的是哈希对象，支持多次调用update() - 推荐块大小为
8192或65536（8KB / 64KB），太小增加系统调用开销，太大无实质收益 - 务必以
rb模式打开文件——文本模式会破坏二进制数据，导致哈希值错误
最简可靠实现：带异常处理的流式 MD5 计算
以下函数能处理路径不存在、权限不足、磁盘 I/O 中断等常见问题，返回字符串形式的 32 位小写十六进制哈希值：
import hashlib
def file_md5(filepath):
hash_md5 = hashlib.md5()
try:
with open(filepath, "rb") as f:
for chunk in iter(lambda: f.read(8192), b""):
hash_md5.update(chunk)
return hash_md5.hexdigest()
except (OSError, IOError) as e:
raise RuntimeError(f"无法读取 {filepath}: {e}")
注意：iter(lambda: f.read(8192), b"") 是 Python 中惯用的“直到空字节串”的迭代写法，比 while True + break 更简洁安全。
立即学习“Python免费学习笔记（深入）”；
python-flask-vue-creator
下载
创建 Flask + Vue.js 全栈项目，采用单端口架构、uv 依赖管理、结构化日志和生产级前端设计。当用户要求以下操作时触发：创建新的 Flask+Vue 项目、搭建 Web 应用、构建全栈 Python+Vue 应用、初始化 Flask Web 项目、设置单端口 Flask 前后端项目。触发词：新建项目、创建项目、搭建项目、Flask项目、Vue项目。
- 不要用
f.read()不带参数——它会一次性读完全部内容 - 避免在循环里反复创建
hashlib.md5()实例，否则最终结果只是最后一块的哈希 - 如果文件被其他进程独占写入（如正在下载或写入中），
OSError: [Errno 13] Permission denied或[Errno 11] Resource temporarily unavailable可能出现，需按业务逻辑重试或跳过
校验时如何避免“看似成功实则出错”？
MD5 值相同 ≠ 文件一定没损坏，但不同一定已损坏；更重要的是，校验过程本身是否完整执行。
- 检查返回值长度：正确 MD5 总是
len(hexdigest()) == 32，若返回None或空字符串，说明异常未被捕获或处理不当 - 对比前后两次计算结果：对同一文件连续算两次，结果应严格相等；若不等，可能是文件被动态修改（如日志轮转）或存储介质出错
- 不要依赖
os.path.getsize()推断完整性——文件大小一致，内容仍可能错乱（例如某段被零填充） - 生产环境建议搭配
sha256使用（替换hashlib.md5()为hashlib.sha256()），MD5 已不适用于防碰撞场景
命令行快速验证：用 Python -c 一行搞定
不需要写脚本，调试或运维时直接终端运行：
python -c "import hashlib,sys;h=hashlib.md5();[h.update(l) for l in iter(lambda: sys.stdin.buffer.read(8192), b'')];print(h.hexdigest())" < bigfile.zip
或者指定路径（注意 shell 要求路径无空格或需引号）：
python -c "import hashlib,sys;h=hashlib.md5();[h.update(b) for b in iter(lambda: open(sys.argv[1],'rb').read(8192), b'')];print(h.hexdigest())" bigfile.zip
⚠️ 第二种写法在文件打开失败时会抛出未捕获异常，仅适合可信环境临时使用；正式脚本请用前面带 try/except 的版本。
真正麻烦的从来不是算 MD5，而是确认你读的是那个“没被截断、没被锁住、没被静默损坏”的文件——哪怕多加一次 stat 检查或校验前 ls -l 看大小，都比只信哈希值更实在。
