本文介绍在批量下载大量 zip/rar/7z 档案后，如何通过 python 程序化、鲁棒地验证其完整性，涵盖魔数校验、库级测试方法、异常捕获策略及实际工程优化建议。

本文介绍在批量下载大量 zip/rar/7z 档案后，如何通过 python 程序化、鲁棒地验证其完整性，涵盖魔数校验、库级测试方法、异常捕获策略及实际工程优化建议。

在跨网络环境（如受 GFW 干扰）、低速限流（NexusMods 非会员 1 MiB/s）且高并发下载的场景下，归档文件极易因传输中断、连接重置或字节截断而损坏。仅靠文件大小或魔数（magic bytes）校验远远不够——例如 .zip 文件即使魔数 b'PK\x03\x04' 正确、长度未变，仍可能因 LZ77 距离编码错误导致解压失败（报错 invalid distance too far back）。因此，真正的完整性验证必须深入归档结构与压缩数据层。

推荐采用三层次验证策略：

1. 基础魔数预筛（快速排除明显非法文件）

   MAGIC_MAP = {
       b'PK\x03\x04': ('.zip', '.dazip'),
       b'Rar!\x1a\x07': '.rar',
       b'7z\xbc\xaf\'\x1c': '.7z',
   }

   读取文件头 8 字节，匹配对应格式。注意：.dazip 是 NexusMods 常见的重命名 ZIP，需一并纳入。

2. 库原生测试方法（核心验证）
   各主流库均提供轻量级完整性检查接口，不提取文件，仅校验元数据与压缩流：

   • zipfile.ZipFile.testzip()：返回首个损坏文件名（None 表示正常），但可能抛出 OSError、BadZipFile 或底层 zlib/LZMA 异常。
   • rarfile.RarFile.testrar()：返回 None 或损坏文件名；异常包括 rarfile.BadRarFile（含 read failed / Corrupt file 等子消息）。
   • py7zr.SevenZipFile.test() + testzip()：test() 快速校验头部，testzip() 深度校验每个条目；异常以 py7zr.Bad7zFile 和 lzma.LZMAError 为主。

3. 统一异常兜底处理（工程关键）
   实践表明，损坏类型与异常种类高度耦合，但无需穷举所有异常。应捕获与归档解析强相关的明确异常类，并记录原始错误信息用于诊断：

   from zipfile import BadZipFile
   from rarfile import BadRarFile
   from py7zr import Bad7zFile
   import lzma, zlib
   
   CORRUPTION_EXCEPTIONS = (
       BadZipFile, OSError, zlib.error, 
       BadRarFile, Bad7zFile, lzma.LZMAError
   )
   
   try:
       result = verifier(path)
       if result is not None:  # test* 方法返回损坏文件名
           raise ValueError(f"Corrupted entry found: {result}")
   except CORRUPTION_EXCEPTIONS as e:
       print(f"[CORRUPT] {path} → {type(e).__name__}: {e}")
       BAD_FILES.add(path)

⚠️ 注意事项：

• 避免裸 except:：会吞掉 KeyboardInterrupt、MemoryError 等系统级异常，改用显式异常元组。
• 分卷归档需特殊处理：如 hdr.2.rar 等分卷文件，rarfile 会报 Need to start from first volume，需提前识别 *.part*.rar 或按命名规则聚合分卷再验证。
• 性能权衡：ThreadPoolExecutor（而非 asyncio 包裹同步库）是正确选择——zipfile/rarfile/py7zr 均为 CPU/IO 密集型操作，异步无法加速，反而增加调度开销；线程数建议设为 min(8, os.cpu_count() * 2)。
• 内存安全：大文件（如 >500MB）验证时，py7zr 可能触发高内存占用，可配合 SevenZipFile(file, password=None, filters=None) 显式禁用不必要的解密/过滤逻辑。

最终，一个健壮的批量验证流程应输出明确的损坏文件列表，并支持后续自动重试下载或人工干预。你已验证的 6 个损坏文件（含 4 个分卷）正是该策略有效性的直接证明——它不止发现静默损坏，更将“分卷缺失”这一业务语义错误也纳入了质量门禁。