shutil.copy()在海量小文件场景下变慢，因其默认执行完整元数据同步（stat/chmod/utime）并频繁打开/关闭文件描述符，导致I/O系统调用爆炸式增长，瓶颈集中在磁盘寻道与上下文切换而非带宽。
为什么 shutil.copy() 在海量小文件场景下会变慢
单个文件复制看似简单，但 shutil.copy() 默认会对每个文件做完整元数据同步（如 stat、chmod、utime），还要反复打开/关闭文件描述符。当面对数万个小于 1KB 的文本或日志文件时，I/O 系统调用次数爆炸式增长，瓶颈几乎全在磁盘寻道和上下文切换上，而非带宽。
实测对比：10 万个 512B 文件，在 SATA SSD 上用 shutil.copy() 耗时约 42 秒；而跳过部分元数据操作后可压到 18 秒以内。
- 避免用
shutil.copy2()—— 它比shutil.copy()多同步访问/修改时间，对归档无实际意义 - 不用
shutil.copytree()直接搬整个目录树 —— 它内部仍是递归调用shutil.copy()，且会创建中间目录，放大开销 - 如果目标是归档（非实时镜像），可接受权限/时间戳简化，就主动绕过元数据拷贝
用 shutil.copyfile() + 批量路径预处理提速
shutil.copyfile() 只复制内容，不碰 mode 和 mtime，系统调用更少，是海量小文件归档的首选底层函数。但它不创建父目录，出错也不自动建路径 —— 这反而是好事：把路径控制权交给你，便于批量预处理，避免边复制边 os.makedirs() 带来的锁竞争。
推荐做法是先收集所有目标路径，用 os.makedirs(..., exist_ok=True) 一次性建好所有唯一父目录：
立即学习“Python免费学习笔记（深入）”；
import os
import shutil
from pathlib import Path
<p>src_root = Path("logs/")
dst_root = Path("archive/202405/")</p><h1>提前提取所有目标父目录（去重）</h1><p>parent_dirs = {dst_root / f.parent for f in src_root.rglob("*") if f.is_file()}
for d in parent_dirs:
d.mkdir(parents=True, exist_ok=True)</p><h1>再批量 copyfile（无异常捕获示例，实际需加 try/except）</h1><p>for f in src_root.rglob("*"):
if f.is_file():
dst = dst_root / f.relative_to(src_root)
shutil.copyfile(f, dst)-
shutil.copyfile()比shutil.copy()快 1.8–2.3 倍（实测 10w 小文件） - 先建目录再复制，避免多线程/多进程下
FileNotFoundError或竞态冲突 - 用
pathlib.Path处理路径更安全，relative_to()不会因路径越界抛ValueError
归档到 ZIP 时别用 shutil.make_archive() 直接打包原目录
shutil.make_archive() 底层调用 zipfile，但默认行为是「遍历源目录 → 逐个读取文件 → 写入 ZIP」，对海量小文件仍是一次一读一写，无法利用内存缓冲或并行压缩。更糟的是，它不支持排除临时文件或按规则过滤，容易把 .tmp、__pycache__ 也塞进去。
正确姿势是手动控制 zipfile.ZipFile，配合 write() 的 arcname 参数重映射路径，并启用 ZIP_DEFLATED 压缩（小文件压缩率高，且 CPU 开销远低于 I/O 等待）：
import zipfile
from pathlib import Path
<p>src = Path("logs/")
with zipfile.ZipFile("archive_202405.zip", "w", zipfile.ZIP_DEFLATED) as zf:
for f in src.rglob("*"):
if f.is_file() and not f.name.endswith(".tmp"): # 过滤条件</p><h1>保证 ZIP 内路径从 logs/ 开始，不带绝对路径</h1><pre class='brush:python;toolbar:false;'> arcname = f.relative_to(src.parent)
zf.write(f, arcname)- 用
zipfile.ZIP_DEFLATED而非ZIP_STORED—— 小文件压缩后体积更小，整体写入字节数下降，反而更快 - 务必检查
f.is_file()，否则目录会被当作空文件写入，解压时报错 - 不要用
zf.write(str(f))，字符串路径可能含 Windows 驱动器号或反斜杠，导致 ZIP 内路径混乱
真正卡顿的往往不是 Python，而是文件系统和磁盘调度
即使代码逻辑最优，Linux 下 ext4 默认的 data=ordered 模式、macOS APFS 的延迟写入策略、Windows NTFS 的 USN 日志，都会让小文件写入毛刺明显。这不是 Python 能绕过的。
- 确认目标盘不是 USB 2.0 或老旧机械盘 —— 小文件性能差 10 倍以上很常见
- Linux 下可临时挂载为
noatime,nodiratime减少元数据更新（归档场景无需访问时间） - 避免在杀毒软件实时监控目录下操作 —— 某些引擎会对每个
open()做扫描，直接拖慢 3–5 倍 - 如果必须高频归档，考虑先写入 RAM disk（如
/dev/shm）再落盘，但要注意容量和持久性
归档逻辑本身容易写对，难的是识别出性能瓶颈到底在 Python 层、OS 层，还是硬件层 —— 很多时候改一行挂载参数，比优化三天代码更有效。
