直接用ImageFolder读小图卡死主因是千万级open()系统调用导致磁盘元数据压力过大，IO wait占CPU 70%以上；应改用mmap打包二进制文件+索引+torchvision.io.read_image优化。
为什么直接用 ImageFolder 读小图会卡死
不是模型慢，是磁盘在喊救命。每个 .jpg 平均 20–50KB，但上百万张图意味着千万级 open() 系统调用——Linux 下每次 stat() + open() + read() 都要走 VFS 层，元数据压力远超数据本身。实测单线程加载 10 万张小图，IO wait 占 CPU 时间 70% 以上。
关键矛盾：PyTorch 默认 DataLoader 每次 __getitem__ 都独立打开文件，无法复用句柄，也无法预取元数据。
用 ConcatDataset + 内存映射替代逐文件打开
核心思路：把所有小图打包进一个二进制文件（如 images.bin），附带索引文件（index.json 记录每张图的 offset/length/label），用 mmap 一次性映射整个文件到虚拟内存，__getitem__ 只做指针切片，零拷贝读图。
实操建议：
立即学习“Python免费学习笔记（深入）”；
SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的 双功能合体技能 ，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途 ：；核心要点📝 题解模式 ：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式 ：输入 Python 代码，自动添加详细中。它将相关步骤、
- 打包脚本用
PIL.Image.open().tobytes()+io.BytesIO统一转为 RGB JPEG bytes，避免格式差异； - 索引文件用
json存，字段必须含"offset"、"length"、"label"，不要嵌套； - 自定义
Dataset中，在__init__里用np.memmap或open(..., 'rb').read()加载二进制，__getitem__用self.mmap[start:end]提取 bytes，再用PIL.Image.open(io.BytesIO(img_bytes))解码； - 务必设
DataLoader(num_workers=4, pin_memory=True, persistent_workers=True)，否则 mmap 句柄在 worker 间传递会失败；
torchvision.io.read_image 比 PIL 快在哪？
它绕过 Python GIL，底层调用 libpng/libjpeg-turbo 的 C 接口，对小图解码吞吐高 2–3 倍。但注意：它只支持 .png、.jpg、.jpeg，且要求图像无 EXIF 旋转信息（否则报 RuntimeError: Unexpected error while decoding JPEG）。
安全用法：
- 预处理时统一用
PIL清洗：打开 →convert('RGB')→rotate(0, expand=True)→ 保存为标准 JPEG； - 训练时改用
torchvision.io.read_image(path, mode=torchvision.io.ImageReadMode.RGB)，返回torch.Tensor，省去transforms.ToTensor()这步； - 路径必须是绝对路径，相对路径在多进程下易出
FileNotFoundError；
别忽略 prefetch_factor 和缓存策略
默认 prefetch_factor=2 对小图完全不够——它只预取 num_workers × prefetch_factor 个 batch，而小图 batch size 往往很大（如 512），导致 worker 经常空转等 IO。
调优建议：
- 把
prefetch_factor提到4–6，同时确保num_workers ≥ 4； - 加一层 LRU 缓存：在
__getitem__顶层用@lru_cache(maxsize=1024)缓存解码后的torch.Tensor（注意：输入必须是不可变 hashable 类型，比如用path字符串而非Path对象）； - SSD 用户可考虑
os.posix_fadvise(fd, 0, 0, os.POSIX_FADV_DONTNEED)在读完后丢弃 page cache，防止缓存挤占显存；
最易被忽略的是索引文件的磁盘位置：它必须和二进制文件在同一个挂载点，否则 mmap 跨设备会失败；另外，mmap 文件不能被其他进程 truncate，打包后记得 chown 锁定权限。
