DataLoader开启num_workers>0未提速或卡死的根本原因是__getitem__不满足多进程安全：如使用全局单例、未序列化数据库连接或依赖主线程状态；PyTorch用spawn方式启动worker，需确保Dataset.__init__轻量、__getitem__幂等无副作用，并遵守Windows/macOS的if name == '__main__':约束。
为什么 DataLoader 开了 num_workers > 0 却没提速甚至卡死
根本原因常是数据集的 __getitem__ 不满足多进程安全：比如内部用了全局单例、未序列化的数据库连接、或依赖主线程状态（如某些 GUI 或日志上下文）。PyTorch 多进程用的是 spawn 启动方式，每个 worker 进程会重新导入模块并重建对象，若 Dataset 初始化时做了不可重入操作（如打开文件未关闭、启动线程、调用 torch.set_num_threads(1)），就会阻塞或报错。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 确保
Dataset.__init__只做轻量初始化（如存路径、读配置），所有耗时/有状态操作移到__getitem__中，并保证该方法幂等、无副作用 - 避免在
Dataset中使用logging、matplotlib、cv2.VideoCapture等不支持 fork/spawn 的库 - Windows 或 macOS 上务必把
DataLoader创建和迭代逻辑放在if __name__ == '__main__':块内，否则子进程会重复执行主脚本 - 用
torch.utils.data.get_worker_info()在__getitem__中区分主进程和 worker，做差异化处理（如只在主进程打日志）
pin_memory=True 和 prefetch_factor 怎么配合 num_workers
pin_memory=True 把 batch 张量锁页（pinned memory），让 GPU 更快通过 DMA 拷贝；但它只对 CPU→GPU 传输生效，且必须搭配 tensor.to(device, non_blocking=True) 才真正加速。而 prefetch_factor（默认 2）控制每个 worker 预取多少个 batch，值太小会空转，太大则内存暴涨——尤其当 batch 本身很大（如高分辨率图像）时。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- GPU 训练必开
pin_memory=True，但 CPU 训练反而可能因锁页内存占用增加导致 OOM -
prefetch_factor推荐从 2 开始试，若 GPU 利用率低（nvidia-smi显示 GPU-Util 波动大且常为 0），可逐步加到 4～6；但num_workers * prefetch_factor * batch_size * bytes_per_sample别超过系统空闲内存 - 不要盲目堆
num_workers：超过 CPU 核心数（尤其超线程数）后，上下文切换开销会抵消收益；一般设为min(8, os.cpu_count())起步
遇到 OSError: unable to open file (unable to lock file) 怎么办
这是典型多进程并发读同一文件（如 HDF5、LMDB、或未加锁的 SQLite）导致的冲突。HDF5 默认不支持多进程读，LMDB 虽支持但需显式设置 readonly=True 和 lock=False；而普通 ZIP 或文件夹里读图时，若多个 worker 同时 open() 同一个图片文件，在某些文件系统上也会抢锁失败。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- HDF5：改用
h5py.File(..., swmr=True)（需文件创建时启用 SWMR 模式），或换用zarr格式 - LMDB：Dataset 初始化时传
env = lmdb.open(..., readonly=True, lock=False, readahead=False, meminit=False) - 通用方案：把文件路径在
__init__中按 worker 分片，用get_worker_info().id分配不同子集，避免跨 worker 争抢 - 图像加载：优先用
PIL.Image.open().convert()而非cv2.imread()，后者在某些 OpenCV 版本中存在多进程兼容问题
如何验证多进程是否真在工作
不能只看训练速度，得确认 worker 进程确实启动并持续产出数据。最直接的方法是观察系统资源：运行时用 htop 或任务管理器看 CPU 核心是否被多个 python 进程占用；更精确的是在 __getitem__ 里加带进程 ID 的日志（注意别用 print，用 logging 并配置 %(process)d）。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 临时在
Dataset.__getitem__开头加：import logging; logging.info(f"[Worker {get_worker_info().id if get_worker_info() else 'main'}] loading {idx}")，再用logging.basicConfig(level=logging.INFO)查看输出 - 用
torch.utils.data.dataloader._BaseDataLoaderIter的调试模式（不推荐生产用）：设环境变量export PYTORCH_ENABLE_MPS_FALLBACK=1无用，真正有效的是加torch.multiprocessing.set_start_method('spawn', force=True)并捕获RuntimeError看是否启动失败 - 如果
num_workers=4但htop只看到 1 个 Python 进程在跑，大概率是__getitem__抛了未捕获异常，worker 静默退出，主进程 fallback 到单进程——此时一定要检查__getitem__是否有潜在KeyError、IOError等
多进程真正的难点不在参数配置，而在数据加载逻辑本身的可重入性和资源隔离。哪怕只差一个全局变量或一次未关闭的文件句柄，整个 pipeline 就会退化成单线程。
