OOM通常源于Dataset.__init__预加载或DataLoader预取，而非Dataset本身；应确保__getitem__按需加载、不缓存，DataLoader参数合理，并优先用IterableDataset处理流式数据。
Dataset太大导致OOM：别急着改代码，先确认是不是真需要全量加载
PyTorch的Dataset本身不加载数据，真正吃内存的是DataLoader在初始化时调用<strong>getitem</strong>做预取、或者你手动写了list(dataset)这类操作。常见错误是误以为Dataset对象一创建就占满内存——其实它只是个“数据说明书”，真正加载发生在每次<strong>getitem</strong>被调用时。
- 确认OOM是否发生在
DataLoader迭代过程中（比如for batch in dataloader:），而不是dataset = MyDataset(...)这行 - 检查是否无意中触发了全量索引，比如用了
len(dataset)配合range(len(dataset))再逐个dataset[i]访问——这对大文件路径列表没问题，但若<strong>getitem</strong>里做了图像解码+转tensor，就会累积内存 - 如果
Dataset.<strong>init</strong>里就把所有图片用PIL.Image.open().convert('RGB')读进内存并缓存，那问题出在这里，不是DataLoader的问题
__getitem__里只做按需加载：打开文件、解码、转换，一步到位不缓存
核心原则：每次<strong>getitem</strong>只处理当前样本，返回后立刻释放中间对象。不要用self.cache[i] = ...或self.images = [...]这种全局缓存。
- 图像路径类Dataset：在
<strong>getitem</strong>里用PIL.Image.open(path).convert('RGB')，立刻转torch.tensor，然后del掉PIL对象（虽然Python GC 通常会收，但显式断开更稳） - 视频/音频：用
decord.VideoReader或torchaudio.load按帧/片段读，别把整个视频load成numpy数组 - HDF5/ZIP/LMDB：确保底层库支持随机访问且不缓存全量——比如
h5py.File(..., swmr=True)+ 单次file['data'][idx]，而非file['data'][:] - 示例（安全写法）：
def __getitem__(self, idx): path = self.paths[idx] img = PIL.Image.open(path).convert('RGB') tensor = torch.from_numpy(np.array(img)).permute(2, 0, 1).float() / 255.0 del img # 显式释放PIL对象 return tensor, self.labels[idx]
DataLoader参数调优：num_workers和persistent_workers不是越多越好
多进程看似能加速IO，但对超大Dataset反而容易因内存复制翻车。每个worker都会拷贝一份Dataset对象（包括它的所有属性），如果Dataset.<strong>init</strong>里存了路径列表还好，但如果存了预加载的embedding或索引树，就会被重复N份。
-
num_workers=0时，加载在主线程做，无额外内存开销，适合调试和小规模验证 -
num_workers>0时，必须确保Dataset轻量（只存路径、索引等基本信息），且<strong>getitem</strong>不依赖外部状态（如共享的cv2.VideoCapture实例） - 开启
persistent_workers=True会让worker进程常驻，减少反复fork开销，但也会让worker长期持有内存——如果训练中途OOM，先试persistent_workers=False -
prefetch_factor默认2，即每个worker预取2个batch；对IO慢但计算快的场景可设为1，避免worker堆太多未消费batch
自定义IterableDataset：绕过索引逻辑，彻底放弃len和随机访问
当数据源是流式（日志文件、数据库游标、网络流）或根本无法预知总长度时，IterableDataset比Dataset更合适——它不实现<strong>len</strong>和<strong>getitem</strong>，只提供<strong>iter</strong>，由DataLoader直接消费迭代器。
不支持
sampler（比如WeightedRandomSampler），但可以用torch.utils.data.IterableDataset子类内部做采样逻辑DataLoader的shuffle=True在IterableDataset下无效，需在<strong>iter</strong>里手动random.shuffle()或用itertools.islice+random.sample-
示例骨架：
class StreamDataset(torch.utils.data.IterableDataset): def __init__(self, file_paths): self.file_paths = file_paths <p>def <strong>iter</strong>(self): for path in self.file_paths: with open(path, 'r') as f: for line in f: yield process_line(line) # 每次yield一个样本</p>注意：这里self.file_paths要是轻量列表，别把文件内容全读进来
真实场景里最易被忽略的点是——你以为自己在“按需读取”，其实早就在<strong>init</strong>里把所有路径的stat信息、标签映射表、甚至特征维度都预计算并存成dict了。这些看似不大的对象，在百万级样本下也会吃掉几个GB。检查你的Dataset.<strong>init</strong>，删掉一切非必要的预加载。
