PyTorch无内置流式训练接口，需手动实现：禁用DataLoader的shuffle、显式构造迭代器、同步保存模型与优化器状态、禁用梯度累积、改用step级学习率调度，并谨慎处理BatchNorm。
PyTorch 没有内置的「流式训练接口」，得自己搭骨架
PyTorch 本身不提供类似 model.partial_fit() 或 fit_online() 这样的 API。所谓“增量在线学习”，本质是手动控制：每次只喂一个 batch（甚至单样本），调用 optimizer.zero_grad() → loss.backward() → optimizer.step()，并跳过 full epoch 循环。关键不是“能不能”，而是“怎么避免踩坑”。
数据流必须显式构造迭代器，不能依赖 DataLoader 默认 shuffle
默认 DataLoader 的 shuffle=True 会打乱全局顺序，破坏时序性；而在线学习依赖数据到达顺序（比如传感器流、用户点击流）。必须禁用 shuffle，并确保数据源可无限/按需生成：
-
shuffle=False是硬性要求，否则历史分布被破坏 - 若数据来自文件，用
iter()包裹自定义生成器，避免一次性加载全量 - 若数据来自 Kafka / WebSocket，直接 yield 原始样本，转成
torch.Tensor后立即送入模型 - 注意
DataLoader的num_workers > 0可能导致预取缓冲区积压旧数据，建议设为0或用纯 Python 迭代器绕过
状态保存与模型热更新要分清「参数」和「优化器状态」
在线场景下，你可能每小时存一次 checkpoint，但 torch.save(model.state_dict(), ...) 不包含 optimizer.state_dict() —— 而后者对 Adam 等自适应优化器至关重要（含动量、二阶矩估计）。漏掉它，恢复后收敛速度会断崖下跌：
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
- 必须同时保存两者：
torch.save({'model': model.state_dict(), 'optimizer': optimizer.state_dict()}, path) - 恢复时先
model.load_state_dict(...)，再optimizer.load_state_dict(...)，顺序不能反 - 如果用
torch.compile()或混合精度（amp），还要额外保存scaler.state_dict() - 别用
torch.save(model, ...)全对象序列化——跨版本兼容性差，且无法做细粒度热替换
梯度累积和动态学习率在流式中容易误用
离线训练常用梯度累积模拟大 batch，但在流式中它等价于「延迟更新」，违背了在线学习对低延迟响应的要求；同样，基于 epoch 的 lr scheduler（如 StepLR）在无明确 epoch 边界时会失效：
立即学习“Python免费学习笔记（深入）”；
- 禁用梯度累积：每次
loss.backward()后立刻optimizer.step()，不累计 - 改用基于 step 的调度器，如
torch.optim.lr_scheduler.LambdaLR，用global_step控制衰减 - 若需稳定训练，优先调小
lr（比如 1e-4），而不是靠累积 batch 来“稳梯度” - 警惕
BatchNorm：默认统计全局 batch 的均值方差，流式中应设track_running_stats=False或换用LayerNorm
真正难的不是写几行训练循环，而是让模型在持续漂移的数据分布上不崩溃——这需要监控 loss 趋势、定期重置部分 head、或引入记忆回放（replay buffer），但那些已超出 PyTorch 基础设施的覆盖范围。
