StepLR 学习率不生效的根本原因是 lr_scheduler.step() 调用位置错误：必须在每个 epoch 结束后（而非 optimizer.step() 前）调用，且 step_size=10 表示每 10 个 epoch 衰减一次，首次衰减发生在第 10 个 epoch 完成后。
为什么 StepLR 调了 step_size 却没生效？
常见现象是模型训练几轮后学习率卡在初始值不动，或者衰减时机和预期不符。根本原因通常是 lr_scheduler.step() 调用位置错了——它必须在每个 epoch 结束（或每个 batch 后，取决于策略）调用，且不能放在 optimizer.step() 之前（对多数调度器而言）。
-
StepLR、MultiStepLR等基于 epoch 的调度器，必须在每个epoch循环末尾调用lr_scheduler.step() - 如果误写成在
optimizer.step()前调用，会导致第一次step()时还没更新参数，但调度器已提前更新 lr，下一轮优化器仍用旧 lr；更糟的是，某些版本 PyTorch 会静默忽略无效调用 -
step_size=10表示“每 10 个 epoch 衰减一次”，不是“第 10 个 epoch 开始衰减”——第 0 个 epoch 后不触发，第 10 个 epoch 完成后才首次衰减
想按 batch 调整 lr，该选 torch.optim.lr_scheduler.LambdaLR 还是 CosineAnnealingLR？
看是否需要精确控制每步 lr：前者适合自定义公式（比如 warmup + decay），后者适合固定周期的余弦退火。两者都支持 per-batch 更新，但用法差异大。
- 用
LambdaLR时，传入的lr_lambda函数接收当前step（从 0 开始），返回一个缩放系数；注意这个step是lr_scheduler.step()被调用的次数，不是 epoch 数 -
CosineAnnealingLR的T_max参数指“总 epoch 数”，不是总 step 数；若要按 batch 调整，得把T_max设为总 batch 数，并在每个 batch 后调用step()——但这时必须配合last_epoch=-1初始化，否则默认按 epoch 解释 - 性能上无显著差异，但
LambdaLR更灵活也更容易写错：lambda 函数里别用闭包捕获训练中变化的变量（如当前 epoch），因为函数只在初始化时求值一次
ReduceLROnPlateau 监控 val_loss 却一直不降 lr？
最常被忽略的是：它不自动知道你用哪个指标，必须显式传入 lr_scheduler.step(val_loss)，而且这个 val_loss 必须是标量 tensor 或 Python float。
- 如果你传了
lr_scheduler.step()（无参数），它什么也不做，也不会报错 -
mode='min'对应 loss 类指标（越小越好），mode='max'对应 acc 类（越大越好）；设反了就永远不触发 -
patience=10表示“连续 10 个 epoch 没改善才衰减”，不是“等 10 个 epoch 后强制衰减”；中间只要有一次 improvement，计数就重置 - 兼容性注意：PyTorch ≥ 1.10 后，
ReduceLROnPlateau支持threshold_mode='rel'（相对变化）或'abs'（绝对变化），默认是'rel'，阈值threshold=1e-4意味着新 loss 需比历史最优好 0.01% 才算 improvement
多个 optimizer 共用一个 lr_scheduler 会出问题吗？
会。PyTorch 的大多数 lr_scheduler 实例内部只维护一份 base_lrs，绑定到初始化时传入的 optimizer。如果手动把同一个 scheduler 给多个 optimizer 用，它只会更新第一个 optimizer 的 lr，其余全被忽略。
- 正确做法是：每个 optimizer 配一个独立 scheduler 实例，即使策略相同也要分别初始化
- 例外是
SequentialLR和ChainedScheduler（PyTorch ≥ 2.0），它们专为多阶段或多 optimizer 场景设计，但用法更复杂，需显式指定各阶段对应的 optimizer - 容易踩的坑：在 DDP（DistributedDataParallel）环境下，所有 rank 上的 scheduler 必须同步调用
step()，否则各卡 lr 分裂；尤其ReduceLROnPlateau的val_loss若没用torch.distributed.all_reduce汇总，各卡看到的指标不同，lr 调整就会不一致
