Adam与SGD解决不同问题：Adam开箱即用但泛化弱，SGD需搭配warmup和重置的余弦退火才能稳定收敛；推荐AdamW优先，或分阶段先Adam后SGD微调。
Adam 和 SGD 不是“选一个”的关系，而是解决不同问题的工具；余弦退火本身不决定优化器选型，但会放大 SGD 的收敛敏感性——用错组合（比如 SGD + 余弦退火 without warmup）极易导致 early collapse。
Adam 默认更稳，但容易卡在次优解
Adam 内置动量和自适应学习率，在大多数 CV/NLP 任务上开箱即用，torch.optim.Adam 默认 betas=(0.9, 0.999) 对中小规模数据足够鲁棒。但它有两个隐性代价：
- 参数更新方向受历史梯度严重稀释，最终解泛化性常弱于 SGD
- 余弦退火对 Adam 的
lr衰减作用有限，因为其实际步长还受sqrt(v)（二阶矩估计）压制，衰减曲线被“抹平” - 若任务含强结构先验（如 ResNet 分类、ViT 微调），Adam 可能早停在训练 loss=0.05 就不动了，而 SGD 还能继续压到 0.01
实操建议：AdamW（带权重衰减解耦）比原生 Adam 更值得优先试，尤其配合 lr=3e-4 和 weight_decay=0.01。
SGD + 余弦退火必须配 warmup 和手动重置
直接上 torch.optim.SGD + torch.optim.lr_scheduler.CosineAnnealingLR 极大概率在第 10–20 个 epoch 崩溃——初始 lr 太高导致梯度爆炸，或余弦谷底（lr≈0）时模型彻底停滞。
立即学习“Python免费学习笔记（深入）”；
- 必须加 warmup：前 5–10 个 epoch 用线性升 lr 到峰值（如 0.1），避免 early divergence
- 余弦周期要匹配总 epoch 数，别用默认
T_max=200训 50 epoch——会导致 lr 在中期就掉进无效区 - 关键技巧：在余弦最低点（lr≈0）前 1–2 个 epoch 手动重置优化器状态（清空
state），否则动量项残留会拖慢重启速度
示例片段：
optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9, weight_decay=5e-4) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=epochs - warmup_epochs) # warmup 需自己写 step() 控制前 warmup_epochs 步
动态切换策略：SGD 接管后期微调
混合策略不是“交替使用”，而是分阶段移交：Adam 跑前 70% epoch 快速收敛，再切到 SGD + 余弦退火做最后攻坚。切换时必须重置 scheduler 并调整 lr 缩放。
- 切换点选在 Adam 的 val_loss 曲线首次变平（连续 3 epoch Δloss
- SGD 初始 lr 设为 Adam 终止时的当前 lr × 0.1（例如 Adam 结束在 lr=1e-4，则 SGD 从 1e-5 启动）
- 新
CosineAnnealingLR的T_max设为剩余 epoch 数，且开启verbose=True观察 lr 是否真在下降 - 切优化器后务必调用
optimizer.load_state_dict({})清空 Adam 状态，否则 SGD 会继承错误的二阶矩
真正难的不是代码怎么写，而是判断何时该切——val_acc 停滞不等于该切，要看 train/val loss gap 是否在扩大；gap 扩大说明过拟合，此时切 SGD 往往无效，该先加 dropout 或 label smoothing。
