CosineAnnealingLR无法原生支持warmup，因其公式中t从0开始导致lr必须等于lr_max，否则余弦曲线偏移失真；正确做法是用LambdaLR自定义分段函数：前T_warmup步线性增长，之后标准余弦退火。
不能直接用 CosineAnnealingLR 做预热——它本身不支持 warmup 阶段，强行在训练开始前插入线性增长会破坏其周期性数学结构。
为什么 CosineAnnealingLR 无法原生支持 warmup
它的公式是 lr = lr_min + 0.5*(lr_max-lr_min)*(1 + cos(tπ/T_max))，其中 t 从 0 开始计数，T_max 是总周期长度。一旦你让 t=0 时 lr 不等于 lr_max，整个余弦曲线就偏移失真，后续下降节奏全乱。很多初学者试图在初始化后手动改 last_epoch 或 patch get_lr()，结果模型 loss 在第 3–5 个 epoch 就 NaN。
正确做法：用 LambdaLR 手写 warmup + cosine 组合逻辑
这是目前最干净、可控、无副作用的方案。核心思路是把学习率函数拆成两段：
- 前
T_warmup个 step：线性从lr_min涨到lr_max - 之后：切换为标准余弦退火，从
lr_max平滑降到lr_min
示例代码（适配 AdamW）：
立即学习“Python免费学习笔记（深入）”；
from torch.optim import AdamW from torch.optim.lr_scheduler import LambdaLR <p>optimizer = AdamW(model.parameters(), lr=1e-4, weight_decay=0.01) T_warmup = 500 # warmup 步数，通常取总步数的 5%–10% T_total = 10000</p><p>def warmup_cosine_lr(step): if step < T_warmup: return float(step) / float(max(1, T_warmup)) else: progress = float(step - T_warmup) / float(max(1, T_total - T_warmup)) return max(0.0, 0.5 <em> (1.0 + math.cos(math.pi </em> progress)))</p><p>scheduler = LambdaLR(optimizer, lr_lambda=warmup_cosine_lr)
搭配 AdamW 时必须注意的三个参数细节
AdamW 对学习率变化更敏感，尤其在 warmup 初期，容易因梯度矩估计未稳定而震荡：
-
weight_decay要显式设为非零值（如0.01），避免和 L2 正则混淆；Adam默认不分离权重衰减，AdamW才真正解耦 - 初始
lr建议设为1e-4～5e-4，比纯Adam略低，防止 warmup 阶段更新幅度过大 - 如果用
torch.compile或 AMP，确保scheduler.step()在optimizer.step()之后调用，否则lr_lambda可能被缓存导致 step 错位
容易被忽略的调试信号
训练初期 loss 不降或剧烈抖动，别急着调模型结构——先检查 scheduler 是否真的生效：
- 打印前 10 步的
optimizer.param_groups[0]['lr']，确认第 1 步是否接近lr_max / T_warmup - 用
plt.plot([scheduler.get_last_lr()[0] for _ in range(T_total)])快速画出实际学习率曲线，看是否有意外平台或跳变 - 若使用多卡 DDP，
LambdaLR无需额外同步——它只依赖本地step计数，但需确保所有进程的step是严格对齐的（即每个optimizer.step()后都调scheduler.step()）
预热不是加个函数就行，而是要让学习率曲线在数学上连续、可导、且与优化器内部状态节奏匹配。漏掉任意一个边界条件（比如 max(1, T_warmup) 的保护），都可能让前 100 步训练完全失效。
