TensorFlow 2.x 中最省事的余弦退火实现是 tf.keras.optimizers.schedules.CosineDecay，它自动按 step 计算学习率并无缝集成 fit()；需注意 decay_steps 应为总 step 数、避免参数错配、禁用 Python/Numpy 函数、验证 LR 变化。
TensorFlow 2.x 里用 tf.keras.optimizers.schedules.CosineDecay 最省事
直接可用，不用手写公式，也不用自定义回调。它在每个 step 自动计算当前学习率，配合 tf.keras.Model.fit() 无缝集成。
常见错误是传错参数：比如把 initial_learning_rate 设成 0.001 却忘了 decay_steps 应该是总训练 step 数（不是 epoch 数），结果退火还没开始就结束了。
-
decay_steps=total_epochs * steps_per_epoch，建议提前算好存成变量，别现场除或取整出错 - 如果想每 epoch 重置一次余弦周期（即“重启”），得换
CosineDecayRestarts，不是这个类 - 注意它默认不 warmup；要加 warmup 得额外套一层
WarmUp或自己写调度器
手动实现余弦退火时，tf.py_function 容易触发 eager 模式报错
有人想用 NumPy 或 Python math 写余弦逻辑，再塞进 tf.keras.callbacks.LearningRateScheduler，但 TensorFlow 在 graph mode 下不认纯 Python 函数 —— 这时候会报 TypeError: tf.function-decorated function tried to create variables on non-first call 或更模糊的 OperatorNotAllowedInGraphError。
- 必须用
tf.cos、tf.cast、tf.math.divide等原生 TF ops，不能用math.cos或np.cos - 如果坚持用回调，
LearningRateScheduler的函数入参是epoch（不是 step），而余弦退火通常按 step 更准；容易导致节奏错位 - 更稳妥的做法：继承
tf.keras.optimizers.schedules.LearningRateSchedule，重写__call__，全程用 TF 张量运算
CosineDecayRestarts 的 t_mul 和 m_mul 参数实际影响很大
这不是简单“多跑几轮”，t_mul 控制周期长度是否拉长（比如设为 2，第二轮 decay_steps 就翻倍），m_mul 控制每轮初始学习率是否衰减（比如 0.9，第二轮 peak LR 就变成上一轮的 90%）。很多人设了却没观察到效果，其实是 t_mul=1.0（默认）+ m_mul=1.0，等于没重启。
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
立即学习“Python免费学习笔记（深入）”；
- 典型配置：
t_mul=2.0,m_mul=0.97，适合 long training（如 1000+ epochs） -
alpha是最小学习率比例（同CosineDecay），但它是相对于**本轮 peak LR**，不是初始 LR - 第一次 restart 的起始 step 是
decay_steps，第二次是decay_steps + decay_steps * t_mul，别手动算错边界
验证学习率是否真按余弦变化，别只信文档
模型训着训着 LR 不降？可能调度器根本没生效。最简单的验证方式：在训练前用 tf.range 生成 step 序列，喂给调度器，打印前 10 个和中间几个值。
steps = tf.range(0, 1000, 10) lrs = [schedule(s).numpy() for s in steps] print(lrs[:5], lrs[-5:])
注意点：
- 调度器返回的是
tf.Tensor，记得调.numpy()才能看数值 - 如果用的是
CosineDecayRestarts，确保 step 超过第一个decay_steps后，数值确实又升起来了 - 有些自定义 optimizer（如 LAMB）会忽略 scheduler，得确认你用的是
tf.keras.optimizers.Adam这类原生优化器
余弦退火真正起效的前提，是 step 计数准确、调度器被 optimizer 正确绑定、且没有其他地方硬编码覆盖了 learning_rate 属性 —— 这三点漏掉任一，都只会得到一条平直线。
