直接用tf.keras.optimizers.schedules内置类不够用，因其仅支持固定函数形式；需自定义LearningRateSchedule子类，且__call__中必须全用tf.*操作以兼容图模式。
为什么直接用 tf.keras.optimizers.schedules 里的类不够用？
因为内置调度器（比如 ExponentialDecay、PiecewiseConstantDecay）只支持固定形式的函数，一旦你需要按训练 epoch 的奇偶性切换学习率、或根据验证 loss 平滑程度动态调整步长，它们就无能为力。这时候必须自己实现 tf.keras.optimizers.schedules.LearningRateSchedule 的子类。
怎么写一个可被 model.compile() 正确识别的自定义调度器？
关键不是“能运行”，而是“能被 TensorFlow 图模式正确追踪”——这意味着所有计算必须用 tf.* 操作，不能出现 Python 原生 if、for 或 NumPy 调用。常见错误是直接在 __call__ 里写 if step > 1000: return 1e-4，这会导致 eager 模式下看似正常，但启用 @tf.function 后报错 TypeError: Cannot convert a symbolic Tensor to numpy。
- 继承
tf.keras.optimizers.schedules.LearningRateSchedule - 在
__init__中只存标量参数（如initial_learning_rate），不存状态变量 - 重写
__call__(self, step)，且内部全部使用tf.cond、tf.where、tf.math.*等图兼容操作 - 返回类型必须是
tf.Tensor，且 dtype 与优化器期望一致（通常tf.float32）
示例：一个每 500 步衰减一次、衰减因子为 0.9 的分段指数调度器：
class StepwiseExpDecay(tf.keras.optimizers.schedules.LearningRateSchedule):
def __init__(self, initial_learning_rate, decay_steps=500, decay_rate=0.9):
self.initial_learning_rate = tf.cast(initial_learning_rate, tf.float32)
self.decay_steps = decay_steps
self.decay_rate = decay_rate
<pre class="brush:php;toolbar:false;">def __call__(self, step):
step = tf.cast(step, tf.float32)
k = tf.floor(step / self.decay_steps)
return self.initial_learning_rate * (self.decay_rate ** k)
立即学习“Python免费学习笔记（深入）”；
SkillSub Pro - Python 题解与代码注释双功能技能功能概述SkillSub Pro - Python 题解与代码注释双功能技能是一项面向实际任务的技能，主要用于SkillSub Pro 是一个 Python 题解生成与代码注释的 双功能合体技能 ，专为学生、算法学习者和开发者设计；✅ 一个技能，两种用途 ：；核心要点📝 题解模式 ：输入题目/题号，自动生成完整 Python 题解（含详细注释、解题思路、复杂度分析）；💬 注释模式 ：输入 Python 代码，自动添加详细中。它将相关步骤、
如何验证自定义调度器在 @tf.function 下是否真正可用？
别只靠 print(lr_schedule(100)) 测试——那只是 eager 模式下的值。真正要测的是它能否被编译进训练图。最简验证方式是把它传给优化器，再调用一次 optimizer.learning_rate(step) 并用 tf.function 包裹：
@tf.function
def test_lr(step):
return optimizer.learning_rate(step)
<h1>这行不报错，且输出是 tf.Tensor 类型，才算通过</h1><p>test_lr(tf.constant(1000))
容易忽略的点：如果调度器内部用了 tf.Variable（比如想记录上一次的 loss），它会破坏无状态性，导致分布式训练出错；所有状态必须由外部（如 callback）管理，调度器本身只能是纯函数。
训练时如何把自定义调度器和 tf.keras.callbacks.ReduceLROnPlateau 配合使用？
不能同时用——ReduceLROnPlateau 是基于指标的回调，它会直接修改优化器的 learning_rate 变量；而自定义 LearningRateSchedule 是在每次前向/反向传播中动态计算。两者冲突，后者会被前者覆盖。如果既要动态策略又要监控指标，得放弃 LearningRateSchedule，改用 tf.keras.callbacks.Callback 手动更新 optimizer.learning_rate.assign(new_value)。
这时要注意：手动赋值后，必须确保该变量在所有设备上同步（多 GPU 下需用 tf.distribute.get_strategy().scope() 包裹），否则不同 worker 学习率不一致。
