ExponentialMovingAverage 的 apply() 仅注册更新操作而不自动执行，需手动加入 train_op；decay 过高响应慢、过低平滑差，典型值为0.999；保存恢复必须用 ema.variables_to_restore() 构造 Saver。
ExponentialMovingAverage 为什么不能直接用 apply() 就完事？
因为 ExponentialMovingAverage 的 apply() 只注册更新操作，不自动执行——它只是把变量更新逻辑塞进一个 ops 列表里，你得手动把它加进训练流程，否则模型参数根本不会被平滑。
- 常见错误现象：
EMA变量值始终和原始变量一样，sess.run()查看发现ema_var和var完全相等 - 正确做法：把
ema.apply([var1, var2])返回的op加进train_op链，比如用tf.group(train_op, ema_op) - 注意
apply()必须在所有要跟踪的变量创建后调用，否则会漏掉变量；建议放在build_graph()最后、train_op构造前
滑动衰减率 decay 设成 0.999 还是 0.9999？
不是越大越好。过高的 decay（比如 0.9999）会让 EMA 响应梯度变化极慢，在学习率下降或 fine-tuning 阶段拖累收敛；太低（如 0.9）又起不到平滑噪声的效果。
- 典型场景：ImageNet 训练常用
0.999；小数据集或 warmup 阶段可设为0.99，避免初期 EMA 被噪声带偏 -
decay实际影响的是“有效窗口大小”：近似等价于过去1/(1-decay)步的加权平均，0.999 → ~1000步，0.9999 → ~10000步 - TensorFlow 支持动态
decay：传入一个tf.Tensor（如随 step 线性增长），但要注意它必须是标量且 shape 兼容
保存/加载 EMA 变量时，saver 怎么配才不丢权重？
默认 tf.train.Saver() 只管 trainable_variables，而 EMA 创建的影子变量（如 kernel/ExponentialMovingAverage:0）不在其中——不显式指定，保存和恢复都会失效。
- 保存时：用
tf.train.Saver(ema.variables_to_restore())构造 saver，它返回的是 {ema_var: orig_var} 的映射字典 - 加载时：如果想用 EMA 权重做 inference，必须 restore 到原始变量名上（即让
kernel:0被kernel/ExponentialMovingAverage:0覆盖），而不是反过来 - 容易踩的坑：用普通 saver 保存后，再用
ema.variables_to_restore()加载，会报Assign requires shapes of both tensors to match——因为变量名对不上，得统一用后者构造 saver
TensorFlow 2.x 用户别硬套 EMA —— tf.keras.optimizers.schedules.ExponentialDecay 不相关
ExponentialMovingAverage 是 TF 1.x Graph 模式下的工具，TF 2.x 默认 Eager，原生没这玩意儿；别被名字误导去查学习率调度器。
- TF 2.x 替代方案：用
tf.train.Checkpoint+ 手动维护影子变量，或直接用第三方库如torch_ema的思路移植（需自己写@tf.function更新逻辑） - Keras 用户更简单：训练完用
model.get_weights()拿出所有权重，按 decay 加权平均历史 checkpoint，不用碰底层变量名 - 关键提醒：TF 1.x 代码迁移到 2.x 时，
ExponentialMovingAverage相关部分必须重写，没有兼容层
