EMA需手动维护独立参数副本并滑动更新，不能依赖optimizer.step()；必须包含BN缓冲区、用.copy_()原地更新、训练时model.train()下调用、推理前需to(device).eval()对齐状态。
PyTorch 中 EMA 权重更新不能靠 torch.optim 自动完成，必须手动维护历史权重并按比例滑动更新，否则训练时看似生效、推理时模型性能会明显下降。
什么是 EMA 及为什么不能直接用 optimizer.step()
EMA（Exponential Moving Average）是对模型参数做加权平均，不是优化器的原生功能。PyTorch 的 optimizer.step() 只更新当前参数，不保存或融合历史值。如果你只在训练循环里调用 optimizer.step()，那根本没在做 EMA——哪怕你名字叫 EMAOptimizer 也无效。
常见错误现象：model_ema.load_state_dict(model.state_dict()) 直接赋值、或每轮都用 alpha * model_ema + (1-alpha) * model 但未深拷贝参数，导致梯度泄漏或参数共享。
- EMA 必须独立维护一套参数副本（
nn.Module实例或state_dict字典） - 更新公式是：
ema_param = alpha * ema_param + (1 - alpha) * current_param，注意顺序和系数范围（alpha通常取 0.999～0.9999） - 所有参数（包括
BatchNorm.running_mean等缓冲区）都需参与 EMA，否则 BN 统计失效，推理结果漂移
如何正确初始化和更新 EMA 参数（含 BN 缓冲区）
推荐用独立的 nn.Module 存储 EMA 参数，便于 load_state_dict 和 to(device)。不要只存 state_dict 字典，否则后续设备迁移、eval() 切换容易出错。
立即学习“Python免费学习笔记（深入）”；
class ModelEMA:
def __init__(self, model, decay=0.9999):
self.decay = decay
self.module = type(model)(**model.__dict__).eval() # 深拷贝结构，不共享参数
self.module.load_state_dict(model.state_dict())
self.module.requires_grad_(False)
<pre class='brush:python;toolbar:false;'>def update(self, model):
with torch.no_grad():
for ema_v, cur_v in zip(self.module.state_dict().values(), model.state_dict().values()):
if cur_v.dtype in (torch.float16, torch.float32, torch.float64):
ema_v.copy_(ema_v * self.decay + cur_v * (1. - self.decay))
else:
ema_v.copy_(cur_v) # 如 num_batches_tracked 等计数器不滑动- 必须用
.copy_()原地更新，避免新建 tensor 导致引用丢失 - 跳过非浮点型参数（如
num_batches_tracked），否则 EMA 会污染 BN 计数逻辑 - 初始化时用
model.__dict__复制构造函数参数，比copy.deepcopy(model)更安全（避免 deepcopy 对某些自定义模块失败）
训练中何时调用 update()？精度与频率怎么权衡？
EMA 更新频率直接影响平滑效果和内存开销。每 batch 更新一次最准，但若 batch size 小、训练快，可能收敛过慢；每 epoch 一次又太粗糙，尤其小数据集上 EMA 几乎没作用。
- 标准做法：在每个
optimizer.step()后立即调用ema.update(model) - 如果显存紧张，可降频为每 N 个 step 更新一次（N=4 或 8），但需同步调整
decay：例如原decay=0.9999对应每 step 更新，改为每 4 step 更新时建议用decay = 0.9999 ** 4 ≈ 0.9996 - 务必在
model.train()下更新 EMA，否则 BN 缓冲区不会被读取（model.eval()时running_mean不参与前向，state_dict()里仍是旧值）
推理时加载 EMA 权重的坑：device、dtype、eval() 三者缺一不可
常见错误是直接 model_ema.load_state_dict(checkpoint['ema_state_dict']) 后就跑 inference，结果输出全乱——因为没对齐 device、没设 eval()、或混合了 half/fp32。
- 加载后必须显式调用
model_ema.to(device).eval()，且确保device与输入 tensor 一致 - 若训练用 AMP（
torch.cuda.amp），EMA 参数默认是 fp32，推理时若用model_ema.half()需重新 cast 所有参数，否则部分层仍为 fp32 导致类型不匹配 - 检查关键缓冲区：打印
model_ema.bn1.running_mean.dtype和model_ema.bn1.running_mean.device，确认与输入一致
滑动平均真正起效的关键，不在公式多漂亮，而在每一步参数拷贝是否隔离、每一轮 BN 缓冲区是否参与、每一次推理前是否彻底对齐状态——漏掉任意一个，EMA 就只是个好看的装饰品。
