冻结PyTorch模型某几层的核心是将对应参数的requires_grad设为False，并确保优化器仅包含需更新的参数；需遍历parameters()而非模块本身，BN层还需额外处理track_running_stats或调用eval()。
冻结PyTorch模型某几层：直接操作 requires_grad
冻结层的本质就是让对应参数的 requires_grad 为 False，这样反向传播时自动跳过这些参数，不更新也不占用梯度内存。关键不是“禁用层”，而是“禁用该层中所有 Parameter 的梯度”。
常见错误是只改了某一层的 .requires_grad = False，但忘了它内部可能有多个参数（比如 weight 和 bias），或者误以为设置模块本身属性就足够——其实必须遍历其 parameters()。
- 对单个层（如
model.layer2）：用for param in model.layer2.parameters(): param.requires_grad = False - 对模块内所有子模块递归冻结：用
model.layer2.apply(lambda m: setattr(m, 'requires_grad', False))不可靠，因为apply作用在模块上，不是参数上；正确写法是for param in model.layer2.parameters(): param.requires_grad = False - 冻结后记得调用
model.eval()吗？不需要——eval()只影响Dropout、BatchNorm等行为，和梯度无关；但如果你冻结了BatchNorm层又想保持其统计量不变，就得额外设model.layer.bn.running_mean.requires_grad = False（默认已是False），一般不用动
只训练最后两层：用 named_parameters() 精确控制
想放开最后几层、冻结前面大部分，靠硬编码层名容易出错（比如 ResNet 的 layer4 后还有 fc）。更稳的方式是按参数名或顺序筛选。
例如在 ResNet 中只训练 fc 和 layer4：
立即学习“Python免费学习笔记（深入）”；
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
for name, param in model.named_parameters():
if "layer4" not in name and "fc" not in name:
param.requires_grad = False
注意：这种字符串匹配要小心重名（比如 layer4_1 也会被匹配），更健壮的做法是先打印 list(model.named_parameters())[:5] 看清结构。
- 冻结后务必检查：运行一次
loss.backward()后，用[p.grad is not None for p in model.parameters() if p.requires_grad]确认只有目标层有梯度 - 如果用了
torch.compile()或DDP，冻结逻辑必须在模型包装前完成，否则编译器可能把已冻结参数仍纳入图中
冻结后 optimizer 里还包含这些参数？会报错或浪费内存
即使参数 requires_grad = False，只要它还在 optimizer.param_groups 里，optimizer.step() 就会尝试更新——虽然更新值不变（因为梯度为 None），但会触发冗余计算和 CUDA 同步，严重拖慢训练速度，甚至在 AMP 下引发 NaN。
正确做法是构造 optimizer 时只传入需要更新的参数：
params_to_update = [p for p in model.parameters() if p.requires_grad] optimizer = torch.optim.Adam(params_to_update, lr=1e-4)
- 不要在冻结后用
optimizer.add_param_group()动态加参数——这会让 optimizer 内部状态混乱 - 如果用了学习率分组（比如 backbone lr 小、head lr 大），记得冻结后重新组织
param_groups，否则未冻结层可能被错误地分配到高 lr 组 - 验证方式：打印
len(optimizer.param_groups[0]["params"])，应等于你手动统计的requires_grad=True参数数量
BatchNorm 层冻结的特殊处理：track_running_stats 和 eval()
冻结 BN 层时，光设 requires_grad=False 不够。BN 有两个关键行为：参数更新（weight/bias）和统计量更新（running_mean/running_var）。前者由 requires_grad 控制，后者由 track_running_stats 控制。
如果你冻结了 BN 层但没关统计更新，训练时它的 running_mean 还在变，会导致特征分布漂移，效果不稳定。
- 彻底冻结 BN：除设
param.requires_grad = False外，还要bn_layer.track_running_stats = False，并确保推理时用的是预计算好的统计量 - 更常用做法：保持
track_running_stats=True（即继续累积统计量），但把 BN 切到eval()模式——这样训练时仍更新统计量，但不使用 batch 统计做归一化（而是用 running 统计量），相当于“冻结归一化行为” - 注意：
model.eval()会影响整个模型，如果只想冻结部分 BN，得单独调用bn_layer.eval()
