ResBlock加法要求x与F(x)四维shape完全一致，否则报错；需用1×1卷积或插值对齐尺寸，shortcut仅适配形状、不加非线性，且必须合理初始化。
PyTorch里ResBlock的加法连接必须满足shape一致
残差连接本质就是 x + F(x)，但PyTorch不会自动广播或reshape——如果 x 和 F(x) 的 batch、channel、height、width 四个维度不完全相同，直接加会报 RuntimeError: The size of tensor a (32) must match tensor b (64) at non-singleton dimension 1 这类错误。
常见场景：下采样分支（比如用 stride=2 的卷积）输出 channel 翻倍、H/W 减半，而主干路径 x 没变。这时候不能硬加，得先对 x 做适配。
- 若仅 channel 不同（如输入 64，F(x) 输出 128），用
nn.Conv2d(in_channels=64, out_channels=128, kernel_size=1, stride=1, bias=False)升维，再加 - 若 H/W 也不同（如 56×56 → 28×28），适配卷积需同步设
stride=2，且通常加padding=0避免额外填充 - 不做适配时，可临时用
F.interpolate(x, size=F_x.shape[-2:], mode='nearest')对齐空间尺寸，但这是权宜之计，影响梯度流和模型设计本意
nn.Sequential 里不能直接写 x + self.conv(x)，得用类继承重写 forward
nn.Sequential 是纯前向容器，不支持分支+融合逻辑。想实现 out = x + self.main_path(x)，必须自定义 nn.Module 子类，显式控制数据流。
典型错误是把残差块写成：
立即学习“Python免费学习笔记（深入）”；
bad_block = nn.Sequential(
nn.Conv2d(64, 64, 3, padding=1),
nn.ReLU(),
nn.Conv2d(64, 64, 3, padding=1)
) # 缺少加法，也没接入输入 x
正确做法是：
class ResBlock(nn.Module):
def __init__(self, in_channels, out_channels, stride=1):
super().__init__()
self.main_path = nn.Sequential(
nn.Conv2d(in_channels, out_channels, 3, stride=stride, padding=1, bias=False),
nn.BatchNorm2d(out_channels),
nn.ReLU(inplace=True),
nn.Conv2d(out_channels, out_channels, 3, padding=1, bias=False),
nn.BatchNorm2d(out_channels)
)
self.shortcut = nn.Identity()
if stride != 1 or in_channels != out_channels:
self.shortcut = nn.Conv2d(in_channels, out_channels, 1, stride=stride, bias=False)
<pre class='brush:python;toolbar:false;'>def forward(self, x):
return self.main_path(x) + self.shortcut(x)shortcut 路径要不要加 ReLU、BatchNorm 取决于原始论文与训练稳定性
原始 ResNet 论文中，shortcut 是纯恒等映射或 1×1 卷积，不接 ReLU 或 BN；但有些变体（如 Pre-activation ResNet）把 BN+ReLU 提前到 main_path 每层前，此时 shortcut 依然无激活函数。
如果你在 shortcut 后加了 ReLU，会导致 x 被截断（负值变 0），破坏残差项的“恒等”语义，训练可能发散或精度下降。
- 标准写法：
self.shortcut只做 shape 适配，不加非线性 - BN 放在 shortcut 上一般没必要，除非你明确想对 shortcut 输出做归一化（极少见）
- 如果用
nn.Identity()，确保输入输出 channel/H/W 完全一致，否则运行时报错
训练时梯度爆炸风险：残差连接本身不防爆，要靠初始化和归一化
有人以为加了残差就天然稳定，其实不然。若 main_path 初始化权重过大（比如全用 nn.init.normal_(m.weight, std=0.1)），x + F(x) 的梯度仍可能逐层累积放大。
PyTorch 官方 ResNet 实现中关键两点：
- 每组
Conv2d后接nn.BatchNorm2d，抑制内部协变量偏移 - 使用
nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')初始化卷积层，适配 ReLU 激活的分布特性
漏掉其中任一环，尤其在深层网络（>50 层）中，loss 曲线容易剧烈震荡甚至 NaN。
真正容易被忽略的是：shortcut 路径虽短，但它参与反向传播全程——它的参数（如有）同样需要合理初始化，nn.Conv2d 类型的 shortcut 必须调用 kaiming_normal_ 或至少 torch.nn.init.xavier_uniform_，不能依赖默认零初始化。
