TensorFlow 2.x中应优先使用tf.keras.applications.ResNet50等内置预训练模型，而非手写残差块；因其自动处理shortcut对齐、1×1卷积投影、BN与激活顺序，避免手动实现时因shape不匹配、ReLU位置错误或BN解冻导致的训练失败。
ResNet在TensorFlow里不是要从零手写残差块
TensorFlow 2.x（尤其是 tf.keras.applications）已内置完整、预训练的 ResNet 系列模型，直接调用比自己拼 Conv2D + Add + BatchNormalization 更可靠。手写残差块容易出错的地方在于恒等映射分支的通道数/尺寸对齐——比如输入是 (None, 32, 32, 64)，但跳跃连接后要加上的特征图是 (None, 16, 16, 128)，不插值或投影就 Add 会报 ValueError: Operands could not be broadcast together。
实操建议：
- 优先用
tf.keras.applications.ResNet50、ResNet101或ResNet152，它们自动处理所有下采样、shortcut 投影（1×1 conv）、BN 和激活顺序 - 若需自定义输入尺寸（非默认 224×224），传入
input_shape=(h, w, 3)即可，如ResNet50(input_shape=(96, 96, 3), include_top=False) - 迁移学习时，设
include_top=False拿到特征图；再接GlobalAveragePooling2D和自定义分类头，避免全连接层维度冲突
ResNet50 的 shortcut 分支到底什么时候用 1×1 卷积
看官方源码（tensorflow/python/keras/applications/resnet.py）就知道：只有当 residual block 的输入与输出的通道数不同，或空间尺寸变化（即 stride > 1）时，shortcut 才启用 Conv2D(filters=..., kernel_size=1, strides=stride)。否则就是纯 Identity（即 tf.keras.layers.Activation('linear')）。
这意味着你如果强行把 ResNet50 的某一层 strides 改成 1，又没同步改 filter 数，shortcut 就可能失效——不是模型不收敛，而是梯度在 shortcut 处断掉。常见错误现象是训练 loss 不降、验证 acc 停在随机水平。
立即学习“Python免费学习笔记（深入）”；
实操建议：
- 不要手动修改
ResNet50(...).layers[i]的strides或filters；要改结构，应继承tf.keras.Model重写 call，或用tf.keras.Sequential搭配tf.keras.layers.Resizing预处理输入 - 检查 shortcut 是否生效：用
model.summary()查看每个conv2_block1_1_conv后是否跟着conv2_block1_0_conv（这就是 shortcut 的 1×1 卷积层）
加载预训练权重后微调，batch norm 层必须设 trainable=False
ResNet 预训练权重严重依赖 BN 层的 running mean/var 统计值。如果你在 fine-tuning 时让 BN 层的 trainable=True，而 batch size 又小（如 ≤16），BN 的 mini-batch 统计就会污染原有分布，导致精度暴跌——尤其在小数据集上，acc 可能从 78% 掉到 42%。
实操建议：
- 冻结 BN：遍历模型所有层，对
layer.name.startswith('bn')或isinstance(layer, tf.keras.layers.BatchNormalization)的层，设layer.trainable = False - 只解冻最后几个 block：例如 ResNet50 共 5 个 stage（conv2_x ~ conv5_x），通常只设
conv5_block3_*及之后的层trainable=True - 注意：设
trainable=False后，必须在compile前调用一次model(x_dummy)，否则 BN 的trainable_weights仍为空，导致后续fit报错ValueError: No gradients provided for any variable
自己实现 BasicBlock 时最容易漏掉 ReLU 的位置
原始 ResNet 论文的残差单元是 “pre-activation” 还是 “post-activation”，直接影响 ReLU 放哪。Keras 官方实现（resnet.py）用的是 **post-activation**：主路径是 Conv → BN → ReLU → Conv → BN，然后和 shortcut 相加，最后再整体 ReLU。但很多人照着论文图误以为 shortcut 后才 ReLU，结果把 ReLU 写在 Add 之前，导致梯度无法流过 identity 路径。
实操建议：
- 若复现经典结构，按 Keras 源码逻辑：shortcut 输出不经过任何非线性，直接
Add；Add后统一Activation('relu') - 用
tf.keras.layers.Add时，确保两个输入 tensor 的 shape 完全一致（包括 batch dim），否则报错信息是Input tensors to 'Add' must have the same shape，而不是提示维度不匹配的具体位置 - 调试技巧：打印每个 block 输入/输出 shape，重点核对 shortcut 分支的
Conv2D是否正确设置了strides和filters
ResNet 的难点不在卷积本身，而在 shortcut 如何对齐、BN 如何冻结、以及 ReLU 该不该跨过加法——这些细节不显眼，但一错就全盘失效。
