MirroredStrategy是TensorFlow 2.x单机多卡训练首选方案，通过自动镜像模型、数据分片、All-Reduce梯度同步，在strategy.scope()内封装模型构建与训练，屏蔽通信细节。
TensorFlow 2.x 中 tf.distribute.MirroredStrategy 是多 GPU 训练的首选方案
单机多卡训练在 TensorFlow 2.x 中已不再依赖手动拆图或 tf.device 块拼接。核心是用 MirroredStrategy 封装模型构建、编译和训练流程——它会在每个 GPU 上镜像一份模型副本，同步更新梯度（All-Reduce），对用户屏蔽底层通信细节。
常见错误是先创建模型再初始化策略，导致变量未被策略管理；正确做法是**在策略作用域内创建模型和优化器**：
strategy = tf.distribute.MirroredStrategy()
print('Number of devices: {}'.format(strategy.num_replicas_in_sync))
<p>with strategy.scope():
model = tf.keras.Sequential([...])
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy')</p><h1>数据集也需适配：batch size 应为 per-GPU batch × GPU 数</h1><pre class="brush:php;toolbar:false;">dataset = dataset.batch(64 * strategy.num_replicas_in_sync)
model.fit(dataset, ...)
- 必须用
strategy.scope()包裹模型定义、compile()和fit()调用 -
batch_size需放大至全局批次（例如 4 张卡 × 每卡 32 = 128），否则实际吞吐下降 - 不支持 Windows 系统下多 GPU（CUDA 初始化失败），Linux + CUDA 11.2+ cuDNN 8.1+ 是稳定组合
自定义训练循环中如何正确调用 strategy.run() 和 strategy.reduce()
当 model.fit() 不够灵活（如需动态 loss、多步梯度累积），就得写自定义训练循环。此时不能直接调用 model.train_step()，而要用 strategy.run() 分发到各设备，并用 strategy.reduce() 合并结果。
立即学习“Python免费学习笔记（深入）”；
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
典型坑点：在 strategy.run() 外访问张量值（如 loss.numpy()）会报 NotImplementedError: Cannot convert a symbolic Tensor，因为返回的是 DistributedValues 对象。
- 前向/反向传播逻辑必须封装进一个函数，并传给
strategy.run() -
strategy.reduce(tf.distribute.ReduceOp.SUM, per_replica_losses, axis=None)才能得到标量 loss - 梯度裁剪需在
strategy.run()内完成，否则各卡梯度未同步就裁剪，等效于降低有效学习率
为什么 tf.distribute.MultiWorkerMirroredStrategy 在单机多卡下反而会出错？
名字带 “MultiWorker” 容易误以为适合单机多卡，但它本质是为多机器（每个机器可能有多卡）设计的，依赖 gRPC 通信和明确的 TF_CONFIG 环境变量。在单机上硬用会导致 UnavailableError: OS Error 或 worker 间握手超时。
区分场景：MirroredStrategy → 单机多卡；MultiWorkerMirroredStrategy → 多机多卡（每台机器至少 1 卡）；TPUStrategy → TPU。
- 单机误配
TF_CONFIG会强制进入 multi-worker 模式，即使只启动一个 worker - 验证方式：打印
strategy.extended.worker_devices，单机MirroredStrategy返回 GPU 设备列表，MultiWorkerMirroredStrategy则返回类似['localhost:12345']的地址 - 混用策略对象（如用
MirroredStrategy创建模型，却用MultiWorkerMirroredStrategy调用run()）会导致变量作用域冲突
数据加载瓶颈比 GPU 利用率更常成为多卡加速的天花板
四张 GPU 理论加速比接近 4×，但实测常卡在 2–2.5×，多数情况是 tf.data.Dataset 流水线没跟上。GPU 空转时 nvidia-smi 显示显存占用高但 GPU-Util 接近 0%。
- 必须启用
.prefetch(tf.data.AUTOTUNE)，否则 CPU 预处理和 GPU 计算串行化 -
.map(..., num_parallel_calls=tf.data.AUTOTUNE)开启并行解析，尤其对图像 decode + resize 耗时明显 - 避免在
.map()中调用 Python 函数（如cv2.imread），改用tf.io.decode_jpeg等原生 OP - 使用
cache()缓存预处理后的数据（内存充足时），跳过重复解码
最后提醒：混合精度训练（tf.keras.mixed_precision.Policy('mixed_float16')）能进一步提升吞吐，但它要求所有自定义层显式声明 self.dtype，且 loss 缩放需配合 tf.keras.mixed_precision.LossScaleOptimizer，这点容易被忽略。
