混合精度训练在TensorFlow 2中默认不生效，因mixed_float16策略仅对Dense、Conv2D等部分层启用float16计算，BatchNorm、Softmax、损失函数等仍强制float32以保数值稳定，且需显式调用set_global_policy并在建模前设置。
为什么混合精度训练在TensorFlow 2中默认不生效
TensorFlow 2.4+ 默认启用 mixed_float16 策略时，**不会自动将所有层转为 float16**——只有部分层（如 Dense、Conv2D）会参与计算降级，而 BatchNormalization、Softmax、损失函数等仍强制用 float32。这是为了数值稳定性，但新手常误以为“开了策略就全程 float16”，结果发现 loss 爆掉或梯度为 NaN。
关键点在于：策略只控制“计算 dtype”，不改变“变量 dtype”；权重仍以 float32 存储，仅前向/反向传播中临时转成 float16。
- 必须显式设置
tf.keras.mixed_precision.set_global_policy("mixed_float16")，且需在构建模型前调用 -
BatchNormalization层内部会自动提升回float32，无需手动改dtype - 自定义层若含可训练变量，需在
build()中用self.add_weight(dtype="float32")显式指定变量类型
如何避免 loss 溢出和梯度消失
混合精度下最常见问题是 loss 突然变 inf 或 nan，本质是 float16 动态范围太小（约 6×10⁴），稍大一点的 logits 或 softmax 输出就溢出。
TensorFlow 内置了 LossScaleOptimizer 来缓解，但它在 TF 2.9+ 已被整合进 tf.keras.optimizers.Optimizer，只需确保优化器包装正确：
立即学习“Python免费学习笔记（深入）”；
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
- 使用
tf.keras.mixed_precision.LossScaleOptimizer包装原优化器（TF 2.8 及更早必须显式包装） - TF 2.9+ 中，只要策略设为
"mixed_float16"，Adam等内置优化器会自动启用 loss scaling，但需检查optimizer.loss_scale是否非None - 若仍不稳定，可手动设初始 scale：
loss_scale=1024（过大易 overflow，过小易 underflow） - 避免在自定义 loss 中用
tf.nn.softmax_cross_entropy_with_logits后再手动算tf.reduce_mean——应直接用from_logits=True的SparseCategoricalCrossentropy，它内部已做数值保护
模型保存与推理时要注意 dtype 不一致
用混合精度训练完的模型，model.save("path") 保存的是带策略信息的 SavedModel，但加载后默认仍按训练时策略运行——如果部署到只支持 float32 的边缘设备，会报错或静默降级。
安全做法是导出前统一转回 float32：
- 训练完立即调用
tf.keras.mixed_precision.set_global_policy("float32") - 重建模型结构（不加载权重），再用
model.set_weights(trained_model.get_weights()) - 或更稳妥：用
tf.keras.models.clone_model(model)+clone.set_weights(model.get_weights())，然后保存 clone - 若用
model.save_weights()，权重本身仍是float32，加载时无需额外处理，但需确保新模型没启用 mixed policy
验证混合精度是否真起作用
光看代码设了策略不等于 GPU 真在跑 float16 计算。最直接的方法是查实际运算 dtype：
- 在模型 call 前插入
print("compute_dtype:", tf.keras.mixed_precision.global_policy().compute_dtype)，应输出float16 - 用
tf.debugging.enable_check_numerics()开启数值检查，运行几 step 后若报"NaN is not allowed"，说明某处没适配好 - 监控 GPU 利用率与显存：混合精度下显存占用通常降 30–50%，训练速度提升 1.2–1.8×（取决于 GPU 架构，V100/A100 提升明显，P100 较少）
- 注意
tf.function装饰的训练 step 中，不能在@tf.function内部改 global policy——策略必须在 tracing 前固定
混合精度不是开个开关就完事，核心矛盾始终是“怎么在提速的同时守住数值底线”。很多失败案例其实卡在 loss 函数写法、自定义梯度或数据预处理没归一化到合适范围——这些地方 float32 下没事，float16 下全暴露。
