不启用。TensorFlow 2.x默认使用float32全精度计算，必须显式调用tf.keras.mixed_precision.set_global_policy('mixed_float16')在模型构建前启用混合精度，且需配合LossScaleOptimizer、float32输出层及损失函数适配才能生效。
混合精度训练在TensorFlow中是否默认启用？
不启用。TensorFlow 2.x 默认使用 float32 全精度计算，即使你用了支持 float16 的GPU（如V100、A100、RTX 30xx/40xx），也不会自动降为混合精度——必须显式配置策略。
常见错误现象是：模型训练速度没提升，甚至因梯度下溢变 NaN，但你完全没意识到 mixed_precision.Policy 没生效。
- 必须在构建模型前设置全局策略：
tf.keras.mixed_precision.set_global_policy('mixed_float16') - 该调用需放在
import tensorflow as tf之后、任何模型定义之前 - 若使用多 GPU（
tf.distribute.MirroredStrategy），策略必须在 strategy scope 内设置，否则报错ValueError: Mixed precision is not supported with this strategy
为什么模型输出层和损失函数要手动指定 float32？
因为 float16 的动态范围小（约 6×10⁻⁵ ~ 65504），而 softmax 输出接近 0 或 1、交叉熵损失对极小概率敏感，容易下溢成 0 或上溢成 inf。
TensorFlow 的 mixed_float16 策略会自动把 Dense 层的 kernel 用 float16 存储、但将最后的 logits 投影到 float32 再进 softmax；但它不会自动修复自定义 loss 或 metrics。
Python 环境工具专业版功能概述Python 环境工具专业版是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中，帮助使用者更快完成目标并减少重复操作。核心要点使用时应结合输入条件选择合适的执行方式，核对必要参数、依赖环境与输出内容，并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景，可作为自动化工作流的一部分，也便于后续检查、调整和扩展。执行完成后建议检查结果是否符合预期，并保留必要记录。使用与执行同时注意输入完整性、执行条件和输出可用性。从功能定位来看，该技能
立即学习“Python免费学习笔记（深入）”；
- 损失函数内所有 reduce 操作（如
tf.reduce_mean）建议加dtype=tf.float32 - 自定义 metric（如 top-k accuracy）若内部有 log/exp 运算，也应强制 cast 输入为
float32 - 若用
model.compile(loss='sparse_categorical_crossentropy')，它已内置适配，无需改；但用tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)时，确保from_logits=True（避免额外 softmax）
如何验证混合精度是否真正生效？
不能只看训练速度，要查实际运算 dtype 和内存占用：
- 打印模型每层的
compute_dtype和variable_dtype：print(model.layers[0].compute_dtype, model.layers[0].variable_dtype)—— 正常应为float16和float32 - 启动训练时加
tf.debugging.enable_check_numerics()，可捕获NaN或Inf并定位到具体 op - 观察 GPU 显存：混合精度下，相同 batch size 显存占用通常下降 30%~50%，
nvidia-smi中Memory-Usage是最直接证据 - 注意：
tf.keras.Model.summary()不显示 dtype，别被它误导
遇到 Loss=NaN 或梯度爆炸怎么办？
这是混合精度最典型的失败信号，根源几乎总是 loss 缩放（loss scaling）没配好或没开。
- 必须启用
tf.keras.mixed_precision.LossScaleOptimizer包装原优化器：opt = tf.keras.mixed_precision.LossScaleOptimizer(opt) - TensorFlow 2.9+ 可用更简写法：
opt = tf.keras.optimizers.Adam(learning_rate=1e-3, use_ema=True)+opt = tf.keras.mixed_precision.LossScaleOptimizer(opt) - Loss scale 值不建议手调；默认
DynamicLossScale会自动增减，但首次出现NaN时会回退并缩小 scale - 若仍不稳定，可临时改用固定 scale：
tf.keras.mixed_precision.FixedLossScale(1024)，再逐步试探上限 - 切记：不要在
tf.GradientTape自定义训练循环里漏掉scale_loss和unscale_grads步骤，否则LossScaleOptimizer不起作用
混合精度不是“设个 policy 就完事”的开关，关键在三处对齐：策略初始化时机、输出/loss 的 dtype 防御、loss scale 的闭环控制。漏掉任一环，要么没加速，要么训崩。
