根本原因是数值不稳定：梯度爆炸、除零、log(0)、sqrt(负数)或权重初始化不当；TensorFlow默认不报错，NaN会悄悄传播直至loss或梯度失效。

为什么训练中会出现 NaN 损失值？

根本原因通常是数值不稳定：梯度爆炸、除零、log(0)、sqrt(负数) 或权重初始化不当。TensorFlow 默认不报错，NaN 会悄悄传播，直到某步计算失效（比如 loss 变成 nan，gradient 全为 nan），模型彻底停摆。

如何快速定位 NaN 出现的位置？

别靠猜，用 TensorFlow 内置的调试工具直接捕获异常节点：

• 在 model.compile() 后加 run_eagerly=True，让每一步都可调试（仅用于排查，别长期开启）
• 启用 tf.debugging.enable_check_numerics()，它会在每次运算后自动检查 NaN / Inf，并抛出带具体 op 名称的错误（如 "MatMul" output has NaN）
• 若用 tf.GradientTape 自定义训练循环，可在 tape.gradient() 后插入：

  if tf.reduce_any(tf.math.is_nan(gradients)):<br>    print("NaN gradient detected!")

哪些常见操作容易引发 NaN？怎么改？

不是所有 NaN 都来自模型结构，很多源于数据或损失函数细节：

Claw Code Suite (Python-Only Edition)

仅使用 Python 将 Claw Code 虚拟化框架与 OpenClaw 集成，提供 184 种工具和 200 多条命令，用于安全分析和代码质量...

下载

• tf.nn.softmax_cross_entropy_with_logits 要求 logits 未归一化，且标签是 one-hot 形式；若误传 probabilities 或 label 是整数索引，极易触发 log(0) → NaN
• 自定义 loss 中用了 tf.math.log(x)？务必先 clip：tf.clip_by_value(x, 1e-7, 1.0)
• BatchNorm 层在 batch size=1 时方差为 0，导致除零；训练时确保 batch_size >= 4，或改用 tf.keras.layers.LayerNormalization
• 学习率太大（尤其 Adam 初始 lr > 1e-3）会让权重突变，建议从 1e-4 开始试，配合 tf.keras.callbacks.ReduceLROnPlateau

训练前必须做的三件事

预防比修复省力得多，这几个检查点漏掉一个就可能白跑半天：

立即学习“Python免费学习笔记（深入）”；

• 检查输入数据：np.isnan(X).any() 和 np.isinf(X).any()，特别注意归一化后的图像是否含 NaN（比如除以 0 的 std）
• 初始化权重：避免全零或极大值，优先用 tf.keras.initializers.GlorotUniform() 或 HeNormal()
• 加梯度裁剪：optimizer = tf.keras.optimizers.Adam(clipnorm=1.0)，防止梯度爆炸直接污染参数

真正棘手的是 NaN 在分布式训练或混合精度（mixed_float16）下延迟暴露——等 loss 显示 nan 时，坏数据可能已更新多轮参数。这时候得回退到单卡 + float32 复现问题。