不能直接用np.gradient计算神经网络梯度，因为它仅适用于规则网格的数值微分，而神经网络前向传播是复合函数嵌套，必须按链式法则逐层反推；需缓存前向中间变量（如z1、a1）以准确计算非线性函数导数（如relu’(x)依赖z符号），否则会导致loss不下降、梯度爆炸/消失等问题。
为什么不能直接用 np.gradient 计算神经网络梯度
因为 np.gradient 只适用于规则网格上的数值微分，而神经网络的前向传播是复合函数嵌套（比如 relu(dot(W, x) + b)），它的梯度必须按链式法则逐层反推。手动实现时，你得自己存下前向过程中的中间变量（如 z1、a1），否则反向时连 relu 的导数都算不准——relu 导数依赖前向时的输入符号，不是固定值。
常见错误现象：loss 不下降、梯度爆炸/消失、训练结果和 torch.nn 对不上。根本原因往往是漏存中间值，或对非线性函数求导写错（比如把 relu'(x) = 1 if x > 0 else 0 写成 1 if x >= 0）。
- 必须缓存前向中每个
z = np.dot(W, a_prev) + b和激活后a = relu(z) -
relu导数只能在前向z上判断，不能用反向传回来的da做条件 - 矩阵乘法顺序容易颠倒：
dW = da @ a_prev.T，不是a_prev @ da.T
如何正确组织前向与反向的变量命名和缓存结构
别用 layer1_output、grad_w1 这类模糊命名。统一用带下标的数学符号风格，让代码和公式对齐：前向存 cache['z1']、cache['a1']；反向用 da1、dz1、dW1。这样一眼能看出链式路径：da2 → dz2 → dW2 → da1 → dz1 → dW1。
一个典型三层网络（输入784→隐层128→输出10）的缓存结构示例：
立即学习“Python免费学习笔记（深入）”；
cache = {
'z1': z1, # shape (128,)
'a1': a1, # shape (128,)
'z2': z2, # shape (10,)
'a2': a2 # shape (10,)
}-
z总是线性变换结果（W @ a_prev + b），a是激活后结果 - 输出层若用
softmax+categorical_crossentropy，则da2 = a2 - y_true（无需额外求导） - 隐层用
relu，则da1 = dz2 @ W2.T，再乘(z1 > 0).astype(float)
权重更新时的维度陷阱和广播错误
NumPy 的广播机制在反向传播里是双刃剑：它能让 db = np.sum(dz, axis=0) 自动降维，但也容易掩盖形状错误。比如 dz2 是 (10,)，a1 是 (128,)，那么 dW2 = dz2[:, None] @ a1[None, :] 才得到 (10, 128)；写成 dz2 @ a1.T 会报错或返回标量。
- 永远显式检查关键张量形状：
W1.shape == (128, 784)，dW1.shape必须一致 - 偏置
b梯度是列向量求和：db = np.sum(dz, axis=0, keepdims=True)，keepdims=True防止降维成一维数组 - 批量训练时，
dz形状是 (batch_size, units)，dW要对 batch 维求和：dW = dz.T @ a_prev（此时a_prev是 (batch_size, in_dim)）
验证梯度正确性的最简方法：数值梯度校验
别靠 loss 下降曲线判断梯度是否写对——它可能只是碰巧下降。真正可靠的是用中心差分法对比解析梯度：(f(x+ε) - f(x-ε)) / (2*ε)。只挑 1–2 个参数（比如 W1[0,0]）做校验，避免全参数计算太慢。
实操步骤：
- 取一个 mini-batch 输入
x和标签y - 前向一次得
loss_orig - 给
W1[0,0]加1e-5，前向得loss_plus；减1e-5得loss_minus - 数值梯度 =
(loss_plus - loss_minus) / (2e-5)，和你的dW1[0,0]比较，相对误差应
这个步骤常被跳过，但它是唯一能确认你没写错链式法则的地方。一旦数值梯度和解析梯度对不上，问题一定出在缓存、导数定义或矩阵乘顺序上。
