手写导数最常出错的是符号搞反、链式求导漏项、偏导误作全导；例如loss=(y_pred−y_true)²对w求导时，须通过y_pred=w·x+b链式展开得2(y_pred−y_true)·x，漏乘x会导致loss不降或发散。
梯度下降里手动写导数容易错在哪
手写导数最常出问题的地方，是符号搞反、链式求导漏项、或者把偏导当全导。比如对 loss = (y_pred - y_true) ** 2 求 w 的导数，有人直接写 2 * (y_pred - y_true)，漏了 y_pred 对 w 的依赖（比如 y_pred = w * x + b），结果导数变成 2 * (w * x + b - y_true) * x 才对。
常见错误现象：loss 不下降、震荡剧烈、甚至发散；w 更新方向和直觉相反。
- 务必从损失函数出发，一层层回溯到每个参数，每一步只对一个变量求偏导
- 如果模型含非线性（如
sigmoid），导数必须包含其导数项（sigmoid'(z) = sigmoid(z) * (1 - sigmoid(z))） - 用数值梯度验证：比如
(loss(w+1e-5) - loss(w-1e-5)) / (2e-5)和你手算的导数差值应
Python里怎么安全更新参数
更新逻辑看着简单：w = w - lr * dw，但实际踩坑集中在三处：变量覆盖、数据类型不一致、原地修改副作用。
使用场景：单变量线性回归、简单神经元、教学演示——不适合直接上生产，但能帮你吃透更新本质。
立即学习“Python免费学习笔记（深入）”；
- 别用
w -= lr * dw对 numpy 数组，可能触发隐式拷贝或广播错误；显式写w = w - lr * dw更可控 - 确保
w和dw类型一致（都是float64），否则梯度可能被截断为整数 - 如果
w是 list 或 Python 原生 float，每次更新都生成新对象；而 numpy array 默认原地改，注意是否要.copy() - 学习率
lr别设成 1.0 或更大，从1e-2开始试；太大导致跳过极小值，太小收敛慢
为什么你的梯度下降不收敛
不收敛往往不是算法错了，而是数据或实现细节没对齐。最隐蔽的是特征尺度差异和未归一化。
性能影响：x1 取值范围是 [0, 1]，x2 是 [0, 1000]，那对 x2 的梯度天然比 x1 大三个数量级，w2 被疯狂拉扯，w1 几乎不动。
- 训练前必须做标准化：
X = (X - X.mean(axis=0)) / X.std(axis=0)，别只减均值不除标准差 - 检查
dw是否出现inf或nan：打印np.isnan(dw).any()，一旦出现，往上查哪步除零或 log(0) - 批量大小为 1（SGD）时，梯度噪声大，loss 曲线锯齿明显属正常；但若连续 100 步 loss 均值不上升，说明卡在平坦区，该调
lr或加动量
numpy实现时绕不开的兼容性细节
用 numpy 写梯度下降，看似自由，实则处处是 dtype 和 shape 的陷阱。比如 X 是 (100, 3)，w 是 (3,)，点乘 X @ w 没问题；但若 w 是 (3, 1)，结果变 (100, 1)，后续减法广播可能出错。
兼容性影响：同一段代码在 numpy 1.20+ 和旧版行为不同，尤其涉及 np.matrix（已弃用）或自动升维。
- 永远用
np.array，不用np.matrix；向量统一用 1D array（shape=(n,)），别用列向量（shape=(n,1)）除非明确需要 - 矩阵乘法只用
@，别混用np.dot或*（后者是逐元素） - 初始化
w用np.random.randn(n) * 0.01，别用全零——否则所有神经元梯度相同，权重永远同步更新 - 调试时加一句
assert X.shape[1] == w.shape[0]，比报错后翻半天维度强
真正难的不是推导公式，是让每一行代码在边界条件下依然吐出合理数字。比如 X 全零、y 全相同、lr=0 这些极端输入，你的更新逻辑是否仍不崩、不 nan、不 inf——这些地方才见真章。
