归一化是梯度下降类模型收敛的必要前提，因特征量级差异大会导致损失函数等高线呈扁长椭圆，迫使梯度下降“之字形”低效迭代；StandardScaler适用于含离群点或线性模型，MinMaxScaler适用于边界明确且需[0,1]输入的场景。
归一化不是“可选项”，而是梯度下降类模型（如 LogisticRegression、SGDClassifier、PyTorch/TF 的全连接层）的收敛前提。不做归一化，优化路径会严重拉长，甚至卡在局部震荡——这不是调参能解决的问题。
为什么梯度下降在未归一化数据上跑得慢？
当特征量级差异大（比如一个特征是 [0.01, 0.05]，另一个是 [1000, 5000]），损失函数等高线就变成又扁又长的椭圆。梯度下降被迫“之字形”前进，步长稍大就 overshoot，稍小又爬得慢。
归一化后，等高线更接近圆形，梯度方向更指向极小值，迭代次数通常减少 3–10 倍（实测常见于 sklearn.linear_model.SGDRegressor）。
MinMaxScaler 和 StandardScaler 怎么选？
选错 scaler 会导致收敛变慢甚至发散，关键看数据分布和下游模型：
立即学习“Python免费学习笔记（深入）”；
- 用
MinMaxScaler：图像像素值、神经网络输入（尤其需要 [0,1] 输入的激活函数如sigmoid）、边界明确且无异常值的数据 - 用
StandardScaler：含离群点的数据、线性模型（LinearRegression）、SVM、大多数树以外的模型；它不依赖极值，抗噪更强 - 别混用：训练集上
fit的 scaler 必须原样transform测试集，不能对测试集单独fit_transform
容易被忽略的三个实操陷阱
这些错误不会报错，但会让归一化失效，收敛速度回到“没做”的状态：
- 在划分 train/test 后才对全部数据做
fit_transform—— 这属于数据泄露，测试集信息污染了训练过程 - 对类别型变量（哪怕编码成数字）做了归一化 ——
OneHotEncoder后的 0/1 列不需要缩放，强行归一化反而破坏稀疏结构 - 用
StandardScaler处理极度偏态或含大量零值的特征（如用户点击频次）——均值和标准差被零主导，缩放后仍聚集在 0 附近，建议先做对数变换或用RobustScaler
验证归一化是否起效的最快方式
别只看训练 loss 下降曲线，直接检查梯度更新的稳定性：
- 打印前 10 轮中各参数的梯度 L2 范数：
torch.norm(grad)或np.linalg.norm(model.coef_)变化幅度应快速收窄 - 对比归一化前后相同 epoch 的 loss 值：若归一化后第 50 轮 loss 已低于未归一化第 500 轮，说明生效
- 观察
sklearn模型的coef_绝对值分布：归一化后各维度系数量级应大致相当，否则说明某特征仍主导更新
真正影响收敛速度的，从来不是学习率调多高，而是输入特征是否站在同一起跑线上。归一化做完，记得把 scaler 对象保存下来——部署时漏掉这一步，线上推理就等于没归一化。
