欠拟合表现为模型预测值贴近训练集均值、R²接近0或为负,线性模型系数趋近于0而截距很大;需增强模型表达能力,优先添加有业务意义的人工特征而非盲目提高多项式阶数。

模型预测值贴着训练集均值,R² 接近 0 甚至为负?大概率是欠拟合
这不是数据太少或噪声太大导致的,而是模型根本没学到输入和输出之间的基本关系。线性模型跑出来 y_pred 几乎是一条水平线,coef_ 全接近 0,intercept_ 却很大——说明它放弃拟合变化,只记住了均值。这时候加数据没用,得让模型“有能力”表达更复杂的模式。
PolynomialFeatures 不是万能钥匙,阶数选错反而加重欠拟合
很多人一上来就设 degree=3 或更高,结果训练误差没降,fit 还报 MemoryError。关键不是“越高越好”,而是看原始特征是否真存在可被多项式捕捉的非线性结构(比如温度对反应速率、时间对用户留存的衰减效应)。
- 从
degree=2开始试,配合interaction_only=False(默认),先覆盖平方项 + 交叉项 - 若原始特征已做标准化(如用
StandardScaler),必须在PolynomialFeatures之后再标准化——否则高次项量纲爆炸,LinearRegression的coef_会严重失真 - 警惕组合爆炸:
n_features=10时degree=2会产生 66 个新特征,degree=3直接跳到 286 个;超过 20 个原始特征就别硬上degree=3
from sklearn.preprocessing import PolynomialFeatures from sklearn.linear_model import LinearRegression <p>poly = PolynomialFeatures(degree=2, include_bias=False) X_poly = poly.fit_transform(X) # X 是 (n_samples, n_features) model = LinearRegression().fit(X_poly, y)
新增人工特征比盲目升阶更可控、更可解释
欠拟合常发生在业务逻辑明确但模型“看不懂”的场景:比如用“下单时间”预测销量,原始时间戳对线性模型毫无意义,但提取出 hour_of_day、is_weekend、days_since_promotion 就立刻见效。这类特征不增加维度爆炸风险,还能快速验证假设。
- 优先加有物理/业务意义的变换:
np.log(x+1)处理右偏分布,np.clip(x, a, b)截断异常值,x > threshold转成布尔特征 - 避免在训练集上用
pd.qcut分箱后直接编码——分位点在测试集可能失效,改用固定阈值或用KBinsDiscretizer(strategy='uniform') - 如果新增特征后
model.coef_中对应系数显著不为 0,且验证集R²提升 >0.03,说明这个特征真的被模型“吃进去了”
pipeline 里漏掉 fit_transform 和 transform 区分?欠拟合会伪装成过拟合
写错一步:在 pipeline 中对 PolynomialFeatures 调用 fit_transform 训练,却在预测时用 fit_transform 处理测试集(而不是 transform),会导致测试特征矩阵维度和训练时不一致——轻则报错,重则因每次 fit 生成不同特征映射,让模型在验证集上表现随机波动,误判为“模型不稳定”或“数据泄露”。
立即学习“Python免费学习笔记(深入)”;
- 永远用
sklearn.pipeline.Pipeline封装,别手动拼步骤;检查每个 step 的类是否实现了transform方法 - 如果必须手写流程,记住铁律:
fit_transform只用于训练集,transform用于验证/测试集,且必须用同一个 fitted 对象 - 验证方法:打印
poly.get_feature_names_out(),确保训练和测试调用transform后列名完全一致
模型欠拟合最麻烦的点在于:它不报错,只安静地给出平庸结果。你得盯着 residuals 图看有没有系统性弯曲,盯着 coef_ 看有没有大片接近零的值,而不是等 cross_val_score 给你一个数字才开始怀疑。


















