StackingRegressor的次级模型拟合基模型对训练集的预测输出构成的新特征矩阵；它用该矩阵（n_samples×n_base_models）拟合y_train，而非原始X或y，且默认通过交叉验证生成无泄漏的out-of-fold预测以避免过拟合。
StackingRegressor 的次级模型到底拟合什么
它不拟合原始特征，也不直接拟合目标变量 y；而是拟合「基模型对训练集的预测输出」——即每个基模型在 X_train 上的预测值堆叠成的新特征矩阵（shape: n_samples × n_base_models），再用这个矩阵去拟合 y_train。
常见误解是把次级模型当成“调参器”或“加权平均器”，其实它是带泛化能力的独立模型：你传给 StackingRegressor(estimators=..., final_estimator=...) 的 final_estimator 就是这个次级模型，它会被完整地 fit(X_pred_from_base, y_train) 一次。
- 如果基模型有 3 个，
X_train有 1000 行，则次级训练输入是(1000, 3)的数组，每列是一个基模型的predict(X_train) -
final_estimator必须支持fit()和predict()，不能是只读模型（如未训练的LinearRegression实例可以，但None或字符串不行） - 注意：
StackingRegressor默认使用cv='prefit'以外的交叉验证方式生成次级输入，避免过拟合 —— 这意味着基模型会在不同折上重训，预测值是 out-of-fold 的，不是简单用全量训练后 predict
为什么用 LinearRegression 做 final_estimator 反而效果差
因为线性模型假设次级特征（即各基模型预测）与真实目标呈线性关系，但现实中多个模型的误差模式往往非线性耦合。比如一个模型高估时另一个常低估，这种补偿关系很难被线性组合捕捉。
实操中更稳的选择是树模型或带正则的线性模型：
立即学习“Python免费学习笔记（深入）”；
-
final_estimator=RandomForestRegressor(n_estimators=10, max_depth=3)—— 抗噪强，自动建模交互项 -
final_estimator=RidgeCV(alphas=[1e-3, 1e-2, 0.1, 1.0])—— 比纯LinearRegression更鲁棒，尤其当基模型预测高度相关时 - 避免用
DecisionTreeRegressor(max_depth=None)，容易在次级特征维度低时过拟合（仅几列输入就拟合出复杂分支）
cv 参数设成 5 还是 'prefit'？关键看训练资源和一致性需求
cv=5 是默认行为，意味着对每个基模型做 5 折 CV，用每折的预测拼出次级训练集。好处是次级输入无泄漏、泛化性好；坏处是基模型要训 5×n 次（n 是基模型数），耗时明显增加。
cv='prefit' 要求你**提前手动训练好所有基模型**，然后传入已 fit 的实例列表（如 [(‘lr’, lr_model), (‘rf’, rf_model)]）。这时 StackingRegressor 直接用这些模型 predict 全量 X_train 得到次级特征 —— 快，但风险是次级模型看到的是“见过”的数据，容易高估性能。
- 调试阶段可用
cv='prefit'快速验证 pipeline 流程是否通，但最终评估必须切回cv=5或其他 KFold - 若基模型训练极慢（如大样本 XGBoost），可先用
cv=3折中，而非硬扛cv=5 - 注意：
cv='prefit'下，StackingRegressor.fit()不会重新训练基模型，也不会检查它们是否真的已 fit —— 传入未 fit 的模型会导致AttributeError: 'xxx' object has no attribute 'predict'
预测时次级模型怎么拿到输入：别漏掉 transform 步骤
训练完 StackingRegressor，预测时它会自动对新样本 X_test 执行两步：先用各基模型 predict 得到次级特征，再喂给 final_estimator.predict()。但如果你手动拆解流程（比如想分析各基模型贡献），就得自己调 stacker.named_estimators_ 并逐个调 predict()。
- 错误做法：直接对
X_test调final_estimator.predict()—— 输入维度错，报ValueError: X has 2 features, but final_estimator is expecting 3 - 正确做法：要么统一用
stacker.predict(X_test)，要么手动模拟：base_preds = np.column_stack([ model.predict(X_test) for name, model in stacker.named_estimators_.items() ]) y_pred = stacker.final_estimator_.predict(base_preds) - 注意：
stacker.final_estimator_是 fit 后才有的属性，fit 前访问会报AttributeError
RandomForestRegressor，次级模型学到的很可能只是冗余噪声。真正有效的 stacking，依赖于误差模式互补的模型组合，比如线性模型 + 树模型 + 神经网络（哪怕小规模），这点比调 final_estimator 的超参重要得多。 
