StackingClassifier常比单模型效果差，主因是元特征构建不当：基模型过拟合、概率未校准或分布偏斜导致第二层学习噪声；应校准基模型、禁用n_jobs=-1、第二层选LogisticRegression等简单模型，并用StratifiedKFold确保cv数据隔离。
StackingClassifier 为什么常比单模型效果差？
直接套用 StackingClassifier 却没提升，甚至更差，大概率不是模型不行，而是 stacking 的“元特征”构建方式出了问题。它默认用交叉验证生成第二层输入，但若基模型过拟合、校准不准，或目标变量分布偏斜，生成的预测概率/决策值会带系统性偏差，第二层模型学的其实是噪声。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 基模型必须支持
predict_proba或decision_function，且输出需校准——对LogisticRegression这类本身较准的可跳过，但SVC、RandomForestClassifier强烈建议先套一层CalibratedClassifierCV - 禁用
StackingClassifier的n_jobs=-1（尤其在小数据上），多进程会干扰 CV 折间的数据隔离，导致元特征泄露 - 第二层模型别用太强的模型（如未剪枝的
RandomForestClassifier），推荐LogisticRegression或轻量级XGBClassifier，避免二次过拟合
如何正确配置 cv 参数避免数据泄露？
cv 控制第一层模型如何生成元特征，默认是 5 折 StratifiedKFold，看似合理，但若训练集本身样本少（
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 样本量 cv=3，并显式传入
StratifiedKFold(n_splits=3, shuffle=True, random_state=42) - 类别不平衡（如正负比 > 10:1）：用
StratifiedKFold不够，应换RepeatedStratifiedKFold(n_splits=3, n_repeats=2)，让每个样本在多个 fold 中被预测，提升元特征稳定性 - 绝对不要用
cv="prefit"除非你已在外部分别 fit 好所有基模型——否则会报NotFittedError，且无法保证各模型在相同数据划分下产出元特征
怎么选基模型才不白搭？
堆一堆相似结构的模型（比如三个不同参数的 RandomForestClassifier）几乎不会提升，因为它们的错误模式高度重叠，stacking 无法从中提取互补信息。
Secure Python Code Sandbox
下载
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 组合至少两类原理差异大的模型：例如
LogisticRegression（线性） +SVC（核方法） +GradientBoostingClassifier（树集成） - 避免加入明显弱于其他模型的“拖油瓶”，可在 stacking 前单独跑一遍 CV，剔除平均 CV 得分低于最佳模型 0.03 的基模型
- 如果用
XGBClassifier或LGBMClassifier，务必设booster="gbtree"和objective="binary:logistic"（二分类），否则predict_proba可能返回异常值，导致第二层训练崩溃
为什么 fit 后 predict_proba 输出全是 0 或 1？
这不是 bug，是 StackingClassifier 默认第二层模型用 LogisticRegression 时，若输入的元特征尺度差异极大（比如一个模型输出概率在 [0,1]，另一个输出 raw decision score 在 [-100, +100]），逻辑回归权重会严重偏向高幅值特征，最终 softmax 后极端饱和。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 在传入
StackingClassifier前，对所有基模型的输出做标准化：用StandardScaler拟合训练集元特征，再 transform 全部元特征（包括验证和测试） - 或者干脆换第二层模型为
VotingClassifier(estimators=[...], voting="soft")，它内部会对各模型输出做归一化加权，更鲁棒 - 检查是否误把
StackingClassifier当成黑盒调参——它的关键超参其实只有final_estimator和cv，其余都该在基模型里调，别在 stacking 外层反复 gridsearch
真正难的不是堆模型，而是让每个基模型在各自擅长的子空间里犯不一样的错。一旦元特征里混进重复偏差，stacking 就成了放大器，而不是纠偏器。
