VotingClassifier能提升稳定性，但需选原理差异大的基模型、正确配置软/硬投票及权重，并通过多次交叉验证评估方差以确保稳健性。
直接用 VotingClassifier 能显著提升分类结果的稳定性，但前提是选对模型、配对参数、避开静默退化——否则融合后反而比单个模型更抖。
硬投票 vs 软投票：先看模型有没有 predict_proba
软投票要求所有基模型都支持概率输出；硬投票只要能返回类别标签就行。不满足条件时，VotingClassifier 不会报错，而是自动降级为硬投票，但你可能根本没意识到。
-
XGBoost默认没有predict_proba，必须显式设objective='binary:logistic'（二分类）或'multi:softprob'（多分类），并加use_label_encoder=False -
LogisticRegression、RandomForestClassifier、GaussianNB默认支持，开箱即用 -
SVC需要设probability=True，否则训练会变慢，且内部用 Platt scaling 估计概率，校准质量一般 - 混用时建议统一检查：
hasattr(model, 'predict_proba')，避免“以为在软投，其实全在硬投”
基模型怎么选：别堆同类型，要原理差异大
三个 XGBoost 换不同 learning_rate，集成效果几乎等于没集成——它们犯错模式太相似，投票只是把同类偏差放大了。
- 推荐组合：一个线性模型（如
LogisticRegression）、一个树模型（如RandomForestClassifier或XGBClassifier）、一个距离/生成式模型（如KNeighborsClassifier或GaussianNB） - 图像任务中，PyTorch 模型可包装成 sklearn 兼容接口（继承
BaseEstimator+ 实现predict和predict_proba），再进VotingClassifier - 数量控制在 3–5 个：太少起不到互补作用，太多增加推理延迟且边际收益递减
weights 参数不是“给最强模型加分”那么简单
权重不是按验证集准确率线性分配就完事。高准确率模型若在某些子分布上系统性误判，加权反而会放大这类错误。
立即学习“Python免费学习笔记（深入）”；
- 更稳妥的做法：用验证集上的
f1_score（尤其多类不平衡时）或balanced_accuracy作为权重依据 - 也可以用
CalibratedClassifierCV先校准各模型输出概率，再基于校准后置信度动态赋权 - 简单起见，初期建议先用等权（
weights=[1,1,1]），确认融合逻辑跑通后再调权 - 注意：权重只影响软投票中的概率加权平均；硬投票里权重是票数倍数，比如
weights=[2,1,1]相当于第一个模型投两票
最容易被忽略的点：验证集必须隔离，且评估要看方差
很多人只比最终准确率，却忽略了“稳不稳定”。一个融合模型在固定验证集上准确率 94.7%，但在 5 次不同随机划分下标准差达 ±2.1%，实际部署时波动就很大。
- 务必做多次 train/val 划分（例如
StratifiedKFold(n_splits=5)），观察准确率/ROC AUC 的标准差是否明显下降 - 对同一测试样本，微调各基模型
random_state后重跑 10 次集成，看预测分布是否集中——这才是“稳健”的真实信号 - 如果发现某模型在多数划分下拖后腿，宁可剔除它，也不要强行加权保全
