软投票要求所有基模型支持predict_proba，XGBoost需显式设置objective参数；Blending须严格隔离验证集；异构模型融合前需对齐输出维度与语义；VotingClassifier权重应基于验证集多指标动态分配。
硬投票 vs 软投票：别只看准确率，先看模型有没有 predict_proba
软投票（soft voting）要求所有基模型都支持概率输出，即必须有 predict_proba 方法；硬投票（hard voting）只要能输出类别标签就行。XGBoost 默认不启用概率预测，直接用会报 AttributeError: 'XGBClassifier' object has no attribute 'predict_proba'。
- LogisticRegression、RandomForestClassifier 默认支持
predict_proba - XGBoost 需显式设置
objective='binary:logistic'（二分类）或'multi:softprob'（多分类），且use_label_encoder=False - 如果某个模型不满足软投票条件，
VotingClassifier会静默退化为硬投票，但不会报错——这容易导致融合结果意外变差
Blending 不是“再训一个模型”那么简单：验证集划分必须严格隔离
Blending 的核心是用「模型在验证集上的预测值」作为新特征训练元模型。一旦验证集和训练集混用（比如用全部训练数据拟合基模型后再切分验证集），元模型就会严重过拟合，线上效果崩塌。
- 标准流程：把原始训练集划分为
train_part和val_part（如 7:3） - 所有基模型只能用
train_part训练，然后在val_part上生成预测（即元特征） - 元模型用
val_part的元特征 + 真实标签训练，最终用测试集评估 - 常见错误：用
cross_val_predict时未指定cv=KFold(n_splits=5, shuffle=True, random_state=42)，导致数据泄露
混合异构模型时，输出维度不一致？别硬拼，先对齐再融合
不同模型的输出 shape 可能天差地别：ResNet 输出 [batch, 1000]，ViT 是 [batch, 768]，而一个自定义 CNN 可能只有 [batch, 128]。直接 torch.cat 或 np.hstack 会报维度错，但更隐蔽的问题是语义失配——没归一化、没校准置信度，融合后反而拉低性能。
- 回归任务建议统一做 min-max 或 z-score 归一化：
(pred - pred.mean()) / (pred.std() + 1e-8) - 分类任务若用软投票，确保所有模型输出都是同一套类别顺序（检查
classes_属性是否一致） - 异构强模型（如 timm 模型 + sklearn 模型）建议走 Blending 而非 Stacking：前者只需预测值，后者需完整前向逻辑，工程成本高得多
用 VotingClassifier 时，权重不是越大越好：小心负向放大偏差
weights 参数允许你给每个模型赋权，但加权不是“把最高分模型提权就行”。如果某个模型在特定子群体上系统性出错（比如对小样本类别召回率极低），提高它的权重反而会固化这个偏差。
立即学习“Python免费学习笔记（深入）”；
- 推荐做法：用验证集计算每个模型的 F1（或多指标加权得分），再归一化为权重，而非直接用测试集准确率
- 权重和不必为 1，但建议控制在
[0.1, 1.0]区间内，避免某模型权重趋近于 0 导致信息丢失 - 调试技巧：打印
vclf.named_estimators_['lr'].predict_proba(X_val)[:3]对比各模型输出分布，看是否存在极端置信（如全 0.99/0.01）现象
真正难的不是写几行 VotingClassifier 或拼接 tensor，而是搞清楚每个模型在哪类样本上可靠、在哪类上会撒谎。融合不是平均主义，是建立信任地图——这点在异构模型间尤其关键。
