不能只看平均CV分数，因其掩盖各折波动；箱线图可揭示中位数偏态、IQR稳定性及离群折；需用StratifiedKFold与cross_val_score获取每折原始分，再用matplotlib.boxplot绘图并处理nan。
为什么不能只看平均 CV 分数
平均准确率或 AUC 掩盖了模型在各折上的波动。比如一个模型平均 AUC 是 0.85，但五折分数分别是 [0.92, 0.88, 0.86, 0.71, 0.88] —— 第四折掉到 0.71，说明它对某类数据分割极度敏感。这种不稳定性在生产环境中可能直接导致线上服务抖动。
箱线图能立刻暴露三点：
① 中位数是否接近均值（偏态？）
② 箱体高度（IQR）是否小（稳定性？）
③ 是否存在离群折（fliers）
用 cross_val_score 提取每折原始分数
别用 cross_val_score(..., return_train_score=False) 默认只返回测试分，但必须拿到**每折的原始分数列表**才能画箱线图。关键点：
-
cv=StratifiedKFold(n_splits=5, shuffle=True, random_state=42)比纯KFold更可靠，尤其对类别不平衡数据 - 传入
scoring='roc_auc_ovr'（多类）或'roc_auc'（二类），避免默认用'accuracy'丢失概率信息 - 必须设
return_train_score=False（省内存），我们只关心验证表现
示例：获取 LogisticRegression 和 RandomForest 的五折 AUC 列表
立即学习“Python免费学习笔记（深入）”；
from sklearn.model_selection import StratifiedKFold, cross_val_score from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier from sklearn.datasets import make_classification X, y = make_classification(n_samples=1000, n_features=20, n_classes=3, n_informative=10, random_state=42) cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42) lr_scores = cross_val_score(LogisticRegression(), X, y, cv=cv, scoring='roc_auc_ovr') rf_scores = cross_val_score(RandomForestClassifier(), X, y, cv=cv, scoring='roc_auc_ovr')
用 matplotlib.boxplot 画多模型对比图
pandas 的 boxplot() 对多模型支持弱，推荐直接用 matplotlib.pyplot.boxplot 控制粒度。常见踩坑：
- 传入数据必须是 list of arrays，比如
[lr_scores, rf_scores]，不能是 DataFrame 列 - 别漏设
labels=['Logistic', 'RandomForest']，否则 x 轴无文字 - 加
patch_artist=True才能填色；用boxprops={'facecolor': 'lightblue'}单独控制每个箱体颜色 - 如果某模型某折报错（如
ValueError: Only one class present in y_true），对应位置会是nan，需提前用np.nan_to_num(scores, nan=0.0)处理，否则绘图失败
最小可用绘图代码：
import matplotlib.pyplot as plt
import numpy as np
scores_list = [np.nan_to_num(lr_scores, nan=0.0), np.nan_to_num(rf_scores, nan=0.0)]
plt.boxplot(scores_list, labels=['Logistic', 'RF'], patch_artist=True,
boxprops={'facecolor':'lightgray'}, medianprops={'color':'red'})
plt.ylabel('AUC (OvR)')
plt.title('Model Stability Comparison (5-fold CV)')
plt.grid(True, alpha=0.3)
plt.show()
分模型看每折细节：用 cross_val_predict + classification_report
箱线图告诉你“有没有问题”，但不告诉你“哪一折、哪一类出问题”。这时候需要逐折分析：
- 用
cross_val_predict配合cv=StratifiedKFold得到每个样本的预测标签（注意：不是概率） - 再用
classification_report(y_true, y_pred, output_dict=True)提取 per-class f1-score 字典 - 重点检查：某模型在某个类上的 f1-score 在所有折中标准差 > 0.15，大概率存在数据分布泄漏或特征失效
真正容易被忽略的是：交叉验证的随机种子不仅影响数据划分，还影响某些模型（如 RandomForestClassifier）内部树的构建顺序。所以做模型对比时，random_state 必须统一固定在 StratifiedKFold 和模型实例上，否则比较失去意义。
