模型评估需结合业务场景选择指标，类别失衡时准确率失效，应关注召回率、精确率、F1-score或AUC-ROC；必须做混淆矩阵与阈值分析，用predict_proba遍历阈值绘ROC/PR曲线；验证泛化性需时间切片划分与分布检验；高风险场景须通过SHAP/LIME等确保解释性与特征重要性稳定。
模型评估不是跑完准确率就完事，关键看它在真实场景里能不能稳住。光有高指标，上线后一塌糊涂，很常见。
别只盯着准确率，先看业务场景要什么
分类任务里，准确率（Accuracy）在类别均衡时还行，但一旦正负样本严重失衡（比如信用卡欺诈检测中欺诈样本只占0.1%），99.9%的准确率可能只是把所有样本全判成“正常”——模型根本没学出区分能力。
得根据实际需求选指标：
- 关注漏掉坏样本？重点看召回率（Recall）和真阳性率（TPR）
- 担心误伤好用户？盯紧精确率（Precision）和假阳性率（FPR）
- 两者都要兼顾？用F1-score或Fβ-score（β可调权重）
- 需要排序能力（如推荐、风控打分）？看AUC-ROC，它不依赖阈值，反映模型整体判别能力
必须做：混淆矩阵 + 阈值分析
一个固定阈值下的准确率/召回率，掩盖了模型的真实行为。真正有用的评估，是画出ROC曲线或精确率-召回率曲线（PR曲线）。
立即学习“Python免费学习笔记（深入）”；
操作建议：
- 用model.predict_proba()拿到每个样本属于正类的概率，而不是直接predict()
- 遍历多个阈值（如0.1到0.9，步长0.05），对每个阈值计算TP、FP、TN、FN
- 画图观察：AUC > 0.8才算有基本判别力；若ROC接近对角线（AUC≈0.5），说明模型输出和随机猜测差不多
数据分布偏移？用“时间切片”或“分布检验”验证泛化性
训练集上表现好，不代表模型能应对未来新数据。常见陷阱是训练测试集按随机划分，但真实数据有时间依赖性（如用户行为随季节变化）。
实用检查方式：
- 时间序列划分：用2023年数据训练，2024年1–3月数据测试，比随机打乱更贴近上线逻辑
- 特征分布对比：用KS检验或可视化（如直方图、箱线图）比对训练集和线上抽样数据的关键特征分布，差异大说明存在协变量偏移
- 对抗样本小测试：人工构造几条合理但边缘的样本（如极端长度文本、含特殊符号的输入），看模型预测是否剧烈抖动
解释性不是加分项，是可用性底线
尤其在金融、医疗、招聘等高风险场景，不能只说“模型判了拒贷”，还得讲清为什么。黑盒模型即使AUC很高，也难被业务方信任和落地。
快速验证方法：
- 用SHAP或LIME对几个典型样本做局部解释，确认重要特征符合业务常识（例如“逾期次数”权重远高于“注册时长”）
- 检查特征重要性是否稳定：换一批训练数据重训，Top 5重要特征是否基本一致？大幅变动说明模型学到的是噪声
- 如果用树模型，直接看feature_importances_；深度学习可用梯度类方法（如Integrated Gradients）
