CalibratedClassifierCV校准后概率不准的根本原因是基分类器原始得分区分度不足或校准数据分布失真；应优先选用原生支持概率的模型，确保校准数据代表性，并用calibration_curve和brier_score_loss评估可靠性而非准确率。
CalibratedClassifierCV 为什么校准出来的概率还是不准？
根本原因通常是基分类器本身输出的原始决策值（如 decision_function 或 predict_proba）不具备足够区分度，或者校准数据分布与训练/测试分布严重不一致。比如用 SVC（默认不带 probability=True）直接套 CalibratedClassifierCV，它内部会 fallback 到 decision_function，但若该函数输出集中在极小范围（如 [-0.02, 0.03]）， Platt 缩放或 isotonic 回归都难以拟合出合理概率映射。
实操建议：
- 优先选原生支持概率输出的基模型，例如
RandomForestClassifier、GradientBoostingClassifier，避免依赖decision_function回退路径 - 确保校准使用的数据（默认用交叉验证拆分）覆盖真实场景的特征分布，不要在校验集上过拟合——可显式传入
cv=3控制折数，避免cv='prefit'时忘记先 fit 基模型 - 对小样本或高维稀疏数据，
method='isotonic'比'sigmoid'更鲁棒，但不能外推；若遇到ValueError: y_true contains only one label，说明某折里全是一个类别，换cv=StratifiedKFold(n_splits=3, shuffle=True, random_state=42)
method='sigmoid' 和 method='isotonic' 怎么选？
sigmoid（Platt 缩放）假设原始得分与 log-odds 线性相关，适合得分分布近似高斯、类别边界较平滑的模型（如 SVC、LinearSVC）；isotonic 是非参数单调回归，更灵活，但需要足够多的校准样本（一般 >100 个正负例），且在训练范围外无法预测。
常见错误现象：isotonic 在测试时遇到比训练中见过的更大/更小的原始得分，会返回边界值（如 0.0 或 1.0），导致概率突变；而 sigmoid 可能对异常得分给出过于自信的中间值（如 0.999）。
立即学习“Python免费学习笔记（深入）”；
使用建议：
- 二分类任务且基模型是
SVC或线性模型 → 优先试method='sigmoid' - 树模型（如
RandomForestClassifier）或得分分布偏斜 → 用method='isotonic' - 想快速验证效果 → 两者都跑一遍，用
calibration_curve和brier_score_loss对比
如何正确评估校准效果，而不是只看准确率？
准确率高不等于概率准。必须检查概率是否“可靠”：预测为 0.8 的样本，实际正例比例是否接近 0.8？这要用可靠性图（reliability diagram）和 Brier 分数。
关键操作：
- 用
sklearn.calibration.calibration_curve获取各概率区间的实际频率，注意传参y_prob必须是校准后模型的predict_proba()[:, 1]，不是基模型的 - 计算 Brier 分数：
brier_score_loss(y_true, y_prob[:, 1])，值越低越好（0 为理想），高于 0.1 通常说明校准不足 - 警惕 “accuracy-calibration trade-off”：过度校准可能轻微降低准确率，但提升概率可信度——别只盯着
accuracy_score
pipeline 中集成 CalibratedClassifierCV 的坑
直接把 CalibratedClassifierCV 塞进 Pipeline 很容易出错，典型报错：AttributeError: 'CalibratedClassifierCV' object has no attribute 'classes_' ，这是因为 pipeline 的 fit 流程没触发其内部基模型的完整训练链。
安全做法：
- 不要用
CalibratedClassifierCV作为 pipeline 最后一步；而是先构建基模型 pipeline（如StandardScaler+LogisticRegression），再整体包一层CalibratedClassifierCV - 若必须 pipeline 化，用
make_pipeline(StandardScaler(), CalibratedClassifierCV(LogisticRegression()))，但需确认CalibratedClassifierCV的base_estimator是未 fit 的实例（不能传已 fit 的） - 调参时，
CalibratedClassifierCV的param_grid不能直接写{'base_estimator__C': [0.1, 1]}，得用双下划线穿透两层：例如CalibratedClassifierCV(LogisticRegression())的 C 参数应写成'base_estimator__C'
BaggingClassifier 或贝叶斯方法。 
