本文详解精确率-召回率（precision-recall）曲线上“无技能模型”（no-skill classifier）为何表现为一条水平线，阐明其数学原理，并提供基于 scikit-learn 的完整实现代码与关键注意事项。
本文详解精确率-召回率（precision-recall）曲线上“无技能模型”（no-skill classifier）为何表现为一条水平线，阐明其数学原理，并提供基于 scikit-learn 的完整实现代码与关键注意事项。
在二分类任务中，当数据高度不平衡（例如正样本仅占 5%）时，ROC 曲线可能过于乐观，而 Precision-Recall（PR）曲线更能反映模型在关注正类时的真实性能。此时，一个关键参考基准是“无技能模型”（no-skill classifier）——即不利用任何特征、仅依赖数据先验分布进行随机预测的基线模型。
为什么无技能模型的 PR 曲线是一条水平线？
根本原因在于：对于完全随机且不依赖输入特征的分类器（如对每个样本以固定概率 $ p $ 预测为正类），其精确率（Precision）恒等于数据集中正样本的真实比例（即先验概率），而召回率（Recall）则随决策阈值连续变化。
具体推导如下：
- 设数据集中正样本占比为 $ \pi = \frac{TP + FN}{N} $；
- 无技能模型对所有样本独立输出正类概率 $ p $（常见设定为 $ p = \pi $ 或 $ p = 0.5 $，但本质不影响结论）；
- 若采用阈值 $ \tau $ 进行硬分类，则预测为正的样本比例恒为 $ \Pr(\text{pred}=1) = p $；
- 根据定义：
- $\text{Precision} = \frac{TP}{TP + FP} = \frac{\pi \cdot p}{\pi \cdot p + (1-\pi)\cdot p} = \pi$（分子分母同除以 $p$，$p>0$）；
- $\text{Recall} = \frac{TP}{TP + FN} = \frac{\pi \cdot p}{\pi} = p$ —— 但注意：实际 Recall 值由阈值决定，当模型输出为常数概率时，仅两个阈值点有效：$\tau p$ 时 Recall = 0；而在 PR 曲线绘制中，我们通过平滑插值得到 Recall ∈ [0,1] 的连续轨迹，而 Precision 始终不变。
因此，在 PR 空间中，无技能模型对应的是 一条横坐标（Recall）可变、纵坐标（Precision）恒为 $ \pi $ 的水平线：
$$
\text{No-skill PR line: } \big{ (r,\, \pi) \mid r \in [0, 1] \big}
$$
✅ 正确做法：该水平线的 y 坐标应取训练集（或验证集）中正样本的实际比例（y_true.mean()），而非 0.5 或其他启发式值。
以下是在 Python 中使用 scikit-learn 绘制 PR 曲线及无技能基线的完整示例：
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import precision_recall_curve, auc
# 生成高度不平衡数据（正样本仅占 8%）
X, y = make_classification(n_samples=2000, n_features=2, n_redundant=0,
n_informative=2, n_clusters_per_class=1,
weights=[0.92, 0.08], random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5,
stratify=y, random_state=42)
# 训练模型并获取预测概率
model = LogisticRegression()
model.fit(X_train, y_train)
y_score = model.predict_proba(X_test)[:, 1]
# 计算 PR 曲线点
precision, recall, _ = precision_recall_curve(y_test, y_score)
pr_auc = auc(recall, precision)
# 无技能模型基线：y = 正样本比例
no_skill = y_test.mean() # 关键！不是 0.5
# 绘图
plt.figure(figsize=(7, 5))
plt.plot(recall, precision, label=f'Classifier (AUC = {pr_auc:.3f})', linewidth=2)
plt.axhline(y=no_skill, color='gray', linestyle='--',
label=f'No-skill baseline (Precision = {no_skill:.3f})')
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall Curve with No-Skill Baseline')
plt.legend()
plt.grid(True, alpha=0.3)
plt.xlim([0, 1])
plt.ylim([0, 1.05])
plt.show()关键注意事项：
- ❗ 无技能线的纵坐标必须是测试集（或评估集）中 y_true.mean()，它直接反映类别先验，是理论下界；误用 0.5 会严重误导模型比较；
- ⚠️ 当正样本极少（如
- ? precision_recall_curve() 返回的 recall 是递减序列（从 1→0），绘图时无需反转，matplotlib 自动处理；
- ? 在模型选择阶段，若某算法的 PR 曲线整体显著高于无技能线（尤其在高 Recall 区域），说明其对正类识别具备实质性判别能力。
总之，理解无技能基线的水平特性，不仅关乎绘图正确性，更是深入把握 Precision-Recall 指标统计本质的关键一步——它提醒我们：任何声称“提升召回”的模型，其精确率若未系统性超越数据天然偏置，便不具备实际部署价值。
