模型漂移是数据分布或关系变化导致模型行为系统性偏移，准确率等指标因滞后性和不敏感性难以及时发现；需用alibi-detect等专用工具监控输入/输出分布。
什么是模型漂移，以及为什么不能只靠准确率发现它
模型漂移（Model Drift）不是预测错误变多，而是数据分布或关系本身变了——比如训练时用户年龄集中在20–35岁，上线后突然涌入大量60岁以上用户，predict_proba输出的置信度可能依然很高，但实际决策已系统性偏移。准确率、F1这些指标在分布偏移初期往往不敏感，尤其当标签延迟反馈（如金融风控中的坏账确认要等90天）时，靠线上指标监控会严重滞后。
Scikit-learn 本身不提供漂移检测模块，它专注拟合与预测；你需要组合使用：用 scikit-learn 训练模型 + 用专门的漂移检测库（如 alibi-detect、scikit-multiflow 或轻量级 ddm/eddm）做输入/输出分布监控。
用 alibi-detect 检测输入特征漂移（推荐用于生产环境）
alibi-detect 是目前和 scikit-learn 集成最自然的漂移检测库，支持单变量、多变量、在线/离线模式，且能复用你已有的 sklearn.pipeline.Pipeline 或特征预处理器。
实操要点：
立即学习“Python免费学习笔记（深入）”；
- 先用历史数据（如上线前30天）拟合一个
UnivariateDrift或MMDDrift检测器，注意传入的是**原始特征矩阵 X**，不是模型预测结果 -
MMDDrift基于最大均值差异（MMD），对高维特征更鲁棒，但需指定backend="pytorch"或"tensorflow"；若想零依赖，改用KSDrift（仅限单变量）或ChiSquareDrift（分类特征） - 每次新批次数据（如每小时1000条）调用
detector.predict(X_new)，返回字典含is_drift（bool）和p_value（越小越可疑） - 别直接用原始训练集当基准——应剔除异常点、做时间切片（如只取T-30到T-7天），否则冷启动偏差会掩盖真实漂移
from alibi_detect.cd import MMDDrift
from sklearn.ensemble import RandomForestClassifier
<h1>假设 X_ref 是清洗后的参考数据（n_samples × n_features）</h1><p>detector = MMDDrift(X_ref, backend='pytorch', p_val=0.05, n_permutations=100)
X_new = get_recent_batch() # 形状同 X_ref
preds = detector.predict(X_new)
if preds['data']['is_drift']:
print(f"Drift detected! p-value: {preds['data']['p_value']:.4f}")</p>监控预测输出分布，比监控输入更快发现问题
当输入特征维度高、噪声大，或你更关心“模型行为是否一致”时，直接监控 model.predict_proba(X)[:, 1] 的分布变化更有效——比如二分类中正类概率直方图从双峰变单峰，常预示概念漂移。
关键操作：
- 把模型输出（logits 或 proba）当作一维/多维信号，用
KSDrift或UnivariateDrift检测，比全量特征检测快一个数量级 - 避免用
model.predict(X)（硬分类）——类别频次变化太粗糙，小幅度漂移会被整数截断掩盖 - 如果模型输出不稳定（如树模型对微小扰动敏感），先对 batch 内输出做
np.mean或np.quantile聚合，再检测，降低噪声干扰 - 设置动态阈值：用滑动窗口计算过去7天的
p_value中位数，当前值超过2倍即告警，比固定p_val=0.05更适应业务节奏
不用额外库：用 scikit-learn + scipy 手写 KS 检验（适合临时排查）
如果无法引入新依赖，又需要快速验证某列特征是否漂移，用 scipy.stats.ks_2samp + 现有 sklearn 工具链完全可行，但要注意边界条件。
典型陷阱：
-
ks_2samp要求两样本独立，而线上数据是时间序列——不能拿今天 vs 昨天直接比，应取今天10:00–11:00 vs 上周同段（T-7d），否则自相关导致假阳性 - 样本量过小（
n ）时 KS 检验失效，改用 <code>scipy.stats.chisquare（需分箱）或跳过检验、直接画分布对比图 - 对缺失值敏感：
ks_2samp会报错ValueError: arrays must not contain NaNs，务必提前用X_ref = X_ref[~np.isnan(X_ref)] - 多变量场景下，逐列跑 KS 会抬高整体犯错率——若检查10列，α=0.05 时至少一列误报概率达 ~40%，此时必须用
statsmodels.stats.multitest.multipletests校正
from scipy.stats import ks_2samp
import numpy as np
<h1>X_ref: shape (n_ref, 1), X_curr: shape (n_curr, 1)</h1><p>stat, p_value = ks_2samp(X_ref.flatten(), X_curr.flatten())
if p_value < 0.01: # 更严格阈值
print("Significant shift in feature distribution")</p>真正难的不是选哪个检测器，而是定义“什么算漂移”。同一组 p_value 在电商点击率模型里可能是噪音，在医疗诊断模型里就是停机信号——得结合业务影响反推统计阈值，而不是反过来。
