用scikit-learn+scipy.stats.ks_2samp做实时分布漂移检测，需确保对比同类型连续概率（如predict_proba[:,1]），仅用近期200条预测、分类别检验，p值设为0.2报警；逐条流式预测应改用alibi-detect的UnivariateDrift并复用模型预处理流程。
用 scikit-learn + scipy.stats.ks_2samp 做实时分布漂移检测
模型漂移最直观的表现就是预测结果的分布变了，比如昨天 80% 的预测值集中在 [0.2, 0.4]，今天突然堆在 [0.6, 0.8]。直接比对两个预测数组的分布，ks_2samp 是最轻量、最靠谱的起点——它不假设数据服从正态，对样本量也不苛刻（50+ 就能用），而且返回一个明确的 p 值。
常见错误是拿训练集标签（y_train）和线上预测（y_pred_online）硬比：标签是离散分类，预测是连续概率，类型不匹配，KS 检验直接失效。必须确保比的是同一种东西：比如都用 model.predict_proba(X)[:, 1] 得到的正类概率。
- 只比最新 N 条预测（比如最近 200 条），别堆全量历史；否则一来慢，二来老数据会稀释信号
- 每小时/每千条触发一次检验，p 值 0.2 才报警——太敏感会误报，太迟钝会漏掉早期漂移
- 如果模型输出多分类，别把所有类别概率 concat 起来喂给
ks_2samp；要按类别分别检验，或改用scipy.stats.wasserstein_distance算每类概率分布的距离
用 alibi-detect 监控在线预测流（非批处理场景）
如果你的预测是逐条进来的（比如 API 请求流），ks_2samp 就得攒够一批再算，响应滞后。这时候该上 alibi-detect 的 UnivariateDrift 或 TabularDrift，它们支持在线更新参考分布、增量计算统计量，延迟压到毫秒级。
容易踩的坑是没设好 preprocess_fn：比如你输入是原始特征，但模型内部做了标准化，而 drift 检测器直接拿原始特征比，就会把预处理引入的偏移当成真实漂移。必须让 drift 检测器的输入和模型最终看到的输入完全一致——通常得复用模型 pipeline 里的 transform 步骤。
立即学习“Python免费学习笔记（深入）”；
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
- 初始化时用上线前一周的预测输出作为
reference，别用训练集输出——训练集分布和线上推理分布天然不同 -
UnivariateDrift默认用 KS，但对小样本（method='chi2'（需分箱）或method='mmd'（需 GPU 加速） - 它的
score()方法返回的是单次检测的 p 值，不是累计置信度；别把它当“漂移概率”直接阈值截断，要结合滑动窗口趋势判断
为什么不用 sklearn.metrics.f1_score 直接监控线上效果？
因为 F1 需要真实标签（y_true），而线上预测往往没有即时反馈的真实标签。等用户点击、下单、投诉之后才拿到 label，延迟从几小时到几天不等。靠 F1 报警，发现漂移时模型可能已经错了一周。
更隐蔽的问题是：F1 对分布变化不敏感。比如模型把所有预测都往高了抬 0.1，只要排序关系不变，F1 可能纹丝不动，但业务阈值（如 0.5 判正）下的实际准确率已崩坏。这时候分布漂移检测反而更早亮红灯。
- 如果真有部分实时 label（比如推荐系统的点击流），可以组合使用：用分布检测做前置预警，用 F1 做归因验证
- 千万别把 A/B 测试的对照组 label 拿来算线上 F1——那组数据根本不在主流量路径里，分布不可比
- 有些团队用“预测置信度均值下降”代替分布检测，这非常危险：
model.predict_proba的均值稳定，不代表分布没变（比如双峰变单峰）
部署时最容易被忽略的一环：参考分布的版本管理
参考分布不是设一次就完事。模型迭代、业务规则调整、上游数据源变更，都会让旧参考分布失效。不更新，检测器会持续误报；乱更新，又会掩盖真实漂移。
正确做法是把参考分布和模型版本强绑定：每次新模型上线，自动用其在 shadow 流上的首日预测输出生成新参考，并存入带时间戳的键值对（比如 drift_ref_v2.3_20240520）。线上服务加载模型时，同步拉取对应参考。
- 别把参考分布写死在代码里或 config 文件中——改一次要发版，跟不上模型迭代节奏
- Redis 是个够用的存储选择，但记得设 TTL（比如 30 天），避免无限堆积
- 如果用 S3 存，路径里必须包含模型哈希值（
sha256(model_bytes)），不能只靠人工命名，否则多人协作时极易覆盖
