Target Encoding是用目标变量均值替换类别特征值的方法，易因低频类别导致过拟合；需结合平滑（如alpha调节）、留一法/分组编码防数据泄露，并对新/低频类别统一映射为全局均值。
Target Encoding 是什么，为什么直接用会过拟合
Target Encoding 本质是用目标变量（比如分类标签的均值、回归目标的均值）替换某个类别特征的原始取值。它能捕捉类别与目标之间的统计关系，比 One-Hot 更紧凑，尤其适合高基数类别特征（如用户 ID、商品 ID）。但问题在于：如果某个类别在训练集里只出现几次，它的 target_mean 就极不稳定——比如某用户只出现 2 次且都买了商品，target_mean 就是 1.0，模型会过度信任这个“完美用户”，导致过拟合。
用平滑（Smoothing）加先验控制噪声
平滑是最常用、最有效的防过拟合手段，核心思想是把每个类别的局部均值，向全局均值“拉”一点，拉多少取决于该类别的样本数。
- 全局均值记为
global_mean（整个训练集的 target 均值） - 某类别
cat的局部均值是cat_mean = target[cat].mean() - 样本数记为
n_cat，设定一个平滑参数alpha（通常取 5–30）
计算公式为：(cat_mean <em> n_cat + global_mean </em> alpha) / (n_cat + alpha)
# 示例：pandas 实现平滑 Target Encoding
import pandas as pd
def smooth_target_encode(series, target, alpha=10):
global_mean = target.mean()
agg = target.groupby(series).agg(['mean', 'count'])
smooth = (agg['mean'] * agg['count'] + global_mean * alpha) / (agg['count'] + alpha)
return series.map(smooth).fillna(global_mean)
注意：fillna(global_mean) 是必须的——处理测试集中训练时未见过的新类别。
立即学习“Python免费学习笔记（深入）”；
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
必须做“留一法”（Leave-One-Out）或分组内编码
直接用全量训练集算 cat_mean 会引入数据泄露：当前样本参与了自己所在类别的编码计算。这在 CV 或线上预测时无法复现，必然导致过拟合。
- 留一法（LOO）：对每个样本，用其他所有同类别样本计算均值，跳过自身
- 更稳妥的做法是按 CV 折分组编码：在每折训练时，仅用该折的训练部分计算映射表，再编码验证部分；预测时用全部训练集拟合编码器（但必须用平滑）
# 简化版 LOO（不依赖 sklearn）
def loo_target_encode(series, target):
# 每个样本的 group 内均值 = (group 总和 - 当前 target) / (group 计数 - 1)
sums = target.groupby(series).sum()
counts = series.value_counts()
# 避免除零：计数为 1 的样本，LOO 均值退化为 global_mean
global_mean = target.mean()
loo = (sums[series].values - target.values) / (counts[series].values - 1)
loo[counts[series] == 1] = global_mean
return pd.Series(loo, index=series.index)
新类别、低频类别要显式处理
测试集总会出现训练时没见过的类别（NaN），或训练中出现次数极少（如 ≤ 3 次）的类别。它们的编码值信噪比极低，不能放任不管：
- 对训练中出现次数
min_samples（如 5）的类别，统一归为 “rare” 类别再编码 - 对测试中新类别，统一映射为
global_mean（不是随便填 0 或 -1） - 不要用
sklearn.preprocessing.OrdinalEncoder(handle_unknown='use_encoded_value')这类机制——它填的是固定整数，不是 target-aware 的值
平滑参数 alpha 和频次阈值 min_samples 需要调参，建议用带 early stopping 的 LightGBM/XGBoost 在验证集上扫一遍：alpha 太小 → 过拟合；太大 → 损失区分度；min_samples 太高 → 合并过多信息，太低 → 引入噪声。
真正麻烦的不是怎么写代码，而是编码器必须和 CV 流程严格对齐——漏掉一次留一、错用全局统计量、没隔离新类别，模型在线上就会明显掉点。
