Permutation importance 是通过打乱单个特征并观察模型性能下降程度来衡量特征重要性，适用于任何黑盒模型；需用验证集、设 n_repeats≥5、显式指定 scoring，结果取 importances_mean 并注意负值与标准差异常。
Permutation importance 是什么，为什么不能直接用模型自带的 feature_importances_
Permutation importance 不是模型内部计算出来的“权重”或“分裂增益”，而是通过打乱单个特征后观察模型性能下降程度来衡量重要性。它适用于任何黑盒模型（包括 sklearn.ensemble.RandomForestClassifier、lightgbm.LGBMRegressor、甚至自定义预测函数），而 feature_importances_ 只对树模型有意义，且易受高基数特征或共线性干扰。
常见错误是误以为调用 model.feature_importances_ 就等于 permutation importance —— 实际上两者逻辑完全不同，数值也不可比。
用 sklearn.inspection.permutation_importance 计算的标准流程
核心是传入训练好的模型、验证集 X 和 y，指定评估指标（默认是模型自身的 score 方法）。注意：必须用**未参与训练的数据**（即验证集/测试集），否则会严重高估重要性。
- 确保
X_val和y_val是独立于训练过程的样本 - 设置
n_repeats≥ 5（推荐 10），避免单次打乱带来的随机波动 - 若模型预测耗时高，可设
n_jobs=-1并行加速（但注意内存占用） - 使用
scoring显式指定评估方式，例如"f1"或"neg_mean_squared_error"，避免依赖模型默认score()
from sklearn.inspection import permutation_importance
result = permutation_importance(
model, X_val, y_val,
n_repeats=10,
random_state=42,
scoring="f1",
n_jobs=-1
)
importance_scores = result.importances_mean # shape: (n_features,)
结果解读和排序时容易踩的坑
返回的 result.importances 是二维数组：每列是一个特征，每行是一次重复打乱的结果。真正可用的是 result.importances_mean（均值）和 result.importances_std（标准差）。
立即学习“Python免费学习笔记（深入）”；
- 负的重要性值表示打乱该特征后模型性能反而提升——通常意味着该特征含噪声或与标签负相关，应检查数据质量
- 若某特征 std 远大于 mean（比如 std > |mean|/2），说明重要性不稳定，可能因样本量小或特征本身区分度低
- 排序时别直接用
np.argsort(importance_scores)，要加[::-1]才是从高到低；更稳妥写法是np.argsort(-importance_scores) - 特征名需手动绑定：
pd.DataFrame({"feature": feature_names, "importance": importance_scores}).sort_values("importance", ascending=False)
自定义模型或 predict_proba 场景下怎么用
当模型没有内置 score() 方法，或你想用 predict_proba + AUC 等指标时，得包装一个 scorer 函数。关键点是：scorer 必须接收 (estimator, X, y_true) 并返回标量。
- 不要在 scorer 内部重新 fit 模型——那会破坏 permutation 的语义
- 用
sklearn.metrics.make_scorer包装更安全，例如：make_scorer(roc_auc_score, needs_proba=True, multi_class="ovr") - 对于 PyTorch/TensorFlow 模型，需封装成兼容 sklearn 接口的对象（至少实现
predict或predict_proba），再传入permutation_importance
复杂点在于 scorer 的异常处理——如果某次打乱导致预测全 nan 或维度不匹配，permutation_importance 会跳过该轮并警告，但不会报错终止，这点容易被忽略。
