feature_importances_ 是树模型及集成树模型（如RandomForest、XGBoost、LightGBM）内部基于分裂时的不纯度下降自动计算的属性，线性模型不支持；其值域为[0,1]且归一化求和为1，物理意义为平均不纯度减少。
feature_importances_ 是谁算出来的？不是所有模型都支持
它只存在于树模型和集成树模型里，比如 RandomForestClassifier、XGBClassifier（XGBoost 自带）、LGBMClassifier（LightGBM 自带），但 LogisticRegression、SVC、LinearRegression 这类线性模型压根没有这个属性——调用会直接报 AttributeError。
原因很简单：树模型能天然统计每个特征在分裂时带来的不纯度下降（如基尼不纯度或信息增益），而线性模型的系数虽然也能反映方向和相对大小，但不能直接等价于“重要性”，尤其当特征量纲差异大或存在多重共线性时。
- 如果你用了
sklearn.ensemble.RandomForestRegressor，feature_importances_默认是基于「平均不纯度减少」（mean decrease impurity）计算的 -
sklearn.tree.DecisionTreeClassifier同样有该属性，但单棵树的结果波动大，不建议单独依赖 - 想用 permutation importance 这类更鲁棒的替代方案？得手动调用
sklearn.inspection.permutation_importance，它不依赖模型内部机制，但耗时明显增加
排序前先确认 feature_importances_ 是不是靠谱
直接 np.argsort(model.feature_importances_)[::-1] 排序很常见，但容易忽略两个现实问题：数值太小、分布太集中。
比如训练完一个随机森林，发现前 5 个特征重要性加起来占了 99%，剩下 45 个全在 0.001 以下——这往往不是特征真没用，而是模型过拟合、数据噪声大，或者某些特征被编码成高基数类别变量后炸出了大量稀疏列。
- 检查是否做了特征缩放？对树模型没必要，但如果你混用了
OneHotEncoder且没限制max_categories，可能生成几百个低频 dummy 变量，拉低整体重要性均值 - 看下
model.feature_importances_.min()和.std()：如果标准差远小于均值，说明区分度弱，排序意义有限 - 别跳过原始特征名对齐：
model.feature_names_in_（>=1.0）或手动传入feature_names列表，否则下标错位会导致你把“age_enc_17”当成“income”来解读
为什么 plot_importance 和 feature_importances_ 数值对不上？
这是 XGBoost/LightGBM 用户最常懵的点：lgb.plot_importance() 或 xgb.plot_importance() 默认显示的是「计数型重要性」（即某个特征出现在分裂节点的次数），而 model.feature_importances_ 在 sklearn 封装器里默认是「增益型」（gain，即不纯度下降总和）。
两者物理意义不同，数值自然不可比。sklearn 的 feature_importances_ 值域是 [0, 1] 且归一化到和为 1；原生 XGBoost 的 get_score(importance_type='weight') 返回的是整数计数，没归一化。
- 要统一比较，请在 LightGBM 中显式设
importance_type='gain'，XGBoost 中用importance_type='total_gain' - sklearn 的
RandomForest不提供计数模式，所以没法切——别试图用它对标原生库的 weight 模式 - 如果你从
joblib.load()加载了一个老模型，注意 sklearn 版本升级后feature_importances_计算逻辑微调过（如 v1.2+ 对缺失值处理更严格），跨版本对比需谨慎
排序后怎么用？别直接删特征
按 feature_importances_ 降序取 top-k 然后扔掉剩下特征，看似合理，实则危险。树模型的重要性和线性可加性无关，去掉一个“低重要性”特征，可能让另一个特征的分裂点被迫偏移，反而提升整体泛化误差。
真实场景中更稳妥的做法是分层验证：
- 先用
PermutationImportance在验证集上重跑一遍，看排序是否稳定 - 做前向/后向特征选择时，每次只增减 1–2 个特征，观察
cross_val_score波动是否超过 0.01 - 如果某特征重要性常年排倒数但业务强相关（比如“是否VIP”），宁可保留并加规则兜底，也别信模型一刀切
特征重要性本质是模型行为的副产品，不是因果证据。排序只是起点，不是决策终点。
