RFE本身不提升精度，只筛选特征子集；精度下降常见于基模型与最终模型不一致、弱有用信号被误删或未用RFECV交叉验证。
为什么RFE有时让模型精度反而下降？
RFE本身不提升精度，它只做特征子集筛选；精度变化取决于后续模型对冗余/噪声特征的敏感度。常见错误是直接拿RFE选完的特征去跑默认参数的模型，结果发现score没涨甚至下跌——这通常是因为被剔除的特征里混着弱但有用的信号，或RFE用的基模型（如LogisticRegression）和最终模型（如XGBoost）对特征重要性的判断逻辑不一致。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 务必用和最终训练模型同类型的估计器作为
estimator传给RFE，比如最终用RandomForestClassifier，RFE里就该用它，而不是默认的LogisticRegression - 别只看单次RFE结果，用
cv=3开启交叉验证评分（需配合RFECV），避免过拟合某个训练集划分 - RFE输出的
ranking_数组里，1表示被选中，2+表示按剔除顺序排列——注意不是“越大越好”，而是越小越关键
如何用RFECV自动确定最优特征数？
RFECV比手动调n_features_to_select更可靠，它在内部做交叉验证并选择使CV分数最高的特征数量。但容易忽略两点：一是默认评分函数可能不匹配你的任务目标（比如分类默认用accuracy，但数据不平衡时应换f1），二是CV折数太少会导致选择不稳定。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 显式指定
scoring参数，例如二分类不平衡场景用scoring='f1'，回归任务用scoring='neg_mean_squared_error' -
cv至少设为5，小样本可改用StratifiedKFold(n_splits=5)保分布 - 检查
rfecv.n_features_返回值，如果它等于原始特征数，说明没一个特征被判定为冗余——这时RFE没起作用，得回头检查基模型是否欠拟合或数据本身线性不可分
RFE在Pipeline里怎么避免数据泄露？
把RFE直接套在原始X上再喂给模型，是典型的数据泄露：RFE用了全部标签信息来排序特征，后续CV评估时验证集特征已被“看到”。正确做法是把RFE当作Pipeline一环，确保每次CV折内独立拟合。
实操建议：
立即学习“Python免费学习笔记（深入）”；
- 必须用
sklearn.pipeline.Pipeline封装，例如：Pipeline([('rfe', RFECV(estimator)), ('model', RandomForestClassifier())]) - 不能先调
rfe.fit(X, y)再用rfe.transform(X)去训练模型——这会让所有CV折共享同一套筛选逻辑 - 如果要用自定义特征重要性（比如XGBoost的
feature_importances_），得重写estimator类并实现fit/predict接口，否则RFE不认识
什么时候该放弃RFE改用其他方法？
RFE计算成本高（每轮都要重训基模型），且对非线性关系、高维稀疏特征（如文本TF-IDF）、或存在强交互的特征组合效果有限。当出现以下情况，优先考虑替代方案：
- 特征数 > 1000 且基模型训练慢 → 改用基于统计的方法，如
SelectKBest配f_classif或mutual_info_classif - 树模型重要性不稳定（如
feature_importances_随随机种子波动大）→ 改用PermutationImportance或SHAP值做排序 - 需要保留原始特征语义（如PCA后特征不可解释）→ RFE没问题，但若想同时降维+去噪，
TruncatedSVD或Autoencoder更合适
RFE真正的价值不在“一定提精度”，而在强制你审视每个特征对当前模型的实际贡献——这点常被忽略，却恰恰是调试过拟合的第一步。
