RFE在新数据上效果变差的根本原因是其默认在整个训练集上递归筛选特征，导致交叉验证时发生数据泄露；正确做法是将RFE嵌入Pipeline中，确保每折CV独立重跑筛选。
为什么 RFE 选出来的特征在新数据上效果反而变差？
根本原因不是 RFE 本身有问题，而是它默认在**整个训练集上做递归排序和筛选**，再用筛选后的特征去交叉验证——这造成了严重的数据泄露。模型在“挑选特征”这一步已经偷偷看到了验证集的标签信息。
- 正确做法：把
RFE当作一个可拟合的预处理器，必须嵌入到sklearn.pipeline.Pipeline中，确保每次 CV 折都独立重跑特征筛选 - 别手动先调
fit()再传transform()，那样会固定住特征子集，失去 CV 的意义 - 如果用
cross_val_score，务必传入带RFE的完整 pipeline，而不是只传estimator
RFE 和 RFECV 到底该选哪个？
RFECV 不是 RFE 的升级版，而是解决不同问题的工具：前者需要你指定最终保留多少个特征（n_features_to_select），后者自动搜索最优数量，但代价是更慢、更依赖 CV 策略。
- 当你有明确业务约束（比如“最多只能上线 10 个特征”），用
RFE+ 固定n_features_to_select - 当特征维度不高（RFECV；注意它默认用
cv=5，小样本下容易过拟合选择 -
RFECV的评分依据是estimator.score()，不是自定义指标（如 F1）；若需优化特定指标，得自己写循环 +RFE
用 LogisticRegression 做 RFE 时权重为 0 怎么办？
RFE 依赖估计器的 coef_ 或 feature_importances_ 属性排序，但 LogisticRegression 在 L2 正则下很少出现严格为 0 的系数，而 L1（penalty='l1'）才可能——但 sklearn 1.0+ 后默认求解器不支持 L1 + liblinear 已弃用，容易报错 ValueError: Solver lbfgs supports only 'l2' or 'none' penalties。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 方案一：换用
Solver='saga'，它支持penalty='l1'，能产出稀疏coef_ - 方案二：不用 L1，改用
RandomForestClassifier或XGBClassifier，它们的feature_importances_更稳定，对共线性不敏感 - 别强行用
abs(coef_)排序 L2 模型——数值极小但非零的特征可能只是正则压出来的假象
特征量大时 RFE 卡住或内存爆掉怎么办？
RFE 默认每轮删一个特征，1000 维就要训 999 次模型，时间复杂度接近 O(n²)。这不是 bug，是设计使然。
立即学习“Python免费学习笔记（深入）”；
- 设
step=10或更大值（比如int(0.1 * X.shape[1])），跳着删，实测对最终结果影响很小 - 先用方差阈值（
VarianceThreshold）或单变量检验（SelectKBest）粗筛一轮，再喂给RFE - 避免在原始高维稀疏矩阵（如 one-hot 后的 10w+ 列）上直接跑
RFE；先聚合、降维或用树模型替代
真正麻烦的是特征之间存在强交互时，RFE 这种单变量重要性驱动的方式会失效——它看不出“A 和 B 一起才有用，单独都没用”这种组合效应。这时候得换方法，比如基于排列重要性 + 特征组合搜索，或者干脆放弃过滤式，转向嵌入式（如 LassoCV）或包装式（如 SequentialFeatureSelector）。
