RFE报错“estimator doesn’t have coef_ or feature_importances_”是因为其必须依赖基模型提供的coef_（线性模型）或feature_importances_（树模型）属性排序特征，而KNN、rbf-SVC等模型不支持该接口；解决方法是更换为LogisticRegression、RandomForestClassifier等兼容模型，或使用RFECV配合自定义评分函数。
RFE 不是黑箱，它依赖底层估计器的 coef_ 或 feature_importances_ 属性来排序特征；如果模型没这两个属性（比如 KNeighborsClassifier），直接用会报 AttributeError。
为什么 RFE 有时报错 “estimator doesn’t have coef_ or feature_importances_”？
这是最常卡住的地方。RFE 默认靠 estimator.coef_（线性模型）或 estimator.feature_importances_（树模型）判断特征重要性。但像 SVC（默认 kernel='rbf'）、KNeighborsClassifier、MLPClassifier 这类模型根本不提供这些属性。
- 解决办法：换一个支持排序的基模型，比如
LogisticRegression、RandomForestClassifier、LinearSVC（注意不是SVC） - 或者——用
RFECV+ 自定义评分函数，但代价是慢很多，且需手动实现 ranking 逻辑 - 别强行给模型加
coef_属性（比如estimator.coef_ = ...），RFE 内部会校验类型和 shape，大概率后续出错
如何正确设置 n_features_to_select 和 step？
这两个参数直接影响结果稳定性和计算开销，不是越大越好，也不是越小越准。
-
n_features_to_select是最终保留的特征数，必须大于 0 且小于原始特征总数；设为1时 RFE 会一直剔除直到只剩 1 个，但该特征未必是最优单特征（因为剔除顺序依赖中间模型） -
step控制每次删多少个特征：设为整数（如step=2）表示每轮删 2 个；设为浮点数（如step=0.1）表示按比例删（当前剩余特征的 10%）；设为1最精细但最慢 - 实践中，若特征数 step=1；若 > 100，建议
step=0.05–0.1，避免迭代次数爆炸
怎么验证 RFE 选出的特征是否真有用？
RFE 本身不保证性能提升，它只是基于模型内部排序做剔除。必须在外层套交叉验证来检验。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
立即学习“Python免费学习笔记（深入）”；
- 错误做法：在完整训练集上跑 RFE → 拿到特征子集 → 在同一数据上测准确率 → 结果一定虚高
- 正确做法：用
RFECV（带 CV 的 RFE），它自动对每个特征子集做 CV 评分，选平均分最高的子集 - 或者手动实现：在 Pipeline 中嵌入
RFE+ 基模型，再用cross_val_score评估整个 pipeline - 注意：
RFECV的cv参数建议显式指定（如cv=5），避免用默认的None（即留一法，大数据下根本跑不完）
用 RFECV 时为什么有时返回的特征数比预期少？
RFECV 不是“选 top-k”，而是找 CV 分数最高的那个特征子集大小。这个最优大小可能远小于你预设的 min_features_to_select（如果有的话）。
- 例如：原始 20 个特征，
min_features_to_select=5，但 CV 发现只用 3 个特征时分数最高，它就返回 3 - 如果你硬要至少保留 5 个，得配合
min_features_to_select参数（注意：该参数在 scikit-learn ≥ 1.3 才支持，旧版本无效） - 另一个干扰项：
scoring默认是模型自身的 score 方法（如LogisticRegression.score()返回 accuracy），但如果你用的是f1或roc_auc，务必显式传入，否则优化目标不一致
真正麻烦的不是调 RFE 的参数，而是搞清你手上的模型到底有没有 coef_ —— 看文档比试错快得多；另外，RFE 的排序结果高度依赖基模型，换一个模型，选出来的 top 特征可能完全不同。
