SelectKBest按统计得分降序选特征，不保留原始列顺序；需用get_support()映射回原始列名，且须注意评分函数适配任务类型、避免数据泄漏及合理调参K值。
为什么SelectKBest选出来的特征顺序和原始数据列不一致
SelectKBest 不保留原始列顺序，它按统计得分（如 f_classif 或 chi2）从高到低排序后取前 K 个——这意味着返回的特征是“得分最高的 K 个”，不是“原始位置靠前的 K 个”。如果你依赖列名做后续解释或部署，必须显式映射回原始列名。
实操建议：
- 调用
fit()后，用selector.get_support()获取布尔掩码，再用它索引原始columns列表 - 别直接用
transform()输出的 ndarray 去猜哪一列对应哪个变量；先保存X.columns[selector.get_support()] - 若原始数据含非数值列（如字符串），
SelectKBest会直接报错ValueError: Input X must be numeric，需提前用OneHotEncoder或LabelEncoder处理
SelectKBest支持哪些评分函数？怎么选
评分函数决定“什么算重要特征”，不同函数适用场景差异很大，不能混用。
常见组合：
立即学习“Python免费学习笔记（深入）”；
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 分类任务：优先用
f_classif（ANOVA F 值，快且对线性可分有效），或chi2（要求非负输入，适合计数型特征如 TF-IDF） - 回归任务：只能用
f_regression（F 值检验）或mutual_info_regression（能捕捉非线性关系，但需更多样本） - 绝对不能把
chi2用在含负值的数据上，否则报错ValueError: Input X must be non-negative -
mutual_info_classif默认使用 KNN 估计，小样本下不稳定，建议设n_neighbors=3并固定random_state
如何避免SelectKBest在Pipeline中泄漏验证集信息
SelectKBest 是有状态的转换器：它在 fit() 阶段计算各特征得分并记住 top-K 索引。如果在交叉验证前就对全量数据调用 fit_transform()，会导致验证集信息泄露，模型评估结果虚高。
正确做法：
- 必须把
SelectKBest和模型一起放进sklearn.pipeline.Pipeline，让每次 CV 折都独立拟合特征选择器 - 不要手动对训练集单独
fit_transform()再传给模型——这等同于用测试数据参与了特征筛选 - 检查是否泄漏的快速方法：打印
selector.get_support()在不同 CV 折中的结果，若完全一致，大概率已泄漏
当K设得太大或太小，模型性能反而下降怎么办
K 不是越大越好，也不是越小越省事。过大的 K 引入噪声特征，过小则丢掉有用信号，尤其当特征间存在冗余或弱相关时。
调参建议：
- 用
GridSearchCV对__main__中的SelectKBest参数（如k=[5, 10, 20, 'all']）做搜索，注意'all'表示不降维 - 观察 CV 得分曲线：如果
k=10和k=50得分接近，说明中间 40 个特征贡献极小，可安全裁剪 - 若使用树模型（如
RandomForestClassifier），SelectKBest可能不如内置的feature_importances_合适——它基于单变量统计，无法识别组合效应
特征选择不是黑盒开关，它依赖你对数据分布、任务类型和下游模型的理解。哪怕 SelectKBest 调用只有一行，背后每个参数都在悄悄改写模型的行为边界。
