特征工程的关键步骤和特征选择方法包括：缺失值处理、类别编码、标准化/归一化、多项式特征生成；特征选择方法有方差选择法、相关系数法、基于模型的特征选择、递归特征消除。在python中，缺失值处理可用simpleimputer或pandas.fillna()，类别编码使用onehotencoder或labelencoder，标准化/归一化借助standardscaler和minmaxscaler，多项式特征通过polynomialfeatures生成。特征选择方面，方差选择法（variancethreshold）用于去除低方差特征，相关系数法（selectkbest结合f_classif/mutual_info_classif）评估特征与目标的相关性，基于模型的特征选择（selectfrommodel）利用lasso或随机森林等模型评估特征重要性，递归特征消除（rfe）则逐步剔除不重要的特征。实际应用中应先进行数据基础处理再选特征，结合业务理解，多尝试不同方法并借助可视化分析提升效果。
特征工程是机器学习流程中非常关键的一环，它直接影响模型的性能。Python 有多个库可以用来实现特征工程和特征选择，比如 scikit-learn、pandas、numpy 等。下面从实际操作的角度出发，介绍几种常见的做法。
特征工程的基本步骤
特征工程主要包括数据清洗、特征构造、特征转换等几个方面。在 Python 中，常用的做法如下：
-
缺失值处理：可以用
SimpleImputer或者直接用pandas.fillna()填充或删除。 -
类别编码：使用
OneHotEncoder或LabelEncoder来处理分类变量。 -
标准化/归一化：
StandardScaler和MinMaxScaler是常用的工具。 -
多项式特征生成：通过
PolynomialFeatures可以自动生成交互项和高次项。
举个例子，如果你有一个包含年龄、性别、收入的数据集，你可以将“性别”进行独热编码，对“年龄”和“收入”做标准化处理，然后再组合出“年龄与收入的乘积”作为新特征。
立即学习“Python免费学习笔记（深入）”；
特征选择的方法有哪些？
特征选择是为了去除冗余信息、减少过拟合，并提升模型训练效率。以下是几种常见方法：
1. 方差选择法（VarianceThreshold）
适用于去除那些几乎不变的特征，因为它们提供的信息量太少。
from sklearn.feature_selection import VarianceThreshold selector = VarianceThreshold(threshold=0.01) X_high_variance = selector.fit_transform(X)
2. 相关系数法（SelectKBest + f_classif / mutual_info_classif）
适合用于评估每个特征与目标变量之间的相关性，常用于初步筛选。
from sklearn.feature_selection import SelectKBest, f_classif selector = SelectKBest(score_func=f_classif, k=5) X_new = selector.fit_transform(X, y)
3. 基于模型的特征选择（SelectFromModel）
使用像 Lasso、树模型（如随机森林）来评估特征重要性，然后选择重要的特征。
from sklearn.ensemble import RandomForestClassifier from sklearn.feature_selection import SelectFromModel sel = SelectFromModel(RandomForestClassifier(n_estimators=100)) sel.fit(X, y) X_selected = sel.transform(X)
4. 递归特征消除（RFE）
逐步剔除最不重要的特征，直到达到指定数量为止。
from sklearn.feature_selection import RFE model = RandomForestClassifier() rfe = RFE(estimator=model, n_features_to_select=5) X_rfe = rfe.fit_transform(X, y)
实际应用中的几点建议
- 先做基础处理再选特征：确保数据质量后再进行特征选择，否则可能选出的是噪声。
- 结合业务理解：有些看似不相关的特征，可能在业务逻辑中有意义。
- 多尝试不同方法：没有一种特征选择方法适用于所有场景，最好结合交叉验证比较效果。
- 可视化辅助分析：比如画出特征重要性图、相关系数热力图，有助于发现关键特征。
例如，在电商用户流失预测中，原始数据可能包含“最近一次购买时间”，我们可以从中提取“距离当前天数”这个新特征，往往比原始字段更有预测价值。
基本上就这些了。Python 提供了很完善的工具支持，关键是根据具体问题灵活运用。
