嵌套交叉验证不能只用cross_val_score，因其仅支持单层CV，无法模拟每折独立调参；必须外层用cross_val_score、内层用GridSearchCV作为estimator，且预处理须封装进Pipeline。
嵌套交叉验证为什么不能只用 cross_val_score
因为 cross_val_score 只支持单层交叉验证：它能评估「给定固定超参数的模型」在不同数据折上的稳定性，但无法模拟真实调参流程中「每折独立选参」带来的评估偏差。如果你先用 GridSearchCV 在全部训练集上调参，再用 cross_val_score 评估，就会导致信息泄露——验证集参与了超参数选择，最终得分虚高。
cross_val_score 与 GridSearchCV 嵌套调用的正确姿势
嵌套交叉验证必须外层用 cross_val_score（或手动循环），内层用 GridSearchCV（或 RandomizedSearchCV）作为 estimator。外层每次划分训练/验证集，内层仅在该次训练集上做完整调参并返回最优模型的验证分。
- 外层
cv=5：控制整体评估轮数，每轮生成一个独立训练集 - 内层
cv=3（传给GridSearchCV）：仅用于该轮训练集内部的超参数搜索，不接触外层验证集 - 内层必须设
refit=True（默认），否则GridSearchCV不返回可预测对象，外层无法打分 - 不要把
GridSearchCV当作黑盒塞进cross_val_score—— 它本身已含 cv 逻辑，嵌套时只需把它当 estimator 用
示例关键片段：
from sklearn.model_selection import cross_val_score, GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.pipeline import Pipeline
<p>pipe = Pipeline([('scaler', StandardScaler()), ('clf', RandomForestClassifier())])
param_grid = {'clf__n_estimators': [50, 100], 'clf__max_depth': [3, 5]}</p><h1>内层调参，外层评估</h1><p>inner_cv = 3
outer_cv = 5
grid = GridSearchCV(pipe, param_grid, cv=inner_cv, scoring='f1')
scores = cross_val_score(grid, X, y, cv=outer_cv, scoring='f1')Pipeline 必须参与嵌套，否则预处理会泄漏
如果标准化、编码等步骤放在 GridSearchCV 外面，它们会基于全部训练数据拟合，再传给内层 CV —— 这就破坏了嵌套意义。所有可学习的预处理器（如 StandardScaler、OneHotEncoder）必须封装进 Pipeline，并作为 GridSearchCV 的一部分。
立即学习“Python免费学习笔记（深入）”；
- 错误做法：
scaler.fit_transform(X_train)后再喂给GridSearchCV - 正确做法：把
scaler和模型一起放进Pipeline，再传给GridSearchCV - 参数名要带双下划线，例如
'pipeline__scaler__with_mean'，否则GridSearchCV找不到
嵌套 CV 的耗时和替代方案取舍
嵌套交叉验证实际运行次数是 outer_cv × inner_cv × 参数组合数 × 拟合次数，很容易爆炸。比如 outer=5、inner=3、12组参数，就要训练 180 个模型。生产中常被忽略的点：
- 用
RandomizedSearchCV替代GridSearchCV内层，控制搜索次数（如n_iter=20） - 外层用
StratifiedKFold而非默认KFold，尤其在类别不平衡时避免某折无正样本 - 不追求嵌套结果用于最终部署——它只回答“这个建模流程是否稳健”，真正上线模型应重新用全部训练数据 + 最优参数 + Pipeline 训练一次
最容易被跳过的一步：嵌套结束后，你手上只有 scores 数组，没有“那个最优模型”。想拿模型做预测？得单独再跑一遍 GridSearchCV(...).fit(X, y)。
