Scikit-learn 1.4中Pipeline无颠覆性更新，但ColumnTransformer稳定性提升、支持DataFrame输入且列名保留更稳；FeatureUnion已彻底移除，须改用ColumnTransformer或make_union；缓存需用joblib.Memory显式管理，自定义转换器修改后必须清缓存；set_params可安全动态设参，但需重新fit才生效。
Scikit-learn 1.4 中的 Pipeline 本身没有颠覆性新特性，但其配套机制（尤其是 ColumnTransformer、FeatureUnion 和缓存策略）在 1.4 版本中稳定性与兼容性显著提升，真正影响效率的是你如何组合使用它们——而不是等待某个“新函数”。
为什么不能直接用 StandardScaler().fit_transform(X_train) 再手动处理测试集
这是最常踩的泄露坑。手动调用 fit_transform 后再对 X_test 单独调用 transform，看似逻辑通顺，实则极易在交叉验证或网格搜索中出错：一旦你在 GridSearchCV 中漏掉某步预处理，或者训练/测试路径不一致，模型就在用测试集统计量“偷看”数据。
正确做法是把所有转换器塞进 Pipeline 或 ColumnTransformer，让 fit 和 transform 的边界由 Pipeline 自动控制：
-
ColumnTransformer在 1.4 中已完全支持 pandas DataFrame 输入，且列名保留更稳定（避免因列顺序变化导致特征错位） - 必须显式指定
remainder='drop'或remainder='passthrough'，否则默认行为在不同版本间可能不一致 - 若混用稀疏输出（如
OneHotEncoder）和密集输出（如StandardScaler），Pipeline 默认会转为密集矩阵——内存暴涨；此时应加n_jobs=1并检查中间结果类型
memory 参数不是开箱即用，而是需要配合 joblib.Memory 生命周期管理
很多人启用 memory 后发现缓存没生效，或跑几次就爆磁盘，问题出在缓存路径没清理、或转换器代码变更后没强制刷新。
立即学习“Python免费学习笔记（深入）”；
根据机器学习/深度学习论文的实验规划文档自动生成完整的 Python 实验 pipeline。支持数据预处理、模型构建、训练循环、评估指标、结果可视化。Use when user uploads an experiment plan document and wants to generate runnable...
1.4 版本下推荐写法：
- 用
joblib.Memory显式构造缓存对象，而非直接传字符串路径：memory = Memory(location='./cache', verbose=0) - 缓存只对实现了
fit+transform的步骤生效，LogisticRegression这类预测器不参与缓存 - 修改自定义转换器（比如重写了
transform方法）后，必须删掉./cache目录，否则旧缓存仍被复用 - 在 Docker 或 CI 环境中，确保
location是可写路径，且容量足够（建议限制bytes_limit）
用 set_params 动态注入参数比硬编码 param_grid 更安全
当 Pipeline 嵌套多层（比如 preprocessor__num__scaler__with_mean=True），手写 param_grid 容易拼错前缀，尤其在重构时漏改某处会导致 GridSearch 静默跳过该参数。
更可控的做法是先构建基础 Pipeline，再用 set_params 批量注入：
pipe = Pipeline([
('preprocessor', preprocessor),
('clf', LogisticRegression())
])
pipe.set_params(
preprocessor__num__scaler__with_mean=False,
clf__C=0.5,
clf__max_iter=1000
)
- 这种写法可与配置文件（如 YAML/JSON）解耦，适合自动化调参系统
-
set_params不触发fit，只是更新内部状态，适合做参数探查前的预设 - 注意：如果某步尚未
fit，set_params对其transform行为无影响；只有在后续fit时才会生效
真正卡住效率的往往不是 Pipeline 本身，而是你没意识到 ColumnTransformer 的列选择逻辑是否覆盖了全部输入列、缓存路径是否被多个进程争抢、或 set_params 注入后有没有重新 fit——这些细节在 1.4 中没变，但文档更清晰、报错更明确，值得你花五分钟重读官方 ColumnTransformer 的 remainder 和 verbose_feature_names_out 参数说明。
