scikit-learn 1.4的内存效率提升主要来自稀疏矩阵轻量化处理、ColumnTransformer中间表示去冗余复制、避免距离计算中临时密集数组分配，以及assume_finite=True跳过NaN/inf验证等协同优化。
scikit-learn 1.4 的内存效率提升主要来自哪些改动
Scikit-learn 1.4 版本对内存效率的优化不是靠单一功能，而是多个底层机制协同作用的结果。最直接可感知的变化是：稀疏矩阵处理更轻量、元估计器（meta-estimator）中列变换器（ColumnTransformer）的中间表示不再冗余复制、部分距离计算逻辑避免了临时密集数组分配。
这些改动背后有明确的工程目标：减少不必要的数据拷贝、绕过冗余验证、压缩中间结构占用。比如 pairwise_distances_argmin 在稀疏输入下不再强制转成密集格式再计算，省下了数倍内存峰值。
使用 sparse matrix 时内存下降明显但要注意 dtype
如果你的数据本身稀疏（如 TF-IDF 文本向量、用户行为点击矩阵），升级到 1.4 后只需保持原有 scipy.sparse 格式，就能自动受益于多项内存优化。但一个容易被忽略的点是：dtype 必须为 float32 或 float64 —— 如果你用 int32 构建稀疏矩阵，某些内部路径仍会触发隐式类型提升和临时密集数组生成，反而抵消优化效果。
- 检查方式：
X.dtype，确保不是整型 - 转换建议：
X.astype(np.float32, copy=False)（加copy=False避免二次分配） - 特别注意：
OneHotEncoder(sparse=True)在 1.4 中已弃用，改用sparse_threshold=0控制输出密度
启用 assume_finite=True 能跳过哪些内存开销
默认情况下，scikit-learn 每次调用 fit 或 predict 都会对输入做完整遍历，检查是否含 np.nan 或 np.inf。这个验证过程本身就会触发一次全量内存读取 —— 对于百兆级稀疏矩阵，它可能额外申请等量临时缓冲区用于标记异常位置。
立即学习“Python免费学习笔记（深入）”；
如果你能保证训练/预测数据始终有限（例如预处理管道末尾已做过清洗），启用该配置可直接跳过该步骤：
from sklearn import set_config set_config(assume_finite=True) # 或在入口处设置环境变量：os.environ["SKLEARN_ASSUME_FINITE"] = "1"
注意：该配置是全局生效的，不区分 estimator。若 pipeline 中混用自定义或第三方组件，需确认它们也兼容此假设。
增量学习与分块训练在 1.4 中的内存表现差异
SGDClassifier.partial_fit 和 KMeans(accelerator="cuda") 看似都是“节省内存”的方案，但机制完全不同：
-
partial_fit是 CPU 上的流式更新，每次只加载一块数据，内存占用稳定在 O(特征数 × 类别数)，适合无法全量加载的场景 -
accelerator="cuda"则把整个数据集一次性搬入 GPU 显存，依赖 CUDA 驱动和 RAPIDS cuML，此时 CPU 内存压力小，但显存必须足够容纳原始数据 + 中间张量 - 二者不能混用：
KMeans不支持partial_fit，而SGDClassifier不接受accelerator参数
真正容易被忽略的是：当使用 ColumnTransformer + partial_fit 时，1.4 修复了元估计器内嵌时的 metadata 路由问题（#28240），否则你可能在分块过程中意外触发 full-fit 行为，导致内存陡增。
