MemoryError 主因是scikit-learn默认隐式稠密化，需用scipy.sparse.csr_matrix显式构造稀疏矩阵、禁用toarray等操作，并验证X.__class__为csr_matrix且X.nnz/X.size极小。
MemoryError 出现在 scikit-learn 单机训练时，基本不是数据“太大”，而是默认行为把不该驻留内存的东西全塞进 RAM 了——比如 PCA 强制稠密化、CountVectorizer 构建百万级词汇表、LogisticRegression 缓存 Hessian 矩阵。解决关键不是换机器，是掐断三类内存泄漏点：数据加载阶段的隐式稠密化、模型拟合阶段的中间结构膨胀、特征工程阶段的无约束增长。
用 scipy.sparse 替代 numpy.ndarray 防止隐式转稠密
文本、日志、One-Hot 后的特征通常稀疏度 >99%，但 numpy.array 会为每个 0 分配 8 字节（float64），而 scipy.sparse.csr_matrix 只存非零值和列索引。
- 常见错误现象：
load_digits().data后就卡住，或fit()前报MemoryError—— 实际是sklearn内部调用check_array时偷偷转成了稠密数组 - 必须显式构造稀疏矩阵：
X = scipy.sparse.csr_matrix(X_dense)，别依赖自动转换 - 禁用所有可能触发稠密化的操作：
.toarray()、pandas.get_dummies()（改用OneHotEncoder(sparse_threshold=1.0)）、fit_intercept=True（LogisticRegression中它会在中心化时强制稠密） - 验证是否生效：打印
X.__class__应为scipy.sparse.csr_matrix，且X.nnz / X.size
对高维特征用 TruncatedSVD 或 IncrementalPCA 替代 PCA
PCA 对稀疏输入会 fallback 到全 SVD，构造 n_features × n_features 协方差矩阵；而 TruncatedSVD 原生支持稀疏输入，只算前 k 个奇异向量，内存开销稳定在 O(n_samples × k)。
- 先确认输入类型：
isinstance(X, scipy.sparse.spmatrix)，否则TruncatedSVD也救不了你 -
n_components必须小于min(X.shape) - 1，否则内部 fallback 到全 SVD - 别设
algorithm='arpack'（对稀疏矩阵更耗内存），保持默认'randomized' - 超大稠密数组（如 50GB float64）不用
TruncatedSVD，改用IncrementalPCA：按块调用partial_fit()，每块只保留均值和协方差增量，内存稳定在 O(n_features²)
用 partial_fit() 分批训练，但只对真正支持的模型有效
partial_fit() 不是通用接口，强行对 RandomForestClassifier 或 SVC 调用会直接抛 AttributeError。真正可用的模型只有几个，且首次调用必须传 classes 参数。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
立即学习“Python免费学习笔记（深入）”；
- 支持的模型：
SGDClassifier、SGDRegressor、MultinomialNB、IncrementalPCA、MiniBatchKMeans - 首次
partial_fit(X_batch, y_batch)必须带classes=np.unique(y)（分类任务），否则后续预测报错 - 数据不能一次性读入内存：用
pandas.read_csv(chunksize=)或numpy.memmap(mode='r')按需切片，别用pd.read_csv()全量加载 - 每次喂给
partial_fit()的X_batch必须 dtype 和 shape[1] 一致，否则协方差更新出错
文本场景下用 HashingVectorizer 替代 CountVectorizer
CountVectorizer 构建全局词汇表时，内存随文档数和 n-gram 组合数非线性爆炸；14000 文档就可能让词汇表占 750MB。HashingVectorizer 不存词汇表，哈希后直接映射，内存恒定。
- 无法逆向查词（没
vocabulary_属性），所以必须接受“哈希冲突”带来的轻微精度损失 - 设
n_features=2**18（约 26 万）足够覆盖多数中文文本场景，再大不提升效果反增哈希冲突 - 若必须用
TfidfVectorizer，先离线抽样构建固定vocab，再用CountVectorizer(vocabulary=vocab)分批转换，避免在线构建 - 配合
dtype=np.float32（不是默认float64），直接减半内存
实际中最容易被忽略的是：memmap 文件本身不解决兼容性问题，sklearn 多数 estimator 仍会把它转成普通数组；真正起效的是 partial_fit() 模型 + memmap 切片 + 显式 classes 三者缺一不可。漏掉任意一环，内存峰值都不会降。
