TfidfVectorizer.fit_transform()易OOM因需全量加载文本建词表、展开n-gram、统计词频，中间结构耗尽内存；推荐用HashingVectorizer+TfidfTransformer分块处理，或CountVectorizer.partial_fit增量建词典，中文须预分词并严格控停用词与阈值。
为什么直接用 TfidfVectorizer.fit_transform() 会 OOM
它必须一次性把全部文本加载进内存，构建完整词汇表、展开 n-gram、统计词频——这些中间结构（尤其是未剪枝的 token 映射）极易吃光 RAM。常见现象是进程被系统 kill，top 显示 Python RSS 突增至 15GB+，而最终输出的稀疏矩阵其实只占几百 MB。
HashingVectorizer + TfidfTransformer 是最稳的大规模路径
哈希向量化完全跳过词汇表构建，用固定维度（如 n_features=2**18）的稀疏矩阵承接所有文本，后续再做 IDF 缩放。关键点：
-
HashingVectorizer输出的是原始词频（非 TF-IDF），必须接TfidfTransformer才算完整流程 - 必须设
alternate_sign=False，否则TfidfTransformer无法正确处理负值哈希 - 推荐搭配
norm='l2'和smooth_idf=True，避免零除或极端权重
from sklearn.feature_extraction.text import HashingVectorizer, TfidfTransformer <p>hv = HashingVectorizer(n_features=2**18, alternate_sign=False) tfidf_trans = TfidfTransformer(norm='l2', smooth_idf=True)</p><h1>分块读取，逐块 transform → 拼接稀疏矩阵</h1><p>X_chunks = [] for chunk in text_iterator(): # 你自己实现的流式读取器 X_chunk = hv.transform(chunk) X_chunks.append(X_chunk)</p><p>X_full = sparse.vstack(X_chunks) # scipy.sparse.vstack X_tfidf = tfidf_trans.fit_transform(X_full)
用 CountVectorizer.partial_fit() 做增量词典构建
TfidfVectorizer 本身不支持 partial_fit，但你可以拆开底层组件模拟：先用 CountVectorizer 增量累积词频，再统一算 IDF。注意三个硬性条件：
- 首次调用
partial_fit必须传空列表[]初始化词典 - 所有批次必须用同一
CountVectorizer实例，且max_features、min_df、max_df等参数全程锁定 - 最后一步
transform(all_texts)仍是全量加载，所以仅适用于“词典可装下，但 TF-IDF 矩阵太大”的场景
典型失败点：漏掉首次 partial_fit([])，或在不同批次间改了 stop_words，导致 vocabulary_ 错位。
python-script-generator
下载
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
立即学习“Python免费学习笔记（深入）”；
中文大规模处理必须预分词 + 控制停用词粒度
别指望 TfidfVectorizer 自动处理中文。直接喂原始中文字符串，它只会按空格切分——结果就是每个文档变成一个超长 token，特征全废。真实路径是：
- 用
jieba.lcut(doc, HMM=False)预分词（关 HMM 加速 3–5 倍） - 停用词不能只填
['的', '了']这种手工 list；要加载哈工大或百度停用词表，并过滤掉所有标点、数字、单字虚词 -
min_df=5和max_df=0.95必设，否则百万文档下词汇量轻松破 50 万，IDF 计算变慢且噪声爆炸
真正卡住性能的往往不是算法，而是分词后没清理干净的空白符、乱码 token 或未归一化的繁简体——这些会在 fit 阶段悄悄膨胀 vocabulary_。
