应显式配置TfidfVectorizer：设stop_words过滤停用词、min_df≥2和max_df≤0.95控制词频、sublinear_tf=True缓解高频词主导；降维必用TruncatedSVD而非PCA以支持稀疏矩阵；中文需先分词再向量化；全程保持sparse类型防OOM。
用 TfidfVectorizer 生成稀疏 TF-IDF 矩阵，别直接调 fit_transform 就完事
直接对原始文本列表调 TfidfVectorizer().fit_transform(texts) 能出矩阵，但实际中容易踩三个坑：一是没过滤停用词导致噪声多，二是默认 max_features=10000 可能截断关键词，三是没设 min_df/max_df 让低频/高频词干扰向量空间。建议显式配置：
-
stop_words='english'或传自定义停用词列表（中文需先分词再传） -
min_df=2排除只在 1 个文档出现的词（防过拟合） -
max_df=0.95过滤出现在 95% 以上文档的通用词（如“的”“and”） -
sublinear_tf=True对 TF 加 log 缓解高频词主导问题
输出是 scipy.sparse.csr_matrix，不是 dense array——这点很重要，否则后续降维内存爆炸。
用 TruncatedSVD 对稀疏矩阵做线性降维，别用 PCA
PCA 要求输入是 dense 数组，强行 .toarray() 会把一个 10 万 × 5 万的稀疏矩阵撑到几十 GB 内存。必须用 sklearn.decomposition.TruncatedSVD，它原生支持 sparse 输入，且底层用随机 SVD，比完整 SVD 快得多。
- 设
n_components=1000是常见起点，高于 5000 时收敛变慢 -
random_state=42保证可复现（尤其做实验对比时） - 降维后仍是
csr_matrix，可直接喂给LogisticRegression或KMeans
注意：TruncatedSVD 不中心化数据（TF-IDF 本身已无负值），所以和 PCA 的几何意义不同，但对下游分类/聚类任务效果通常更好。
立即学习“Python免费学习笔记（深入）”；
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
降维后保留语义可解释性？别指望，但可以查原始词贡献
降维后的每个 component 是原始词的加权组合，没法像原始 TF-IDF 那样直接看“第 5 行对应‘机器学习’”，但你可以反查：
svd = TruncatedSVD(n_components=100, random_state=42) X_reduced = svd.fit_transform(X_tfidf) # 查第 0 个 component 权重最高的 10 个词 feature_names = vectorizer.get_feature_names_out() component_0 = svd.components_[0] top_indices = component_0.argsort()[-10:][::-1] print([feature_names[i] for i in top_indices])
这能帮你判断降维是否“糊掉”了关键区分词——比如所有 top 词都是停用词或标点，说明 min_df 设太松或预处理有漏。
中文文本要先分词，TfidfVectorizer 不会自动切词
直接把中文句子丢给 TfidfVectorizer，它默认按空格切，结果就是单字 or 乱码 token。必须先用 jieba 或 pkuseg 分词，再把结果拼成空格分隔字符串：
import jieba
def chinese_tokenizer(text):
return ' '.join(jieba.cut(text))
# 然后传给 vectorizer
vectorizer = TfidfVectorizer(tokenizer=chinese_tokenizer, ... )
更稳妥的做法是先批量分词并缓存结果，避免每次 fit_transform 都重切——尤其数据量大时，切词耗时远超向量化本身。
真正卡住人的往往不是算法原理，而是稀疏矩阵生命周期管理：从 TfidfVectorizer 输出开始，全程保持 sparse 类型，不调 .toarray()、不转 np.array、不在中间步骤用 pandas DataFrame 存特征矩阵——这些操作看似无害，实则会在千级文档规模下突然 OOM。
