TfidfVectorizer需调参防翻车：过滤低频/高频词、正则清理脏数据、短文本慎用ngram；中文须接jieba分词；TF-IDF适合语义任务，CountVectorizer更适树模型；L2归一化影响KMeans等距离计算。
直接用 TfidfVectorizer 就行，但默认参数在真实文本上往往效果差、内存涨得快、甚至报错——关键不在“能不能跑”，而在“怎么调才不翻车”。
为什么 TfidfVectorizer 一跑就爆内存或变稀疏矩阵全是零？
常见原因是没过滤低频/高频词，导致词汇表爆炸；或者输入文本里混着大量空格、换行、HTML标签等脏数据，被当成独立 token。
- 检查原始文本：用
print(repr(text[:100]))看是否有隐藏字符或异常分隔符 - 加
min_df=2（至少出现2次才保留）和max_df=0.95（忽略在95%文档中都出现的词），能砍掉70%以上无意义特征 - 强制小写 + 去标点不够，建议先用正则清理：
re.sub(r'[^a-zA-Z\s]', '', text).lower()，再喂给向量化器 - 如果文档极短（如每条就1–3个词），
ngram_range=(1, 2)可能反而引入大量噪声，先从(1, 1)开始
TfidfVectorizer 和 CountVectorizer 该选哪个？
不是“谁更高级”，而是“你要解决什么问题”。TF-IDF 不是万能加权，它假设词频高+文档覆盖率低 = 重要；但如果你的任务是关键词匹配、日志分类或训练树模型，原始词频（CountVectorizer）有时更稳。
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 用
TfidfVectorizer的典型场景：语义相似度、文本聚类、SVM/LR 等线性模型 - 用
CountVectorizer更合适：XGBoost/LightGBM（它们自己处理特征重要性）、需要解释单个词贡献（TF-IDF 权重会掩盖原始频次） - 注意：
TfidfVectorizer默认用 L2 归一化（norm='l2'），这对余弦相似度友好，但若后续接 KMeans，可考虑关掉：norm=None，避免归一化干扰簇内距离
停用词、自定义分词、中文支持怎么搞？
TfidfVectorizer 原生只按空格切英文，对中文完全无效；停用词列表若格式不对，会被静默忽略。
立即学习“Python免费学习笔记（深入）”；
- 中文必须配分词工具：先用
jieba.lcut(text)分好词，再传入TfidfVectorizer(tokenizer=jieba.lcut, token_pattern=None) - 停用词要传 list 或 set，不能是文件路径；推荐用
sklearn.feature_extraction.text.ENGLISH_STOP_WORDS作基础，再叠加业务词：stop_words=list(ENGLISH_STOP_WORDS) + ['app', 'download'] - 别信网上“一行代码支持中文”的示例——那些没处理标点、没做词性过滤、没控制词长，实际召回率低得离谱
- 如果用
analyzer='char'做字级向量（适合短文本或 OCR 后纠错），记得调大max_features，否则截断太狠
真正麻烦的从来不是调通 fit_transform()，而是向量空间的维度和分布是否匹配下游任务。比如做相似检索时，max_features=10000 看似够用，但如果 top100 词占了全部文档 80% 的 TF-IDF 能量，剩下 9900 个特征基本就是噪声。这时候宁可手动筛词，也不依赖自动截断。
