TfidfVectorizer更适合大多数文本分类任务，因其通过TF-IDF加权自动抑制高频无意义词、增强判别性词汇权重，通常比CountVectorizer提升1–5个百分点准确率，尤其在短文本或类别边界模糊时效果更显著。
为什么TfidfVectorizer比CountVectorizer更适合大多数文本分类任务
因为TF-IDF自动抑制高频无意义词（如“的”“是”），同时放大区分性强的词权重，而CountVectorizer只计数，容易让模型被停用词主导。实际跑模型时，用TfidfVectorizer通常比CountVectorizer提升1–5个百分点的准确率，尤其在短文本或类别边界模糊时更明显。
但要注意：TF-IDF不是万能的。如果任务本身依赖绝对频次（比如检测某关键词是否出现过），或者你后续要接LDA等概率模型，CountVectorizer输出的整数矩阵反而更合适。
-
TfidfVectorizer默认对每个文档做L2归一化，输出是浮点数；CountVectorizer输出是稀疏整数矩阵，内存占用更低 - 两者都支持
stop_words、ngram_range、max_features等参数，但TfidfVectorizer多出sublinear_tf（对tf取log）、norm（可设为None禁用归一化）等调控项 - 中文需先分词再喂给向量化器——Scikit-learn不内置中文分词，别直接把未切分的句子传进去，否则一个汉字就是一个“词”
如何避免TfidfVectorizer在训练/预测阶段不一致
最常见错误：用fit_transform()处理训练集，却用transform()处理测试集——这没问题；但若对测试集又调了一次fit_transform()，就会重建词汇表，导致维度不匹配或报错ValueError: Vocabulary wasn't fitted。
另一个坑是忽略vocabulary参数。当需要跨项目复用同一套词表（比如线上服务固定特征维度），必须显式保存并加载vectorizer.vocabulary_，而不是重新fit。
立即学习“Python免费学习笔记（深入）”；
- 训练阶段：
X_train_vec = vectorizer.fit_transform(X_train) - 预测阶段：
X_test_vec = vectorizer.transform(X_test)（绝不能用fit_transform） - 保存词表：
import joblib; joblib.dump(vectorizer, 'tfidf.pkl')，加载后直接transform即可 - 若训练集和测试集文本分布差异大（如测试集出现大量新词），可设
min_df=2或max_df=0.95缓解
CountVectorizer的binary=True什么时候有用
当任务只关心“是否出现”，不关心“出现几次”时，比如情感分析中“讨厌”出现一次和五次，情绪强度未必线性增长；又比如拼写纠错、关键词命中检测等布尔型判断场景。
binary=True会把所有非零频次压成1，输出仍是稀疏矩阵，但值域缩为{0, 1}。它能轻微降低维度（尤其对长文档），并减少异常高频词的干扰，但也会丢失部分信息。
- 开启后，
CountVectorizer输出和TfidfVectorizer（未归一化）的维度一致，但数值含义不同：前者是存在性，后者是加权频率 - 与
TfidfVectorizer组合使用时，不要设binary=True，因为TF-IDF公式里tf本身就是频次，二值化会破坏权重逻辑 - 实测在小样本数据上，
binary=True有时比原始计数泛化更好，建议交叉验证对比
中文文本向量化必须绕过的三个硬伤
Scikit-learn原生不支持中文分词，直接传入中文句子会导致每个字被当作独立token，“我喜欢Python”变成['我', '喜', '欢', 'P', 'y', 't', 'h', 'o', 'n']，完全不可用。
必须在外层先完成分词，再把结果以空格拼接成字符串，才能喂给CountVectorizer或TfidfVectorizer。常用方案有jieba、pkuseg或hanlp，选哪个取决于速度、精度和是否需要词性标注。
- 别用
analyzer='char'应付中文——它只是按字切，没语义，效果远不如合理分词 - 分词后记得去停用词，但中文停用词表不能直接用英文的，推荐哈工大或百度开源的中文停用词库
- 如果用
jieba.lcut()，注意返回的是列表，需用' '.join()转成单个字符串，否则CountVectorizer会报expected string错误
真正麻烦的不是怎么切词，而是分词一致性：训练时用jieba，上线时换pkuseg，特征就错位了。词表、分词器、停用词三者必须版本锁定，缺一不可。
