中文分词是TfidfVectorizer前必须手动完成的步骤，因默认切分对中文无效，需用jieba等工具分词后拼接空格字符串，或通过analyzer参数注入自定义分词函数并设token_pattern=None。
中文分词是TfidfVectorizer前必须手动完成的步骤
TfidfVectorizer 默认使用空格和标点切分，对中文完全无效——它会把整句“我喜欢编程”当成一个 token，导致向量维度极低、无法捕捉语义。必须先用 jieba 或 pkuseg 等工具做分词，再把分词结果以空格拼接成字符串传入。
常见错误是直接把原始中文列表传给 TfidfVectorizer，结果得到全零矩阵或 max_df 被误触发（因为每个文档只含 1–2 个“词”）。
- 推荐用
jieba.lcut()做精确分词，避免jieba.cut()返回生成器导致后续拼接出错 - 分词后用
" ".join(tokens)拼接，确保TfidfVectorizer能按空格识别词元 - 停用词需自行加载中文停用词表（如哈工大停用词表），
TfidfVectorizer的stop_words参数不支持中文内置停用词
正确设置token_pattern和analyzer参数才能绕过分词预处理
如果不想在外部调用 jieba，可以改用 analyzer 参数注入自定义分词函数。此时 token_pattern 必须设为 None，否则会和 analyzer 冲突——默认正则 r"(?u)\b\w\w+\b" 在中文里根本匹配不到任何东西。
示例写法：
立即学习“Python免费学习笔记（深入）”；
from sklearn.feature_extraction.text import TfidfVectorizer import jieba <p>def chinese_tokenizer(text): return list(jieba.lcut(text))</p><p>vectorizer = TfidfVectorizer( analyzer=chinese_tokenizer, token_pattern=None, # 关键！否则 tokenizer 不生效 max_features=5000, ngram_range=(1, 2) )
-
analyzer接收字符串，返回词列表；不能返回生成器或带空格的字符串 - 若同时设了
token_pattern和analyzer，analyzer会被忽略 -
ngram_range对中文有效，但二元组是“词+词”，不是“字+字”，所以需确保分词粒度合理
fit_transform后稀疏矩阵的shape和vocabulary_要交叉验证
中文文本经向量化后，vocabulary_ 字典键是分词后的词（如 "机器"、"学习"），值是列索引。如果发现 shape 中列数远小于预期（比如设了 max_features=1000 但实际只有 87），大概率是：min_df 太高、停用词没过滤干净、或分词结果大量重复（如每句都含“的”“了”但未加入停用词表）。
- 检查
vectorizer.vocabulary_.keys()前 10 项，确认是否出现单字（说明分词失败）或长串无意义词（如 URL、乱码） -
max_df=0.95对中文容易误删高频实词（如“用户”“系统”），建议从max_df=0.99开始调 - 调用
vectorizer.get_feature_names_out()查看实际保留的词，比直接 printvocabulary_更直观
transform新文本时必须复用同一个vectorizer实例
训练集用 fit_transform 得到矩阵后，对测试集或新文本必须用同一个 vectorizer 实例调用 transform，不能重新 fit——否则词表不一致，向量维度对不上，transform 会报错 ValueError: Vocabulary wasn't fitted. 或静默丢弃未登录词。
- 保存模型时用
joblib.dump(vectorizer, "vec.pkl")，加载后直接transform - 新文本仍需经过相同分词流程（同一种
jieba设置、同一批停用词），否则分词结果与训练时不一致 - 如果新文本含训练时未出现的词，默认被忽略；想保留可设
lowercase=False避免大小写归一化干扰（虽然中文少用，但混合英文时有用）
分词逻辑和向量化配置必须严格对齐，差一个空格、一个停用词、一次未复用实例，都会让后续模型输入失效。实际项目里，建议把分词 + vectorizer 封装成一个类，避免每次手动拼接和参数错配。
