因为默认按空格和标点切分，而中文无空格分隔，导致未分词时每个字被当独立token，语义丢失且维度爆炸；必须先用jieba等工具预分词再拼空格字符串输入。
为什么 CountVectorizer 和 TfidfVectorizer 默认不支持中文？
因为它们默认按空格和标点切分，而中文词与词之间没有空格分隔。直接传入中文句子会把整句当一个“词”，或按字切分，导致特征维度爆炸且语义丢失。
根本原因不是编码问题（UTF-8 通常已正确），而是分词环节缺失。
- 不显式分词 → 每个字符被当作独立 token（如“机器学习”变成 ['机', '器', '学', '习']）
- 用
analyzer='char'是错的方向，不是解决办法 - 必须在向量化前完成「中文分词」，再把结果喂给向量化器
用 jieba 做预分词后传入 TfidfVectorizer
最轻量、最常用的做法：先用 jieba.lcut() 对每条文本切词，拼成空格分隔的字符串，再交给 TfidfVectorizer 处理。
示例关键代码：
立即学习“Python免费学习笔记（深入）”；
import jieba from sklearn.feature_extraction.text import TfidfVectorizer <p>def chinese_tokenizer(text): return jieba.lcut(text)</p><h1>注意：这里不设 tokenizer，而是预处理好再 fit</h1><p>corpus = ["我喜欢机器学习", "深度学习很强大"] corpus_cut = [" ".join(jieba.lcut(doc)) for doc in corpus]</p><p>vectorizer = TfidfVectorizer() X = vectorizer.fit_transform(corpus_cut)
- 不要在
TfidfVectorizer(tokenizer=...)里直接调jieba.lcut—— 它接收的是 str，返回 list，但 sklearn 要求 tokenizer 返回 list of str，且 vectorizer 内部会再做 lower/strip 等操作，容易出错 - 预分词 + 空格拼接是最稳的路径，兼容所有 sklearn 向量化器
- 若需保留停用词过滤，应在
jieba.lcut()后手动过滤，而不是依赖TfidfVectorizer(stop_words=...)（它对中文停用词列表支持弱）
遇到 UnicodeDecodeError 或乱码怎么办？
这通常发生在读文件时没指定编码，而非向量化器本身的问题。
- 用
pandas.read_csv(..., encoding='utf-8')或open(..., encoding='utf-8')显式声明 - 检查原始文本是否混有 GBK 编码内容（尤其 Windows 记事本保存的 txt），可用
chardet.detect()探测 -
TfidfVectorizer不处理文件 I/O，它只吃 list of str，所以报错一定出在上游数据加载环节 - 如果打印文本显示为
b'\xe6\x9c\xba\xe5\x99\xa8\xe5\xad\xa6\xe4\xb9\xa0'，说明是 bytes 没 decode，要加.decode('utf-8')
要不要用 sklearn.feature_extraction.text.TfidfVectorizer 的 analyzer 参数写自定义函数？
可以，但容易踩坑：自定义 analyzer 函数必须返回 list of str（每个 str 是一个 term），且不能含空字符串或纯空白符。
- 错误写法：
lambda x: [w for w in jieba.lcut(x) if w.strip()]—— 看似合理，但若某句切完全为空，会传入空 list，触发ValueError: empty vocabulary - 稳妥写法：预处理阶段就过滤掉空文档，或确保每条至少有一个有效词
- 性能上，预分词 + 列表推导比 analyzer 回调略快，因避免了重复函数调用开销
- 调试难度更高：analyzer 报错堆栈不直观，建议初学者先走预分词路线
中文文本进 sklearn 的关键不在“绕过限制”，而在补上缺失的一环：分词。漏掉这步，后面所有参数调优都是徒劳。停用词、ngram_range、max_features 这些都得建立在“词”是对的这个前提上。
