TfidfVectorizer更可靠因其内置分词、停用词过滤、n-gram生成、IDF平滑、稀疏矩阵优化等完整预处理逻辑，手动实现易遗漏smooth_idf、norm='l2'或sublinear_tf等默认设置，导致余弦相似度异常。
为什么直接用 TfidfVectorizer 比手动计算 TF-IDF 更可靠？
因为 TfidfVectorizer 内置了分词、停用词过滤、n-gram 生成、IDF 平滑（smooth_idf=True 默认）、稀疏矩阵优化等一整套文本预处理逻辑，手动实现容易漏掉 IDF 的分母加1平滑或未归一化导致余弦相似度异常。
常见错误现象：自己写循环算 IDF 后发现向量模长不一致，或与 cosine_similarity 结果对不上 —— 很可能是因为没启用 norm='l2' 或忽略了 TfidfVectorizer 默认的 sublinear_tf=True（对 TF 使用 log(1 + tf) 缩放）。
-
TfidfVectorizer默认使用analyzer='word'和token_pattern=r'(?u)\b\w\w+\b'，对中文需显式替换为analyzer=jieba.cut或改用正则匹配汉字 - 若训练集为空字符串或全停用词，会抛出
ValueError: np.nan is not allowed，需提前过滤空文档 - 调用
fit_transform()后再对新文本用transform()，绝不能对测试集重复fit_transform()，否则 IDF 值错乱
如何让 TfidfVectorizer 支持中文分词？
默认的 token_pattern 只匹配英文单词和数字，中文需接管分词逻辑。最稳妥的方式是传入自定义 analyzer 函数，而不是依赖 token_pattern 硬匹配。
使用场景：处理新闻标题、商品描述、客服对话等含混合中英文的短文本。
立即学习“Python免费学习笔记（深入）”；
- 安装
jieba：pip install jieba - 定义 analyzer：
lambda text: jieba.lcut(text)，注意返回必须是 list of str - 停用词要传中文列表：
stop_words=['的', '了', '在']，而非英文停用词表 - 避免用
tokenizer参数（已弃用），只用analyzer
示例：
from sklearn.feature_extraction.text import TfidfVectorizer
import jieba
vectorizer = TfidfVectorizer(
analyzer=lambda x: jieba.lcut(x),
stop_words=['的', '了', '是'],
max_features=10000
)
X = vectorizer.fit_transform(['苹果发布了新款手机', '香蕉富含钾元素'])
TfidfVectorizer 的 vocabulary_ 和 idf_ 能直接复用吗？
可以，但仅限于完全相同的预处理流程。一旦修改了 analyzer、stop_words、lowercase 或 strip_accents，原有 vocabulary_ 就失效。
性能影响：保存 vocabulary_ + idf_ 比保存整个 TfidfVectorizer 实例更轻量，适合部署时冻结特征空间。
- 导出：
joblib.dump({'voc': vec.vocabulary_, 'idf': vec.idf_}, 'tfidf_params.joblib') - 加载后重建 vectorizer：
vec_new = TfidfVectorizer(vocabulary=params['voc'])，再用vec_new.fit_transform(...)不会重算 IDF —— 所以必须手动赋值：vec_new.idf_ = params['idf'] - 注意：
vocabulary_是 dict，key 是词，value 是列索引；idf_是 numpy array，顺序必须与vocabulary_的 sorted keys 严格一致
为什么 max_features 设太小会导致 transform() 报错？
不是报错，而是静默丢弃未登录词（OOV），但如果你在训练时设了 max_features=1000，而新文本里有 top-1000 之外的词，它们就彻底消失 —— 这不是 bug，是设计行为。
容易踩的坑：线上推理时发现某些关键词没贡献，查日志发现它们根本没进 vocabulary_，因为训练语料中频次不够高。
- 检查方式：
len(vectorizer.vocabulary_) == vectorizer.max_features（实际可能略少，因去重） - 缓解方法：用
min_df控制最低文档频次（如min_df=2），比硬设max_features更鲁棒 - 极端情况：训练集每篇文档都含唯一词，
max_features会截断低频词，但测试集若含这些词，就完全丢失语义
真正危险的是 max_features 和 vocabulary 同时设置 —— 后者优先级更高，前者被忽略，容易误判容量。
