常见原因是输入文档含None、np.nan或空字符串；需过滤非字符串和空白文档，建议astype(str).replace('nan', '')；max_features等参数应结合语料规模设为10000/2/0.95并检查特征词。

为什么直接用 TfidfVectorizer 会得到全零矩阵或报错 ValueError: np.nan is an invalid document

常见原因是输入文档列表里混入了 None、np.nan 或空字符串。该类值无法被 TfidfVectorizer 处理，会直接中断拟合过程。

实操建议：

立即学习“Python免费学习笔记（深入）”；

Python Sdk

inference.sh 的 Python SDK：运行 AI 应用、构建智能体，并集成 150 多个模型。包名：inferencesh (pip install inferencesh)。支持同步/异步……

下载

• 预处理必须做：用 [doc for doc in docs if isinstance(doc, str) and doc.strip()] 过滤掉非字符串和空白文档
• 不要依赖 fillna('') 后直接传入——fillna 对 object 列可能仍保留 None，建议显式转为字符串：df['text'].astype(str).replace('nan', '').tolist()
• 若原始数据来自 CSV，读取时加参数 na_filter=False 可避免自动把空格识别为 NaN

TfidfVectorizer 的 max_features 和 min_df/max_df 怎么设才不丢关键词

设得太小会导致高频无意义词（如“的”“是”）霸榜，设得太大又会让稀疏矩阵爆炸或引入大量噪声词。这不是调参玄学，而是要结合语料规模和任务目标来判断。

实操建议：

立即学习“Python免费学习笔记（深入）”；

• 先用 max_features=10000 + min_df=2 + max_df=0.95 快速试跑，再检查 vectorizer.get_feature_names_out()[:20] 看前20个词是否合理
• 中文场景务必配合 token_pattern=r'(?u)\b\w+\b' 或自定义分词函数（如用 jieba.lcut），否则默认正则只匹配英文单词
• min_df=2 表示至少在 2 个文档中出现过才保留，对小样本（1；max_df=0.95 表示过滤掉在 95% 文档中都出现的词，防停用词漏网

用 fit_transform 后怎么安全复用向量器处理新文本

训练后必须保存 TfidfVectorizer 实例（如用 pickle），不能重新初始化再 fit，否则特征维度对不上，模型预测会出错。

实操建议：

立即学习“Python免费学习笔记（深入）”；

• 训练完立刻保存：

  import pickle
  with open('tfidf.pkl', 'wb') as f:
      pickle.dump(vectorizer, f)

• 预测时只调 transform，不是 fit_transform：

  with open('tfidf.pkl', 'rb') as f:
      vectorizer = pickle.load(f)
  X_new = vectorizer.transform(new_docs)

• 如果新文档含训练时未见过的词，默认会被静默忽略——这是正常行为，无需报错；若需捕获未知词，得自己重写 vocabulary_ 或改用 HashingVectorizer

中文文本用 TfidfVectorizer 为什么结果全是 0.0

最常踩的坑是没分词。中文没有天然空格分隔，TfidfVectorizer 默认按空格切，导致整个句子被当做一个“词”，而 min_df 设为 2 就直接过滤掉了。

实操建议：

立即学习“Python免费学习笔记（深入）”；

• 别硬扛，默认分词器对中文完全失效，必须传 tokenizer 参数：

  import jieba
  def chinese_tokenizer(text):
      return list(jieba.cut(text))
  vectorizer = TfidfVectorizer(tokenizer=chinese_tokenizer, ...)

• 停用词表也要中文的，别直接用 stop_words='english'；可用 jieba.analyse.set_stop_words('stopwords.txt') 配合自定义文件
• 确认 analyzer 没被误设为 'char' 或 'word'——中文必须用 'word'，且依赖你提供的 tokenizer

实际部署时最容易被忽略的是：训练与推理阶段的预处理逻辑必须严格一致。比如训练时用了 jieba 分词 + 去标点，推理时少了一步清洗，特征向量就彻底错位。这种问题不会报错，只会让模型效果断崖下跌。