因为torchtext默认按空格切分，而中文无空格，必须先用jieba等工具完成词粒度分词，再将每句分词结果作为token列表yield给build_vocab_from_iterator。
为什么不能直接用 torchtext.vocab.build_vocab_from_iterator 处理中文原始文本
因为 torchtext.vocab.build_vocab_from_iterator 默认按空格切分，而中文词之间没有空格。直接喂入“我喜欢学习”会变成 ['我', '喜', '欢', '学', '习']（字粒度），而非你想要的 ['我', '喜欢', '学习']（词粒度）。不先分词，Vocab 就无法识别有意义的语义单元。
必须在构建 Vocab 前完成分词，且分词结果需是可迭代的 token 列表（如 ['我', '喜欢', '机器', '学习']），不是字符串或嵌套结构。
常见错误：把 jieba.lcut("我喜欢") 的结果直接传给 build_vocab_from_iterator 而不包装成生成器；或误用 jieba.cut（返回 generator，但内部 yield 字符串，需显式转 list）。
如何用 jieba 分词并适配 torchtext.vocab.build_vocab_from_iterator
关键在于构造一个「每次 yield 一个分词后 token 列表」的迭代器。不是对每个字符、也不是对整句，而是对每条样本做 jieba.lcut，再把结果作为单次产出。
立即学习“Python免费学习笔记（深入）”；
- 用
jieba.lcut(sentence)（非cut）确保返回list[str]，避免 generator 嵌套问题 - 迭代器函数里不要 return，要用
yield返回分词列表，例如：yield ['我', '喜欢', '深度', '学习'] - 务必过滤空字符串和纯空白 token，比如
jieba.lcut(' ')可能返回['']，会污染词表 - 若需保留标点，确保
jieba没开启cut_all=True或use_paddle=True导致切分过细（如把“。”切成“。”和空）
示例代码片段：
import jieba
from torchtext.vocab import build_vocab_from_iterator
<p>def yield_tokens(data_iter):
for sentence in data_iter:</p><h1>sentence 是 str，如 "今天天气很好"</h1><pre class='brush:python;toolbar:false;'> tokens = jieba.lcut(sentence.strip())
tokens = [t for t in tokens if t.strip()] # 过滤空白
yield tokens假设 train_texts 是中文句子列表
vocab = build_vocab_from_iterator( yield_tokens(train_texts), min_freq=2, specials=['<unk>', '<pad>', '<sos>', '<eos>'] ) vocab.set_default_index(vocab['<unk>'])
torchtext 0.12+ 版本中 Vocab 构建的兼容性注意点
新版 torchtext（≥0.12）已弃用 torchtext.vocab.Vocab 的旧初始化方式（如传 Counter），统一使用 build_vocab_from_iterator。如果你看到 TypeError: 'Vocab' object is not iterable，大概率是误把旧版写法（如 Vocab(counter)）混进新流程。
另外注意：
-
build_vocab_from_iterator不接受单个 list，只接受可迭代对象（如 list、generator、map）——所以yield_tokens必须返回 generator，不能直接返回[['我'], ['喜欢']] -
min_freq对中文尤其重要：很多分词结果（如人名、地名）频次低但需保留，建议先统计再设阈值，别盲目设min_freq=5 -
specials中的<pad>必须存在，否则后续pad_sequence会报KeyError；顺序不影响，但名字要严格匹配
如何验证分词 + 词表是否真正生效
最直接的方式：拿一句测试文本走通全流程，看输出 id 是否合理。别只检查 vocab.__len__() 或打印前 10 个词。
- 用
vocab.lookup_indices(['我', '喜欢', '学习'])看是否返回非负整数（不是[0, 0, 0]） - 对未登录词（如生造词“量子纠缠体”），应返回
<unk>对应的 index（通常是 0），而不是抛异常 - 检查
vocab['<pad>']和vocab['<unk>']是否存在且不相等；若相等，说明set_default_index没生效或specials漏写了 - 如果模型训练时 loss 不降、梯度爆炸，回头查
vocab是否把大量词映射到了<unk>—— 很可能是分词阶段漏了加载自定义词典（如用jieba.load_userdict()）
中文场景下，分词质量直接影响 Vocab 的泛化能力。与其调 min_freq，不如先确认 jieba 分得对不对。
