应使用tf.keras.layers.TextVectorization而非Tokenizer处理大规模文本，因其支持分布式、可导出SavedModel、兼容tf.data并行加速；Tokenizer纯CPU且需全量加载内存，易致MemoryError、token不匹配及无法序列化等问题。
直接用 tf.keras.layers.TextVectorization，别碰 Tokenizer 做大规模预处理——它不支持分布式、不能导出为 SavedModel、也不兼容 tf.data pipeline 的并行加速。
为什么不用 Tokenizer 处理大规模文本
Tokenizer 是纯 CPU 的 Python 对象，fit_on_texts() 必须把全部文本加载进内存才能统计词频。100 万条新闻？内存直接爆掉。它生成的 word_index 字典也无法被 tf.data 流水线消费，后续必须手动转成 tf.constant 或写死进模型，一换数据就得重跑整个流程。
常见错误现象：MemoryError、训练脚本卡在 fit_on_texts()、导出模型后推理时 token 不匹配（因为训练/推理用的 Tokenizer 实例不是同一个）。
- 它只能在单机上运行，无法用
tf.distribute分片构建词汇表 - 无法嵌入到
tf.function中，导致@tf.function装饰的预处理函数报错 - 保存模型时，
Tokenizer状态不会自动序列化，必须额外存pkl文件
TextVectorization 怎么配置才适合大规模场景
核心是把词汇表构建和向量化拆开：先用小样本抽样生成 vocabulary，再用 adapt() 批量喂数据；向量化层本身必须设为 output_mode="int" 或 "multi_hot"，避免输出稀疏张量拖慢 pipeline。
立即学习“Python免费学习笔记（深入）”；
实操建议：
- 用
tf.data.Dataset.list_files()+.interleave()并行读多个文本文件，再.batch(1000)送进adapt() -
max_tokens设为 50000～100000，太小会截断长尾词，太大增加 embedding 层参数量 - 显式设置
standardize="lower_and_strip_punctuation"，别依赖默认值——不同 TF 版本行为可能不一致 - 如果文本含中文，加
split=custom_split_fn，例如用tf.strings.unicode_split按字切分，而非空格
示例片段：
vectorizer = tf.keras.layers.TextVectorization(
max_tokens=80000,
output_mode="int",
output_sequence_length=200,
standardize="lower_and_strip_punctuation"
)
# 先构建 vocabulary
vectorizer.adapt(raw_train_ds.map(lambda x, y: x).batch(1024))
# 向量化函数
def vectorize_text(text, label):
return vectorizer(text), label如何让向量化真正“大规模”起来
关键不是单次处理多少文本，而是能否持续吞吐、可复现、能上线。这意味着必须绕过 Python 层，全程走 TensorFlow 原生算子。
容易踩的坑：
- 在
map()里调用vectorizer时没加num_parallel_calls=tf.data.AUTOTUNE，CPU 利用率永远卡在 1 核 - 用
texts_to_sequences()这类 Keras 工具函数——它们返回 Python list，会强制退出 tf.data graph 模式 - 把
vocabulary存成文本再手动加载——TF 会把它当普通字符串，无法参与图优化
正确做法：调用 vectorizer.get_vocabulary() 获取 list 后，用 tf.constant 包装，并传给新实例的 vocabulary 参数；或直接保存整个 layer：tf.keras.models.save_model(vectorizer, "vectorizer")。
真正的大规模瓶颈不在向量化本身，而在词汇表构建阶段是否可复现——同一份数据，两次 adapt() 得到的 vocabulary 必须完全一致，否则训练/推理就脱节了。这要求你禁用所有随机性（tf.random.set_seed()）、固定 batch size、确保文件读取顺序稳定。这些细节，90% 的人第一次都会漏掉。
