tf.data.TextLineDataset 是加载纯文本文件最直接的选择，专为逐行读取设计，输出每行为 tf.string 张量，支持分片、并行读取与 prefetch；而 text_dataset_from_directory 适用于带标签的文本目录，自动推断类别并以文件为单位构建样本。
加载纯文本文件时 tf.data.TextLineDataset 是最直接的选择
如果你只是想把 .txt 文件逐行读入 TensorFlow 数据流，tf.data.TextLineDataset 就是专为这事设计的。它不解析内容，不切分词，也不做编码，只负责把每行当做一个 tf.string 张量吐出来——这对后续自定义预处理非常友好。
常见错误是误用 tf.io.read_file 一次性读整个文件，结果得到单个长字符串，后续 batch 或 shuffle 都难操作；而 TextLineDataset 天然支持分片、并行读取、自动 prefetch。
- 路径必须是本地文件系统路径或 GCS/TFRecord 兼容 URI，不能是 Python 字符串变量或 io.StringIO 对象
- 默认按换行符切分，Windows 的
\r\n和 Unix 的\n都能识别 - 空行也会生成一个空字符串张量，如需过滤，接
.filter(lambda x: tf.strings.length(x) > 0) - 若文本含 UTF-8 BOM，首行开头可能出现
\ufeff，建议在 map 阶段用tf.strings.strip清理
用 tf.keras.utils.text_dataset_from_directory 加载带标签的文本目录结构
当你有一堆分类好的文本文件（比如 data/negative/*.txt, data/positive/*.txt），这个函数能自动推断标签、打乱顺序、划分训练/验证集，比手写 os.listdir + tf.data.Dataset.from_tensor_slices 稳定得多。
它内部仍用 TextLineDataset 读每份文件，但会把整份文件合并成一个字符串样本（即每个文件 = 一个样本），适合短文本分类场景。
立即学习“Python免费学习笔记（深入）”；
- 要求子目录名即类别名，且每个子目录下只能放文本文件（.txt 默认，可通过
labels和class_names参数调整） -
batch_size是必需参数，不传会报TypeError: text_dataset_from_directory() missing 1 required positional argument: 'batch_size' - 默认
label_mode="int"，若要 one-hot 标签，设label_mode="categorical"，此时输出标签形状为(batch_size, num_classes) - 注意
shuffle=True仅打乱文件顺序，不打乱文件内行序；如需行级 shuffle，得先 flat_map 到行再 shuffle
预处理阶段必须显式调用 tf.strings.unicode_split 或 tf.keras.preprocessing.text.Tokenizer
TensorFlow 2.x 不再内置“自动分词”逻辑，TextLineDataset 输出仍是原始字符串，不做任何 Unicode 归一化或子词切分。你得自己决定：按字切？按词切？用 SentencePiece？还是直接喂给 tf.keras.layers.TextVectorization？
如果选原生 TF 操作：tf.strings.unicode_split(x, "UTF-8") 可将字符串拆成 Unicode 码点列表（适合中文、日文等），但无法处理英文词干或停用词；如果倾向 Keras 风格：Tokenizer 更灵活，但它是 Python 层对象，需先 fit_on_texts 再转换，无法嵌入 tf.data pipeline 的 graph 模式。
-
TextVectorization是目前最推荐的端到端方案，支持 adapt() 自动构建词汇表，且可导出 SavedModel，但注意output_mode="int"时返回的是 token ID，不是 embedding 向量 - 若用
unicode_split，后续接tf.lookup.StaticVocabularyTable做查表，记得 vocab 文件必须用tf.io.gfile.GFile读取，不能用 Python open - 所有字符串操作函数（如
tf.strings.lower,tf.strings.regex_replace）都要求输入是tf.string，别混入 Python str
避免在 map() 中调用 Python 函数处理文本
有人习惯在 dataset.map(lambda x: my_clean_func(x.numpy().decode())) 里写正则清洗，这会导致 dataset 脱离 graph 模式，无法被 XLA 编译、无法跨设备调度，CPU 利用率低，还容易因 .numpy() 触发 eager 执行阻塞。
真正该做的，是用 TF 原生字符串操作替代 Python 正则：比如 tf.strings.regex_replace(x, r"[^\w\s]", "") 替代 re.sub，tf.strings.split(x, " ") 替代 str.split()。
- 所有
tf.strings.*函数都接受tf.Tensor输入，返回仍是 tensor，全程在 graph 内运行 - 若真有无法替代的 Python 逻辑（如调用第三方分词库 jieba），必须用
tf.py_function包裹，并显式声明tf.TensorSpec输出类型，否则 trace 失败 -
py_function中禁止修改全局状态（如 append 到 list），因为执行顺序不保证，且可能被多次调用
非结构化文本加载本身不难，难的是后续预处理链路是否与 TF 的 graph 模式对齐。很多人卡在“为什么 map 里 print 能出结果，但模型训练就报错”，问题往往出在混用了 eager 和 graph 模式，或者把 Python 字符串操作硬塞进了 tensor 流程。
