TensorFlow中高效切分tf.data.Dataset应使用take()和skip()组合实现无拷贝流式切分，避免全量加载；按比例划分推荐enumerate()+filter()而非shard()；cache()须置于切分前以避免重复计算；batch时需用drop_remainder=True或padded_batch()确保shape一致。
用 dataset.take() 和 dataset.skip() 做无拷贝切分
TensorFlow 的 tf.data.Dataset 本身不支持类似 NumPy 的切片语法（如 ds[100:200]），直接转成 list 再切会把全部数据加载进内存，完全失去流式处理意义。真正高效的方式是组合 take() 和 skip() —— 它们只是构建新的迭代图节点，不触发实际计算，也不复制数据。
常见错误是先 list(ds) 或 ds.as_numpy_iterator() 全量取数再切，尤其在大数据集上极易 OOM。
- 要取前 N 条：用
ds.take(N) - 要跳过前 N 条：用
ds.skip(N) - 要取第 M 到第 N 条（含 M，不含 N）：用
ds.skip(M).take(N - M) - 注意
take(0)返回空数据集，skip(len)也合法，不会报错
按比例切分训练/验证集用 dataset.shard() 还是 dataset.filter()？
如果目标是按固定比例（比如 80/20）划分，别用 shard() —— 它设计用于分布式预取，要求全局样本数已知且能被整除，否则各 shard 大小不均；更稳妥的是用 enumerate() + filter() 控制索引范围。
例如，想让前 80% 当训练集、后 20% 当验证集，且数据集大小已知为 total_size：
立即学习“Python免费学习笔记（深入）”；
train_ds = ds.enumerate().filter(lambda i, _: i < int(0.8 * total_size)).map(lambda i, x: x) val_ds = ds.enumerate().filter(lambda i, _: i >= int(0.8 * total_size)).map(lambda i, x: x)
但注意：这个写法依赖 total_size 是准确值；若数据集来自文件且未缓存，len(ds) 可能不可用或不准，此时应先 cache() 或显式计数。
-
shard(num_shards=5, index=0)适合做交叉验证，但每份不是严格 20%，尤其当样本总数不能被 5 整除时 -
filter()方案可读性好、比例精确，但需一次遍历索引，对 pipeline 性能影响极小 - 若数据已 shuffle，顺序无关，也可直接用
take()/skip()配合预估数量（如ds.take(int(0.8*est))）
dataset.cache() 在切分前还是切分后加？
加在切分前。因为 cache() 缓存的是整个原始数据集的计算结果；如果先切再 cache，每个子集都会重复执行上游解析逻辑（比如 TFRecord 解码、图像 decode），浪费 CPU 和 I/O。
典型错误顺序：ds.skip(1000).cache().batch(32) → 每次迭代都重新解码前 1000 条，再丢弃。
- 正确顺序：
ds.cache().skip(1000).batch(32) - 若内存不够缓存全部数据，可用
cache('/path/to/cache')落盘，但首次运行仍慢 - 对大型图像数据集，
cache()后再shuffle(buffer_size)也更高效，因 shuffle 只操作内存中缓存的数据
切分后 batch 大小不一致怎么办？
用 dataset.padded_batch() 或 dataset.batch(..., drop_remainder=True) 显式控制。默认 batch() 会在末尾保留不足 batch_size 的“残缺 batch”，导致模型训练时报 shape 不匹配（尤其是带 tf.keras.Input(shape=...) 的静态图模式）。
例如，验证集共 127 条，batch(32) 会产生 4 个 batch：3 个 size=32，1 个 size=31。某些 loss 函数或自定义训练循环会因此失败。
- 训练集常用
drop_remainder=True，确保每步输入 shape 一致 - 验证/测试集若需完整评估，改用
padded_batch()并配合tf.keras.utils.pad_sequences风格的填充逻辑（需自定义padding_values） - 更简单做法：切分时让验证集总数能被 batch_size 整除，比如
val_ds = ds.skip(train_size).take((total-train_size)//32 * 32)
最易被忽略的一点：切分操作本身不改变元素结构，但后续 batch()、map() 的参数必须与原始数据格式严格匹配——比如原数据是 (image, label) 元组，切分后的 map() 函数签名也得接收两个参数，漏掉一个就会在第一次迭代时报 TypeError: expected 2 arguments, got 1。
