tf.data.map()不加num_parallel_calls默认串行执行，导致CPU利用率低、GPU等待数据、step time飙升；必须显式设置num_parallel_calls=tf.data.AUTOTUNE，避免手动设固定值引发跨平台性能问题，并配合正确流水线顺序（map→cache→shuffle→batch→prefetch）以实现最优吞吐。
tf.data.map() 不加 num_parallel_calls 就是串行卡顿
默认 map() 是单线程执行，哪怕你写了 tf.io.decode_jpeg 或 tf.image.random_flip_left_right，也不会自动并行。CPU 利用率拉不满，GPU 等着喂数据，训练 step time 暴涨。
-
num_parallel_calls必须显式设置，推荐始终用tf.data.AUTOTUNE—— 手动设数字（比如4或8）在不同机器上容易翻车：核数少的机器会争抢，核数多的又未必提升吞吐 - 如果
map里用了tf.py_function，它天然受 Python GIL 锁限，此时再不设num_parallel_calls，就彻底退化成单线程 - 避免在
map函数里做文件系统操作（如每次读 config.json），这类 IO 应提前加载到内存或用tf.lookup.StaticHashTable
prefetch() 放错位置等于没开
prefetch() 的作用是让“数据预处理”和“模型训练”重叠执行，但它只对后续操作生效。放太早，缓冲的是未解析的原始字节；放太晚，根本来不及调度。
- 正确顺序必须是：
map()→cache()→shuffle()→batch()→prefetch(tf.data.AUTOTUNE) - 写成
dataset.prefetch().map()是典型错误——此时 prefetch 的是 TFRecord 原始二进制流，CPU 还没解码，GPU 已经在等 batch，毫无意义 - 别写
prefetch(1)或prefetch(2)：硬编码值在不同 batch size / 硬件下极易失配；AUTOTUNE实测吞吐提升 20%–40%，且适配tf.distribute.MirroredStrategy
小文件多？别 list_files + map(read_file)，改用 interleave + num_parallel_reads
逐个调用 tf.io.read_file() 每次都触发完整路径解析 + open + close，操作系统调度开销极大。GPU 利用率长期低于 20%，不是算力不够，是“快递员”太慢、太散。
- 先用
tf.data.Dataset.list_files('train/*/*.jpg')获取路径，再用interleave并行读取，比 flat 所有路径后map更利于 OS 缓存局部性 -
interleave的cycle_length建议设为磁盘数量（如双 NVMe 设2）或min(8, len(file_list))，别盲目设16或AUTOTUNE - 若已打包为 TFRecord，读取时显式设
num_parallel_reads=4（通常 2–8），比依赖AUTOTUNE更稳；num_parallel_calls在map阶段另设，两者不冲突
shuffle(buffer_size) 设错，数据分布就歪了
shuffle() 不是打乱整个数据集，而是维护一个滑动缓冲池。设太小，早期 epoch 只见头几百个样本；设太大，内存爆掉，尤其流式读取 TFRecord 时根本不知道总长。
立即学习“Python免费学习笔记（深入）”；
- 错误写法：
dataset.repeat().shuffle(1000).batch(32)——repeat在前，shuffle 缓冲区反复灌入相同 epoch 数据，打乱失效 - 正确顺序：
shuffle(buffer_size)必须在repeat()之前、batch()之后；buffer_size 推荐为训练集样本数的 1–3 倍，未知总量时从10000起步 - 如果数据源是路径列表（字符串），
from_tensor_slices没问题，但后续map必须延迟加载图像/音频，否则初始化就卡几秒
dataset.cardinality().numpy()、监控 CPU/GPU 利用率、用 profiler 定位 IteratorGetNext 耗时。 
