KFold必须作用于原始Dataset索引，因为DataLoader不负责划分数据，真正决定训练/验证样本的是Subset或SubsetRandomSampler；若在fold外部定义DataLoader，则所有折共用同一划分，导致交叉验证失效。
不能在 fold 外部定义 DataLoader，否则所有折共用同一组训练/验证划分，交叉验证就失效了。
为什么 KFold 必须作用于原始 Dataset 索引
PyTorch 的 DataLoader 本身不参与数据划分，它只负责按给定索引顺序或采样逻辑加载样本。真正决定“哪些样本进训练、哪些进验证”的是 Dataset 子集 —— 所以必须用 torch.utils.data.Subset 或 SubsetRandomSampler 在每折中动态构造子集，再传给 DataLoader。
常见错误现象：
- 训练 loss 每折都几乎一致，val acc 波动极小 → 实际上每折都在训同一份数据
- 最终平均指标和单次 train/val 划分结果高度重合 → 说明没发生真正的数据重划分
正确做法要点：
立即学习“Python免费学习笔记（深入）”；
- 先用
sklearn.model_selection.KFold生成n_splits组训练/验证索引对 - 每次循环中，用索引创建
Subset：train_subset = Subset(full_dataset, train_idx) - 为每个
Subset单独构建DataLoader，不要复用外部定义的实例 - 若需打乱顺序，
shuffle=True应设在DataLoader中，而非 KFold（否则破坏 fold 间独立性）
如何避免重复加载图像或预处理耗时
每次 fold 构建 Subset 时，底层 Dataset 实例（如 YourCustomDataset）不应重新初始化 —— 否则会重复读图、解码、应用 transform，极大拖慢速度。
使用场景：
python-docx Skill功能概述python-docx Skill是一项面向实际任务的技能，主要用于本Skill提供使用python-docx生成专业Word文档的标准方法和最佳实践；生成安全服务方案文档；核心要点生成技术架构设计文档；生成任何需要专业排版的Word文档；核心库 : python-docx；使用与执行辅助库 : docx.shared , docx.enum , docx.oxml.ns；标准代码模板；1. 文档初始化；2. 字体设置（必须！它将相关步骤、工具调用和结果整理方式集
- 图像路径存于内存，transform 是纯函数式操作（如
torchvision.transforms.Resize）→ 安全复用同一个Dataset实例 - Dataset 内部缓存了 tensor（如用
np.memmap或 LMDB）→ 更应复用，避免重复 mmap/open - transform 包含随机增强（如
RandomHorizontalFlip）→ 没问题，因为每次DataLoader迭代时才触发，且各 fold 独立
性能影响：
- 错误方式：每 fold 新建
YourCustomDataset(...)→ 图像 I/O + 解码 × K 次 - 正确方式：只新建
Subset和DataLoader→ 开销仅在索引切片和 dataloader 初始化
timm（pytorch-image-models）中 --num-splits 参数的实际行为
如果你用的是 timm 训练脚本（如 train.py），它的 --num-splits 并非直接调用 KFold，而是启用内置的“multi-split validation”机制：把训练集按顺序切成 K 份，第 i 份作为第 i 折的 val 集，其余拼接为 train 集 —— 本质是 deterministic KFold，无 shuffle。
参数差异：
-
--num-splits 5→ 相当于KFold(n_splits=5, shuffle=False, random_state=None) - 若要 shuffle，必须配合
--split-seed 42，否则每次运行划分固定但不可复现 - 它不支持 stratified 划分（如类别均衡），小样本或长尾数据建议自行用
StratifiedKFold替代
注意：timm 的该功能仅用于 validation，不改变训练流程本身；模型仍是全量训完再测，不是每折独立训一个模型。
大模型下 K 值选 5 还是 10？别只看统计理论
从泛化误差估计角度看，K=10 比 K=5 更接近全量训练表现；但从工程落地看，K=10 的训练总耗时 ≈ K=5 的 1.8 倍（因每折训练集大小不同），显存占用、checkpoint 保存次数、I/O 调度压力同步上升。
容易被忽略的点：
- 当 batch_size 受限于显存时，K 越大 → 单折训练集越接近全量 → 每 epoch 迭代步数越多 → 单折训练时间非线性增长
- 分布式训练下，
torch.distributed.barrier()在每折末尾触发，K 越大，进程等待累积延迟越明显 - 若嵌套超参搜索（如 grid search + CV），K 增大会导致组合爆炸，建议优先固定 K=5，靠多 random seed 降低方差
真实项目中，K=5 是多数视觉任务的实用平衡点：足够抑制划分噪声，又不显著拖慢迭代节奏。
