tf.train.Checkpoint 是 TensorFlow 2.x 断点续训的核心，仅保存显式指定的变量（如 model、optimizer、global_step），不依赖 SavedModel 或计算图；必须统一管理并验证恢复状态，否则静默失效。
TensorFlow 2.x 中用 tf.train.Checkpoint 保存和恢复模型状态
断点续训的核心不是“保存整个模型”，而是保存可训练变量、优化器状态、甚至自定义计数器（比如 epoch、step）。tf.train.Checkpoint 是最轻量也最可控的方式，它不依赖 SavedModel 格式，也不强制序列化计算图——只管你明确指定的对象。
常见错误是把 model 和 optimizer 分开实例化后，没在同一个 Checkpoint 下管理，导致恢复时 optimizer 状态丢失，训练从头收敛。
- 必须将
model、optimizer、global_step（如tf.Variable(0, trainable=False)）一并传入Checkpoint - 保存路径用
manager = tf.train.CheckpointManager(checkpoint, directory, max_to_keep=3)，避免磁盘爆满；max_to_keep是保留的检查点数量，不是文件个数 - 恢复时调用
checkpoint.restore(manager.latest_checkpoint)，返回一个status对象，务必调用status.assert_consumed()或status.assert_existing_objects_matched()来确认所有目标变量都被成功加载——否则静默失败，训练看似继续，实则用的是随机初始化权重
为什么不能只靠 model.save_weights() 续训
model.save_weights() 只存 model.trainable_variables，完全不碰 optimizer.variables()（比如 Adam 的 m 和 v），也丢掉任何自定义训练步数。下次加载后调用 optimizer.apply_gradients()，相当于用全新优化器跑旧权重，收敛行为会偏移，尤其在学习率衰减或 momentum 较大时更明显。
- 如果你硬要用
save_weights，必须手动保存/恢复optimizer.get_weights()，但该接口不稳定（不同 optimizer 返回结构不同），且无法对齐 step 计数 -
tf.keras.callbacks.ModelCheckpoint默认也是只存权重，除非显式设save_weights_only=False，但它存的是 SavedModel，体积大、恢复慢，且对自定义训练循环支持弱 - 真正需要“仅权重”的场景（如部署推理），才用
save_weights；续训请认准Checkpoint
在自定义训练循环中正确插入断点逻辑
断点不是“训练完再保存”，而是在每个 epoch 或 step 后判断是否该存——并且要避开失败节点（比如 OOM 后崩溃，上一个检查点可能已损坏）。
立即学习“Python免费学习笔记（深入）”；
- 推荐每
N个 step 保存一次，而不是每个 epoch：step 级控制更细，避免长 epoch 下无备份 - 保存前先写到临时路径，再原子重命名（
tf.io.gfile.rename(temp_path, final_path)），防止中断导致损坏检查点 - 恢复后记得把
global_step加 1 再开始下一个 step，否则会重复训练当前 step（尤其用tf.data.Dataset.repeat()时容易跳步） - 如果用了
@tf.function，确保Checkpoint对象在装饰函数外部创建，否则每次 trace 都新建对象，无法跨 step 持久化
Checkpoint 路径和兼容性要注意什么
Checkpoint 文件本身不含代码，只存变量名和数值，所以模型结构变更后（如 layer 名改了、层顺序调换了），直接恢复大概率报 AssertionError: Unresolved object in checkpoint 或静默跳过某些变量。
- 路径不要含中文或空格；Windows 下注意反斜杠转义，统一用
os.path.join或正斜杠 - 跨 TensorFlow 版本（如 2.8 → 2.15）一般兼容，但若用了实验性 API（如
tf.keras.layers.EinsumDense），需确认该类仍在新版本注册 - 分布式训练（
tf.distribute.MirroredStrategy）下，只需在 chief worker（strategy.cluster_resolver.task_type == 'chief'）上做保存/恢复，其他 worker 会自动同步变量状态
最易被忽略的是：Checkpoint 不保存 Python 对象（比如自定义 loss 函数里的闭包变量）、不保存数据集迭代器位置、也不保存随机种子状态。这些得额外用 pickle 或 np.random.Generator.bit_generator.state 单独处理。
