TensorFlow 2.x 中应使用 keras_tuner 而非手动 for 循环调用 model.fit() 进行超参搜索，因其官方支持、自动管理 trial、内置 Hyperband 等高效算法，并避免内存泄漏与不可复现问题。
TensorFlow 2.x 中该用 keras_tuner 而不是手动写循环
直接上结论：别自己写 for 循环调 model.fit() 做超参搜索，TensorFlow 官方推荐且维护的方案是 keras_tuner。它内置支持 BayesianOptimization、Hyperband、RandomSearch，能自动管理 trial 目录、检查点、早停和资源调度。
常见错误是把 Keras 模型封装成函数后，用 sklearn.model_selection.GridSearchCV 或自定义 for 循环跑——这会导致内存泄漏、GPU 显存不释放、结果不可复现，且无法利用 Hyperband 的早停机制。
-
keras_tuner必须与tf.keras.Model（非Sequential或函数式 API 的裸模型）配合使用，模型必须封装在build(hp)函数里 - 每个
trial默认新建一个独立的tf.keras.Model实例，避免权重污染 -
project_name和directory参数决定缓存路径，重复运行时会自动 resume，但注意清目录才能重头开始
Hyperband 比 BayesianOptimization 更适合深度学习任务
Hyperband 在有限预算下更高效：它先快速训练大量简短 epoch 的模型，再逐步淘汰表现差的，把资源集中在有潜力的配置上。而 BayesianOptimization 需要大量 trial 才能建模超参空间，对每个 trial 要求完整训练，成本高且易陷入局部最优。
典型场景：你只有 8 小时 GPU 时间，想试 100 组超参——Hyperband 可能在 30–40 个 trial 内就收敛到不错的结果；BayesianOptimization 可能卡在前 20 个低效 trial 上。
立即学习“Python免费学习笔记（深入）”；
图片提示词生成器？不止如此。 马甲系统 —— 把脑海中的画面，翻译成AI能理解的专业表达。 用得越多，它越懂你：首次需要多问几句确认方向，用久了几乎一说就懂。 用得越多，它越快：缓存机制让后续对话越来越省。 RAG进化：成功案例持续入库，越跑越聪明。 输入「新手指南」查看完整功能介绍
-
max_epochs设为你要完整训练的 epoch 数（比如 100），factor控制“淘汰比例”，默认 3，一般不用改 -
hyperband的objective必须是验证指标（如val_accuracy），不能是loss，否则早停逻辑失效 - 若显存紧张，可在
tuner.search()里加workers=1和overwrite=True避免并发导致 OOM
超参空间定义必须用 hp.Int()、hp.Choice()，不能传 Python 原生类型
很多人把 learning_rate=0.001 写死在 compile() 里，或用 random.choice([1e-3, 1e-4]) ——这样 keras_tuner 根本看不到这个参数，无法优化。
所有待搜索参数必须通过 hp 对象声明，并在 build(hp) 函数内动态取值：
def build_model(hp):
model = tf.keras.Sequential([...])
lr = hp.Float('learning_rate', 1e-5, 1e-2, sampling='log')
model.compile(optimizer=tf.keras.optimizers.Adam(lr),
loss='sparse_categorical_crossentropy')
return model
-
hp.Float()用sampling='log'对学习率更合理，因为数量级变化比线性变化影响更大 -
hp.Int('units', 32, 512, step=32)比hp.Choice('units', [32, 64, 128, 256])更灵活，但后者更容易控制搜索粒度 - 不要在
build()外定义hp变量，否则 tuner 无法追踪依赖关系
保存最佳模型时别只靠 tuner.get_best_models(1)[0]
tuner.get_best_models() 返回的是已训练完毕的模型对象，但它没保存训练时的 callbacks（比如 ModelCheckpoint），也不含 optimizer 状态——这意味着你无法继续训练或做 fine-tuning。
真正可复现、可部署的最佳模型，必须从 tuner.oracle.get_best_trials(1)[0].trial_id 对应的 checkpoint 目录加载：
best_trial = tuner.oracle.get_best_trials(1)[0]
best_model = tuner.hypermodel.build(best_trial.hyperparameters)
best_model.load_weights(f'{tuner.directory}/{tuner.project_name}/trial_{best_trial.trial_id}/checkpoints/epoch_XX')
- checkpoint 文件名里的
epoch_XX是实际保存的最优 epoch，不是最大 epoch 数 - 如果用了
EarlyStopping，记得在tuner.search()的callbacks里显式传入，否则 tuner 不知道该按哪个 epoch 保存 -
tuner.get_best_hyperparameters(1)[0].values才是可复用的超参字典，别靠打印日志肉眼抄
超参搜索真正难的不是写几行代码，而是定义合理的搜索空间边界、选对 early-stopping 的 patience、以及确认每个 trial 的随机种子是否隔离——这些细节漏掉一个，结果就不可信。
