keras-tuner是比手写itertools.product更可靠的超参优化方案，内置贝叶斯优化、随机搜索和Hyperband，支持早停、分布式调度与tf.keras无缝集成，且需注意版本兼容、log采样、重训部署等关键细节。
用 keras_tuner 替代手写网格搜索更可靠
直接写 itertools.product 遍历超参数组合看似简单，但容易漏掉重要约束（比如 learning_rate 必须 > 0）、无法利用历史试验结果、不支持早停和分布式调度。Keras 官方推荐的 keras_tuner 是目前最稳妥的选择——它内置了贝叶斯优化、随机搜索和 Hyperband，且与 tf.keras.Model 无缝集成。
安装只需：
pip install keras-tuner注意：TensorFlow 2.11+ 用户需搭配
keras-tuner>=1.4，否则会因 tf.keras 和独立 keras 混用报 AttributeError: 'Model' object has no attribute 'output_names' 错误。
- 初始化时指定
overwrite=True，避免复用旧试验目录导致参数错乱 - 用
tuner.search(..., epochs=50, validation_data=...)而非fit()，否则回调和日志不会被正确捕获 - 若模型含自定义层或损失函数，必须在
build_model函数内重新定义，不能依赖外部变量闭包
Hyperband 适合资源有限但想快速筛出好架构的场景
当 GPU 显存紧张或训练单次耗时较长（> 2 分钟），Hyperband 比贝叶斯搜索更实用：它通过提前终止低潜力试验来节省资源。关键在于合理设置 max_epochs 和 factor——前者应略大于你愿意给单次试验的最长 epoch 数，后者控制每轮淘汰比例（默认 3，即每轮保留 top 1/3）。
示例中设 max_epochs=60、factor=3，则第一轮跑 60→20→6→2 个 epoch，共启动约 15 个试验；若设 factor=2，则变成 60→30→15→7→3→1，试验数翻倍但筛选更细。实际中建议先用小数据子集试跑一轮，观察各试验的 val_loss 收敛速度再调整。
立即学习“Python免费学习笔记（深入）”；
-
Hyperband不需要预设超参数先验分布，对num_layers这类离散变量更友好 - 它默认按
val_loss选择最优模型，若任务是分类且关注val_accuracy，需显式传入objective='val_accuracy' - 每次调优后，
tuner.get_best_models(num_models=1)[0]返回的是已训练完的完整模型，可直接predict()
自定义超参数空间时，hp.Float 和 hp.Int 的缩放方式影响收敛
学习率、正则系数这类跨数量级的参数，必须用 scale='log'，否则搜索会集中在高值区（比如在 [1e-5, 1e-2] 区间均匀采样，90% 样本落在 1e-3 以上）。而层数、单元数等整型参数用线性采样即可。
错误写法：
hp.Float('learning_rate', 1e-5, 1e-2) 正确写法：hp.Float('learning_rate', 1e-5, 1e-2, sampling='log') 同理，hp.Int('dense_units', 32, 512, step=32) 比盲目设 min=8, max=1024 更高效——它把搜索空间压缩到实际有效的粒度上。
-
hp.Choice用于枚举型参数（如optimizer），但选项不宜超过 5 个，否则组合爆炸 - 避免在
build_model中硬编码input_shape，应从hp对象里动态读取，否则不同试验可能因 shape 不一致报ValueError: Input 0 of layer ... is incompatible - 若用
tf.data.Dataset作输入，确保batch_size也在超参空间里（用hp.Int），否则不同试验的梯度更新步长不一致，指标不可比
调优后模型部署前，必须重训且禁用 tuner 相关回调
调优得到的“最佳模型”只是该试验中的快照，权重未在完整训练周期上充分收敛。直接部署会导致性能下降 2–5%。正确做法是：用 tuner.get_best_hyperparameters()[0] 提取超参，再新建一个干净的 tf.keras.Model 实例，调用 model.fit(..., epochs=200) 重训。
此时要删掉所有 tuner 注入的回调（如 EarlyStopping 若在调优中启用过，重训时得手动判断是否保留）。特别注意 ModelCheckpoint 的 filepath 路径不能含 tuner/trial_ 类字符串，否则会覆盖原试验文件。
- 重训时
batch_size建议设为调优时最大值（如 256），以更好利用 GPU 显存带宽 - 若原始调优用的是
validation_split=0.2，重训时应改用独立验证集，避免数据泄露 - 最后保存模型务必用
model.save('final_model.h5')或tf.keras.models.save_model(..., save_format='tf')，不要依赖tuner自动保存的临时路径
hp.Float(..., sampling='log') 忘加、重训时没清掉 tuner 的回调、或者用错 keras_tuner 版本导致模型构建失败。这些细节不报严重错误，但会让调优结果完全不可信。 
