调优是分阶段的系统工程，需按学习率→batch size→优化器→正则项顺序渐进调整，每次只动1–2个变量，并结合验证指标反馈针对性优化。
调优不是“试错”，而是有逻辑、分阶段的系统工程。核心在于理解每个参数如何影响训练动态，再结合验证指标反馈做针对性调整。
学习率：决定模型能否收敛的关键杠杆
学习率太大，loss震荡甚至发散；太小，收敛慢、易陷局部极小或过拟合。建议从经典经验值起步（如Adam用1e-3），再配合学习率预热（warmup）和衰减（cosine或step decay）。训练初期用lr finder快速定位合理区间，观察loss下降最稳的lr段，取其1/10作为初始值往往更稳健。也可启用学习率调度器自动调整，比如PyTorch的ReduceLROnPlateau，在验证loss连续不降时降低lr。
批量大小（batch size）：权衡效率、稳定性和泛化能力
- 增大batch size可提升GPU利用率、加速单步迭代，但会降低梯度更新频率，可能需要同步调高学习率（线性缩放规则：lr ∝ batch_size）
- 过大的batch size易导致泛化变差（尤其在小数据集上），因梯度估计过于“平滑”，丢失噪声带来的正则效果
- 常见实践：从32或64起步，逐步翻倍测试；若显存允许且验证指标提升，可继续增大；若val loss平台期提前或acc波动变大，说明可能已到临界点
优化器选择与超参组合：不止是Adam一家独大
Adam虽鲁棒，但并非万能。例如Transformer类模型常用AdamW（带权重衰减修正）；CV任务中SGD+Momentum仍常胜于Adam，尤其配合合适的lr schedule和weight decay（通常设为1e-4～5e-4）。关键细节：weight decay不要和L2正则混用（PyTorch AdamW已内置正确实现）；momentum值一般0.9足够，Nesterov可略提升收敛速度；beta1/beta2默认（0.9, 0.999）少动，除非遇到特定震荡问题。
早停、保存与评估：让调优过程可复现、有依据
- 早停（Early Stopping）必须基于验证集指标（如val_loss或val_f1），耐心值（patience）设为10～20轮较稳妥，避免过早终止
- 只保存验证性能最优的模型（torch.save + torch.load），而非最后一轮
- 每次调参后，在固定测试集上做一次终评——避免把验证集“调优”成新训练集；必要时用交叉验证减少偶然性
基本上就这些。参数之间存在耦合（比如改batch size就得重调lr），所以推荐按“学习率→batch size→优化器→正则项”顺序渐进调整，每次只动1–2个变量，记录清楚变化与结果。不复杂，但容易忽略逻辑链条。
立即学习“Python免费学习笔记（深入）”；
