获课：itazs.fun/19029/

#### 学习率调度策略：预热与衰减，如何让模型在训练初期不“跑偏”

在深度神经网络的训练过程中，学习率无疑是决定模型性能最关键的超参数之一。它如同一位领航员，决定了模型参数在损失函数曲面上更新的“步长”。步子太大，容易跨过最优解，导致震荡甚至发散；步子太小，收敛速度又过于缓慢，训练效率低下。为了解决这一矛盾，静态的固定学习率往往力不从心，而动态的学习率调度策略——特别是训练初期的“预热”与中后期的“衰减”，成为了现代深度学习训练流程中不可或缺的稳定器与加速器。

训练初期是模型最容易“跑偏”的阶段。在随机初始化的参数状态下，模型对数据分布一无所知，其初始状态往往距离理想的参数空间甚远。此时，如果直接施加一个较大的学习率，梯度更新可能会非常剧烈。由于深层网络的梯度具有高度的非线性和不稳定性，巨大的参数跳跃可能导致模型陷入不良的局部极小值，甚至导致损失函数值爆炸。这种现象在Transformer等大型模型中尤为明显，因为其参数量巨大，梯度方差在初期极高。

学习率预热策略正是为了应对这一挑战而生。其核心思想是在训练的前几个epoch（或前几千步）内，人为地将学习率从一个极小的值线性或按某种函数形式逐步增加到预设的“基准学习率”。这相当于给模型一个“热身”的过程。在预热阶段，微小的学习率迫使模型进行谨慎的、小幅度的参数更新，使其能够平稳地沿着损失函数的斜坡滑行，逐步适应数据的分布特征，找到一个相对稳定且梯度较为平滑的“平原地带”。

一旦模型度过了危险的“磨合期”，预热阶段结束，学习率便达到了最大值，模型进入正式的快速收敛阶段。然而，随着训练的深入，如果一直保持高学习率，模型在接近最优解时会出现“震荡”现象：参数在最优解周围反复横跳，无法精确收敛，就像试图用大锤钉一颗钉子，容易砸偏。为了解决这个问题，学习率衰减策略应运而生。

衰减策略旨在随着训练步数的增加，逐渐减小学习率。常见的衰减方式包括阶梯式衰减（每隔几个epoch将学习率乘以衰减因子）、指数衰减以及余弦退火等。其背后的直觉非常直观：在训练初期，我们希望模型能大步流星地跨越广阔的损失函数平原，快速降低误差；而在训练后期，模型已经接近盆地，此时需要放慢脚步，进行精细的微调，以找到更深、更窄的极小值点，从而提升模型的泛化能力。

综上所述，预热与衰减构成了一套完整的“攻守兼备”的训练哲学。预热是“守”，它在初期限制了模型的激进程度，防止因梯度爆炸或剧烈震荡导致的训练崩溃；衰减是“攻”，它在后期通过精细调整，帮助模型攻克最后的精度堡垒。通过这种动态的节奏控制，模型不仅能够在训练初期避免“跑偏”，还能在后期实现更优的收敛效果，最终达到更高的性能上限。