反向传播

从输出误差反向计算梯度、逐层更新参数的训练算法。

反向传播利用链式法则计算每个参数对损失的贡献，配合梯度下降迭代优化，是深度学习训练的核心机制。大模型训练即是在海量数据上反复执行该过程。