简介
目标:本节将帮助读者对反向传播形成直观而专业的理解。反向传播是利用链式法则递归计算表达式的梯度的方法。理解反向传播过程及其精妙之处,对于理解、实现、设计和调整神经网络非常关键。
问题陈述:这节的核心问题是:给定函数,其中
是输入数据的向量,需要计算函数
关于
的梯度,也就是
。
目标:之所以关注上述问题,是因为在神经网络中对应的是损失函数
,输入
里面包含训练数据和神经网络的权重。举个例子,损失函数可以是SVM的损失函数,输入则包含了训练数据
、权重
和偏差
。注意训练集是给定的(在机器侠学习中通常都是这样),而权重是可以控制的变量。因此,即使能用反向传播计算输入数据
上的梯度,但在实际为了进行参数更新,通常也只有计算参数(比如
)的梯度。然而
的梯度有时仍然是有用的:比如将神经网络所做的事情可视化便于直观理解的时候,就能用上。
如果读者之前对利用链式法则计算偏微分已经很熟悉,仍然建议浏览本笔记。因为它呈现了一个相对成熟的反向传播视角,在该视角中能过够看见基于实数值回路的反向传播过程,而对其细节的理解和收获将帮助读者更好的通过本课程。