It's our wits that make us men.

Back Propagation(反向传播)(下)

Posted on By Xc L

简介

目标:本节将帮助读者对反向传播形成直观而专业的理解。反向传播是利用链式法则递归计算表达式的梯度的方法。理解反向传播过程及其精妙之处,对于理解、实现、设计和调整神经网络非常关键。

问题陈述:这节的核心问题是:给定函数,其中是输入数据的向量,需要计算函数关于的梯度,也就是。

目标:之所以关注上述问题,是因为在神经网络中对应的是损失函数,输入里面包含训练数据和神经网络的权重。举个例子,损失函数可以是SVM的损失函数,输入则包含了训练数据、权重和偏差。注意训练集是给定的(在机器侠学习中通常都是这样),而权重是可以控制的变量。因此,即使能用反向传播计算输入数据上的梯度,但在实际为了进行参数更新,通常也只有计算参数(比如)的梯度。然而的梯度有时仍然是有用的:比如将神经网络所做的事情可视化便于直观理解的时候,就能用上。

如果读者之前对利用链式法则计算偏微分已经很熟悉,仍然建议浏览本笔记。因为它呈现了一个相对成熟的反向传播视角,在该视角中能过够看见基于实数值回路的反向传播过程,而对其细节的理解和收获将帮助读者更好的通过本课程。

简单表达式和理解梯度

复合表达式,链式法则,反向传播

直观理解反向传播

模块:Sigmoid例子

反向传播实践:分段计算

回传流中的模式

用户向量化操作的梯度

小结