图示池化层(前向传播)
池化层其实和卷积层有点相似,有个类似卷积核的窗口按照固定的步长在移动,每个窗口做一定的操作,按照这个操作的类型可以分为两种池化层:
输入参数如下:
输入: 1 * 3 * 4 * 4
池化核: 4 * 4
pad: 0
步长:2
输出参数如下:
输出:1 ... waitig 3年前 (2017-10-19) 1315℃ 2评论 0赞
图示全连接层 如上图所示,该全链接层输入n * 4,输出为n * 2,n为batch
该层有两个参数W和B,W为系数,B为偏置项
该层的函数为F(x) = W*x + B,则W为4 * 2的矩阵,B 为 1 * 2 的矩阵从公式理解全连接层
假设第N层为全... waitig 3年前 (2017-10-06) 878℃ 0评论 0赞
1. 计算图模型
计算图模型是深度学习与神经网络的基础。如果你对神经网络了解不是那么透彻的话,你可能是第一次听说计算图模型,计算图不仅仅可以用在深度学习中,它在其他领域也有相关的应用。
在深度学习中,我们把一次训练过程看作是一个前向传播和后向传播相结合的过程。下面我们分别看一下前... waitig 3年前 (2017-09-02) 537℃ 0评论 0赞
反向传播算法工作原理
在上一篇文章,我们看到了神经网络如何通过梯度下降算法学习,从而改变权重和偏差。但是,前面我们并没有讨论如何计算代价函数的梯度,这是一个很大的遗憾。这一篇文章,我们将介绍一种称为反向传播的快速计算梯度的算法。
使用反向传播算法学习的神经网络比其他早期的方法要快... waitig 3年前 (2017-08-29) 630℃ 0评论 0赞