卷积神经网络通俗理解( 七 )


基本上 , 全连层寻找那些最符合特定类别的特征 , 并且具有相应的权重 , 来使你可以得到正确的概率 。
现在让我们来说说我之前有意没有提到的神经网络的可能是最重要的一个方面 。刚刚在你阅读的时候 , 可能会有一大堆问题想问 。第一层卷积层的卷积核们是怎么知道自己该识别边还是曲线的?全连层怎么知道该找哪一种激活图?每一层中的参数是怎么确定的?机器确定参数(或者说权重)的方法叫做反向传播算法 。
在讲反向传播之前 , 我们得回头看看一个神经网络需要什么才能工作 。我们出生的时候并不知道一条狗或者一只鸟长什么样 。同样的 , 在CNN开始之前 , 权重都是随机生成的 。卷积核并不知道要找边还是曲线 。更深的卷积层也不知道要找爪子还是喙 。
等我们慢慢长大了 , 我们的老师和父母给我们看不同的图片 , 并且告诉我们那是什么(或者说 , 他们的类别) 。这种输入一幅图像以及这幅图像所属的类别的想法 , 是CNN训练的基本思路 。在细细讲反向传播之前 , 我们先假设我们有一个包含上千张不同种类的动物以及他们所属类别的训练集 。
反向传播可以被分成四个不同的部分 。前向传播、损失函数、反向传播和权重更新 。
在前向传播的阶段 , 我们输入一张训练图片 , 并让它通过整个神经网络 。对于第一个输入图像 , 由于所有权重都是随机生成的 , 网络的输出很有可能是类似于[.1 .1 .1 .1 .1 .1 .1 .1 .1 .1]的东西 , 一般来说并不对任一类别有偏好 。具有当前权重的网络并没有能力找出低层次的特征并且总结出可能的类别 。
下一步 , 是损失函数部分 。注意 , 我们现在使用的是训练数据 。这些数据又有图片又有类别 。打个比方 , 第一张输入的图片是数字“3” 。那么它的标签应该是[0 0 0 1 0 0 0 0 0 0] 。一个损失函数可以有很多定义的方法 , 但比较常见的是MSE(均方误差) 。被定义为(实际?预测)22(实际?预测)22 。
记变量L为损失函数的值 。正如你想象的那样 , 在第一组训练图片输入的时候 , 损失函数的值可能非常非常高 。来直观地看看这个问题 。我们想到达CNN的预测与数据标签完全一样的点(这意味着我们的网络预测的很对) 。为了到达那里 , 我们想要最小化误差 。如果把这个看成一个微积分问题 , 那我们只要找到哪些权重与网络的误差关系最大 。
这就相当于数学中的δLδWδLδW (译者注:对L关于W求导)  , 其中 , W是某个层的权重 。现在 , 我们要对网络进行 反向传播。这决定了哪些权重与误差的关系最大 , 并且决定了怎样调整他们来让误差减小 。计算完这些导数以后 , 我们就来到了最后一步: 更新权重。在这里 , 我们以与梯度相反的方向调整层中的权重 。
学习率是一个有程序员决定的参数 。一个很高的学习率意味着权重调整的幅度会很大 , 这可能会让模型更快的拥有一组优秀的权重 。然而 , 一个太高的学习率可能会让调整的步伐过大 , 而不能精确地到达最佳点 。
前向传播、损失函数、反向传播和更新权重 , 这四个过程是一次迭代 。程序会对每一组训练图片重复这一过程(一组图片通常称为一个batch) 。当对每一张图片都训练完之后 , 很有可能你的网络就已经训练好了 , 权重已经被调整的很好 。
最后 , 为了验证CNN是否工作的很好 , 我们还有另一组特殊的数据 。我们把这组数据中的图片输入到网络中 , 得到输出并和标签比较 , 这样就能看出网络的表现如何了 。
嵌入式与神经网络(二):CNN卷积层姓名:王央京学号:18050100052学院:电子工程学院

转自:https://blog.csdn.net/qq_25762497/article/details/51052861

【嵌牛导读】本文具体介绍了CNN中的卷积层

【嵌牛鼻子】卷积层

【嵌牛提问】在初步了解之后 , 对CNN中的卷积层进行具体介绍

【嵌牛正文】

局部感知(Local Connectivity)

普通神经网络把输入层和隐含层进行“全连接(Full Connected)“的设计 。从计算的角度来讲 , 相对较小的图像从整幅图像中计算特征是可行的 。但是 , 如果是更大的图像(如 96x96 的图像) , 要通过这种全联通网络的这种方法来学习整幅图像上的特征 , 从计算角度而言 , 将变得非常耗时 。你需要设计 10 的 4 次方(=10000)个输入单元 , 假设你要学习 100 个特征 , 那么就有 10 的 6 次方个参数需要去学习 。与 28x28 的小块图像相比较 ,  96x96 的图像使用前向输送或者后向传导的计算方式 , 计算过程也会慢 100倍 。