神经网络的基本概念神经网络的本质归纳( 二 ) _知识分享

深度神经网络，进一步怎家隐藏层数，采用 ReLu 激活函数，存在梯度消失问题，适用于分类与回归问题。

卷积神经网络，隐藏层为卷积运算，可以对图像进行处理，适用于图像识别。

循环神经网络，神经元内部保存其先前的值，用于下一时刻的计算，可以对时间序列数据进行处理，适用于语音、文本识别。

4.卷积神经网络与应用
定义，一种带有卷积结构的深度神经网络，通过特征提取和分类识别完成对输入数据的判别。
与传统神经网络的联系，都具有可学习的权重和偏执常量组成，与神经元接受输入，进行点积运算，输出每个分类的分数。
与传统神经网络的区别，卷积神经网络的神经元具有三个维度，适合处理图片。
卷积神经网络的工作原理，模拟大脑识别图像的过程，打包不同区域识别图像不同维度的特征。由多个卷积层构成，每个卷积层包含多个卷积核，卷积核从左向右，从上往下一次臊面整个图像，得到特征图，经过多个卷积层的运算，最后得到图像在各个不同尺度的抽象表示，从而识别图像。
卷积操作
【神经网络的基本概念神经网络的本质归纳】卷积核，带有一组固定权重的神经元，通常为 n*m 的二维矩阵。
卷积运算，输入矩阵和卷积核对应位置相乘，结果累加。
卷积层，使用给定的卷积核函数对输入数据进行特征提取，即用卷积核的矩阵自上而下、自左向右在图像上滑动，将卷积核矩阵的各个元素与他在图像上覆盖的对应位置的元素相乘，然后求和，得到输出像素值，使用不同的卷积核变换可得到不同的特征结果，被用于图像去噪，增强，边缘检测，提取图像特征等。每次卷积完成后需要使用激活函数处理，实现对特征结果的修正。
池化操作
对数据进行降维，减少数据特征，减少网络参数和运算的次数，避免过拟合，对图像的某一个区域用一个值代替，常用方法，最大值池化，求和值池化，均值池化。
全连接操作
卷积获得的是局部的特征，全连接是把以前的局部特征重新通过权值矩阵，组装成完整的图，称为全连接。
5.循环神经网络与应用
定义，RNN，以序列数据输入，在序列的演进方向进行递归且所有节点按链式连接的递归神经网络。
与传统的神经网络对比
传统的神经网络输入与输出之间是相互独立的，前馈网络只会在训练阶段记得输入数据，测试时不记得之前的输入数据，也不会改变网络的权重。
循环神经网络，不仅将当前没得输入样本作为网络的输入，还将网络之前感知到的一并作为输入。
发展历程
基本循环神经网络，简单循环神经网络，双向循环神经网络，长短期记忆网络。
应用场景，文本生成，机器翻译，看图识别意境，语音识别等。
工作原理
循环神经元存储了所有之前的输入，并将这些信息和当前步的输入合并，可以捕获当前数据步和之前步的相关性，可以实现序列前后数据的关联处理。循环神经元组合多个循环神经元进一步组成循环神经网络，理论上可以记住之前所有的输入。
6.生成对抗网络
定义，一种深度学习的模型，通过对生成模型和判别模型的相互博弈学习，生成接近真实数据的数据分布或输入数据进行分类。
生成对抗网络对比

传统的神经网络，根据输入的数据特征，预测输入数据的标签，一个神经网络就是一个训练模型，网络训练时，依赖于输入数据样本更新参数梯度。
生成对抗网络，根据输入数据的标签，生成接近真实的输入分布，一个网络包含生成器和判别器两个模型，网络训练时，生成器模型；梯度更新依赖于判别器模型，生成器和判别器可以使 CNN 和 RNN 神经网络。

应用场景，图像生成，生成真假难辨的高分辨率图像，实现图像风格的转换。人脸的合成，半监督学习中数据的生成等。
工作原理

生成器，在给定输入数据时，理解输入，生成类似的输入。
判别器，在给定输入数据时，将输入数据正确的分类。
工作流程，判别网络，接受样本数据，训练判别模型，同时生成网络接收随机的噪声数据，生成随机样本，给到训练判别网络，训练多次后更新生成器参数，直至判别器分辨不出样本还是生成数据为止。

神经网络的基本概念 神经网络的本质归纳( 二 )

神经网络的基本概念神经网络的本质归纳( 二 )