深度学习常用模型

深度学习常用模型简介 2015.10.242深度学习常用模型目录3 1.AutoEncoder41. AutoEncoder现在我们只有无标签数据，那么这个误差怎么得到呢？5 1.AutoEncoder通过调整encoder和decoder的参数，使得重构误差最小误差的来源就是直接重构后与原输入相比得到6 1.AutoEncoder7 AutoEncoder一旦监督训练完成，这个网络就可以用来分类了此外，AutoEncoder存在一些变体， 如如Sparse AutoEncoder、 Denoising AutoEncoders（训练数据中加入噪声）（训练数据中加入噪声）8 2.Sparse Coding9 2.Sparse Coding10 2.Sparse Coding不同方向的Edge就能够描述出整幅图像，112. Sparse CodingSparse coding分为两个部分：分为两个部分：1）Training阶段：给定一系列的样本图片x1, x 2, ，我们需要学习得到一组基1, 2, , k，也就是字典。训练过程就是一个重复迭代的过程，按上面所说，我们交替的更改a和使得下面这个目标函数最小。目标函数最小。a）固定字典k，然后调整ak，使得上式，即目标函数最小b）然后固定住a k，调整 k，使得上式，即目标函数最小 不断迭代，直至收敛。不断迭代，直至收敛。这样就可以得到一组可以良好表示这一系列x的基，也就是字典。12 2.Sparse CodingSparse coding分为两个部分：分为两个部分：1） Coding阶段阶段：给定一个新的图片x，由上面得到的字典，通过解一个LASSO问题得到稀疏向量a。这个稀疏向量就是这个输入向量x的一个稀疏表达了。例如13 3.Restricted Boltzmann Machine (RBM)RBM的特点二部图每一层的节点之间没有链接一层是可视层，即输入数据层（v)，一层是隐藏层(h)，节点都是随机二值变量节点（0 或1）全概率分布p(v,h)满足Boltzmann 分布 那么这个模型就是限制玻尔兹曼机14 3.Restricted Boltzmann Machine (RBM)隐藏层的层数增加，我们可以得到Deep Boltzmann Machine(DBM)如果我们在靠近可视层的部分使用贝叶斯信念网络（即有向图模型），而在最远离可视层的部分使用Restricted Boltzmann Machine，我们可以得到DeepBelief Net（DBN）154.Deep Belief Networks深信度网络深信度网络概率生成模型建立一个观察数据和标签之间的联合分布165.Convolutional Neural Networks卷积神经网络卷积神经网络1.卷积神经网络的特点：卷积神经网络的特点：人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。第一个真正成功训练多层网络结构的学习算法 权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。2.卷积神经网络的网络结构卷积神经网络的网络结构175.Convolutional Neural Networks卷积神经网络卷积神经网络3.关于参数减少与权值共享关于参数减少与权值共享图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局的信息了。局部感受野权值共享时间或空间亚采样185.Convolutional Neural Networks卷积神经网络卷积神经网络4.典型举例典型举例一种典型的用来识别数字的卷积网络是LeNet-5，共有7层，不包含输入，每层都包含可训练参数（连接权重）C1：卷积层（原信号特征增强，并且降低噪音）S2：下采样层C3：卷积层S4：是一个下采样层C5：是一个卷积层195.Convolutional Neural Networks卷积神经网络卷积神经网络5.卷积和子采样过程205.Convolutional Neural Networks卷积神经网络卷积神经网络6.训练过程主要包括4步，这4步被分为两个阶段：第一阶段，向前传播阶段：第一阶段，向前传播阶段： a）从样本集中取一个样本(X,Yp)，将X输入网络； b）计算相应的实际输出Op。第二阶段，向后传播阶段 a）算实际输出Op与相应的理想输出Yp的差； b）按极小化误差的方法反向传播调整权矩阵 215.Convolutional Neural Networks卷积神经网络卷积神经网络卷积网络较一般神经网络在图像处理方面有如下优点a）输入图像和网络的拓扑结构能很好的吻合；b）特征提取和模式分类同时进行，并同时在训练中产生；c）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。相关参考文献见附件