当前位置：首页 > 深度学习
深度学习
一、深度学习出现的原因、时间及研究现状
机器学习是人工智能的一个分支，而在很多时候几乎成为人工智能的代名词。简单来说，机器学习就是通过算法使得机器能从大量历史数据中学习规律，从而对新的样本做智能识别或对未来做预测。从20世纪80年代末期以来，机器学习的发展大致经历了两次浪潮：浅层学习(shallow learning)和深度学习(deep learning)。 1.1深度学习兴起的渊源及时间
深度学习起源于对神经网络的研究，20世纪60年代，受神经科学对人脑结构研究的启发，为了让机器也具有类似人一样的智能，人工神经网络被提出用于模拟人脑处理数据的流程。最著名的学习算法称为感知机。但随后人们发现，两层结构的感知机模型不包含隐层单元，输入是人工预先选择好的特征，输出是预测的分类结果，因此只能用于学习固定特征的线性函数，而无法处理非线性分类问题。Minsky等指出了感知机的这一局限，由于当时其他人工智能研究学派的抵触等原因，使得对神经网络的研究遭受到巨大的打击，陷入低谷。直到20世纪80年代中期，反向传播算法（back propogation，BP）的提出，提供了一条如何学习含有多隐层结构的神经网络模型的途径，让神经网络研究得以复苏。
由于增加了隐层单元，多层神经网络比感知机具有更灵活且更丰富的表达力，可以用于建立更复杂的数学模型，但同时也增加了模型学习的难度，特别是当包含的隐层数量增加的时候，使用BP算法训练网络模型时，常常会陷入局部最小值，而在计算每层节点梯度时，在网络低层方向会出现梯度衰竭的现象。因此，训练含有许多隐层的深度神经网络一直存在困难，导致神经网络模型的深度受到限制，制约了其性能。
2006年之前，大多数机器学习仍然在探索浅层结构(Shallow- structured)架构，这种架构上包含了一层典型的非线性特征变换的单层，而缺乏自适应非线性特征的多层结构。如常规的隐马尔科夫模型(HMM)，线性或非线性动态系统，条件随机域(CRFs)，最大熵(Max-Entropy)模型，支持向量机(SVM)，逻辑回归，内核回归和具有单层隐含层的多层感知器(MLP)神经网络。这些浅层学习模型有一个常见属性，就是由仅有的单层组成的简单架构负责转换原始输入信号或输入特征为特定问题特征空间时，其过程不可观察。以支持向量机为例，它是一种浅层线性独立模型，当使用内核技巧时具有一层特征转换层，否则具有零层特征转换层。浅层架构在许多简单或受限问题中，早已被证明卓有成效，但是由于它们的有限建模与表现
1
能力，导致在处理涉及自然信号如人的讲话，自然的声音和语言，自然的图像和视觉场景等更为复杂的现实应用时，产生了困难。
在实际应用中，例如对象分类问题（对象可是文档、图像、音频等），人们不得不面对的一个是问题是如何用数据来表示这个对象，当然这里的数据并非初始的像素或者文字，也就是这些数据是比初始数据具有更为高层的含义，这里的数据往往指的是对象的特征。例如人们常常将文档、网页等数据用词的集合来表示，根据文档的词集合表示到一个词组短语的向量空间（vector space model, VSM模型）中，然后才能根据不同的学习方法设计出适用的分类器来对目标对象进行分类。因此，选取什么 特征或者用什么特征来表示某一对象对于解决一个实际问题非常的重要。然而，人为地选取特征的时间代价是非常昂贵，另外劳动成本也高，而所谓的启发式的算法得到的结果往往不稳定，结果好坏经常是依靠经验和运气。于是，人们考虑到自动学习来完成特征抽取这一任务。深度学习(Deep Learning)[1]的产生就是缘于此任务，它又被称为无监督的特征学习（Unsupervised Feature Learning)，从这个名称就可以知道这是一个没有人为参与的特征选取方法。
深度结构学习，或者通常更多人称之为深度学习(Deep Learning)，从 2006 年开始作为一个新兴的领域出现在机器学习研究当中。深度学习（Deep Learning)的概念是2006年左右由Geoffrey Hinton等人在《Science》上发表的一篇文章《Reducing the dimensionality of data with neural networks》提出来的，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。2006年的另外3篇论文[2-4]改变了训练深度架构失败的状况，由Hinton的革命性的在深度置信网(Deep Belief Networks, DBNs)上的工作所引领。 1.2国内外研究现状
尽管专家们研究了很多年深层神经网络算法分析，但进展并不十分顺利。研究者对于通常意义下的隐含层是二层或三层的实验结果有了比较好的进展，但是对于训练更深层隐含层的神经网络却得到了比较差的结果。
在无监督预训练出现之前，训练深度神经网络通常非常困难，而其中一个特例是卷积神经网络。卷积神经网络受视觉系统的结构启发而产生。第一个卷积神经网络计算模型是Fukushima[5]于1980年在神经认知机中提出的，基于神经元之间的局部连接和分层组织图像转换，将有相同参数的神经元应用于前一层神经网络的不同位置，得到一种平移不变神经网
2
络结构形式。后来，LeCun等人[6,7]在该思想的基础上，分别在1989年和1998年用误差梯度设计并训练卷积神经网络，在一些模式识别任务上得到优越的性能。至今，基于卷积神经网络的模式识别系统是最好的实现系统之一，尤其在手写体字符识别任务上表现出非凡的性能。
1986年，Hinton, Sejnowsky, Rumelhart等人在Hopfield网络中加入随机机制，提出了玻尔兹曼机[8]，这种模型与真实空间相对应，方便理解，但由于模型学习过程容易发散，因此算法往往并不收敛。同年，Hinton和Smolensk等人又提出了受限制玻尔兹曼机（Restricted Boltzmann Machine, RBM)，这种模型仅有可见节点与隐藏节点的连接，相同节点彼此独立，因此，算法比较高效[9]。
2000年，Hinton提出了对比散度（Contrastive Divergence, CD）的学习算法[10]，它的优点就在于，该算法使用了一个近似概率分布的差异度量对比散度[11]。对比散度在进行学习时十分高效，比如，马尔可夫随机领域（Markov Random Fields, MRF）、RBM模型等[12]。
2006 年，Hinton 提出了深度置信网络（Deep Belief Nets，DBN）模型及其无监督学习算法，即基于层叠的 RBM 深度信念网络的学习算法[2]。这种算法的过程就是，一个深度学习网络模型可以看成是由若干个 RBM 堆叠在一起，而训练学习的过程，就是由低层到高层，无监督地逐步训练这些 RBM，其中，每一个 RBM 都可以通过 CD 算法来进行快速训练。所以，整个深度学习网络的训练过程就转化为对多个 RBM 的训练学习的问题，而直接绕过了从整体上进行训练的高度复杂性。这种通过 RBM 算法而训练生成的网络在它的顶层是无方向连接的，然后在它下边的所有低层的方向全是向下的。在进行了分层的 RBM 算法之后，通过神经网络的学习算法再对网络进行参数的微调，从而使整个深度学习网络收敛到一个局部最优点上。这两种方法的结合，本质上即是，先通过逐层地通过 RBM 法使网络模型获得一个较优的初始值，再进行进一步地传统训练，这样做的优点就是，既解决了网络整体的时间复杂度低的问题，又避免了传统方法易陷入局部最优解的问题，同时，获得了不错的初始参数值和最终的效果较好的参数值[12]。
2008 年，Tieleman 提出了随机极大似然（Stochastic Maximum Likelihood, SML）算法，即连续对比散度（Persistent Contrastive Divergence, PCD）算法[13]，这个算法非常重要，因为它不仅修正了 CD 算法极大似然度的缺点，而且保证了极大似然数的学习，基于 PCD 的 RBM 算法比原来的 CD 算法更加高效。
2009 年，Tieleman 提出了增加一组额外的参数来学习 PCD 的算法，即马尔可夫链蒙特卡罗（Markov chain Monte Carlo, MCMC）采样，为以后的基于 RBM 的改进算法开辟了
3
框架基础[14]。
2009 年到 2010 年，专家们提出了很多基于回火的马尔可夫链蒙特卡罗采样（Tempered MCMC）算法，包括模拟回火（Simulated Tempering）算法，回火转移（Tempered Transition）算法，并行回火（Parallel Tempering）算法等，另外还有，模式跳转的 MCMC 方法[15]。不过这些算法的实质，都是基于回火的马尔可夫链蒙特卡罗采样算法的改进的 RBM 算法，都是基于Tieleman 在 2009 年的论文[16]。
深度学习在实际应用过程中也得到了广泛的关注。孙志军等人[17]提出一种基于多层自动编码器的特征提取算法，该算法的深度学习网络模型的训练分为无监督训练以及基于边际Fisher准则的监督式精雕训练过程。针对如何将深度学习应用到网络入侵检测中以提高入侵检测准确率的问题，李春林等人[18]结合网络数据的特点给出一种深度学习网络的设计方法，并在此基础上提出一种基于深度学习的入侵检测方法。针对建立射线无损检测智能化信息处理平台的需要，余永维等人[19]提出一种基于深度学习网络的智能识别方法。王宪保等人[20]根据样本特征建立深度置信网络，同时训练获取网络的初始权值，并提出一种基于深度学习的太阳能电池片表面缺陷检测方法。Kim等人[21]运用支持向量机和类概率输出网络，提出一种新的深层结构模型为解决模式分类问题提供更好的泛化能力。实验表明，随着层数的增加，所提出的深层结构与理想的贝叶斯分类器更加接近。Shang等人[22]基于深层学习技术构建软传感器，并将其应用于工业领域，以评估重柴油95%点下调原油蒸馏装置。基于深层玻尔兹曼机，Leng等人[23]提出一种新颖的三维模型识别机制，这种机制可分为两部分：一是基于深层玻尔兹曼机特征检测，二是基于半监督学习的分类方法。
[1] Hinton G E and Salakhutdinov R R. Reducing the dimensionality of data with neural networks [J]. Science, 2006, 28, 313: 504-507.
[2] Hinton G E, Osindero S, Teh Y. A fast learning algorithm for deep belief nets [J]. Neural Computation, 2006, 18(7): 1527-1554.
[3] Bengio Y, Lamblin P, Popovici D and Larochelle H. Greedy Layer-Wise Training of Deep Networks, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems 19 (NIPS 2006), pp. 153-160, MIT Press, 2007.
[4] Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun. Efficient Learning of Sparse Representations with an Energy-Based Model, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems (NIPS 2006), MIT Press, 2007
[5] Fukushima K. Neocognitron: a self-organizing neural network model for a mechanism of
4
本文作者：...共分享92篇相关文档
