2 深度学习介绍

2。1 深度学习基本思想

假设一个深度学习系统S ，它有 n 层( S1 ,S 2 。。。S n ),它的输入是I ，输出是O ，那么可以形 象地表示为: 

如果输出O 等于输入I ，表示输入I 经过这个深度学习系统处理之后没有任何的信息损失。 但是由信息熵理论知识，知道这是不可能的。所以输出O 必然小于输入I 所含的信息量。事实 上，我们希望输入I 在经过学习系统S 所丢失的信息量对于目标尽量都是一些无用信息。这就 意味着输入I 通过学习系统S 没有任何有效信息的损失，换句话说就是在任何一层 S i ，它都是 输入I 的另一种表现形式。如下卷积神经网络 (Convolutional Neural Network, CNN) 学习的特 征： 

图 2。1 卷积神经网络的特征表达

这里 CNN 网络学习到了特征图，可以看出特征图其实就是一些边缘的特征，原图就可以 看成这些图像的线性组合。 

对于深度学习，输入I 就是图像、视频、音频或者文本，通过堆叠多个层的学习系统 S ， 每一层的输出作为下一个层的输入，这样就得到了输入I 的一系列层次特征，即 S1 ,S 2 。。。S n 。 从而实现对输入I 的分层表示。 来~自,优^尔-论;文*网www.youerw.com +QQ752018766-

除此以外，假设要求输入和输出一致，约束太过于严格。其实可以要求它们在一种度量 下距离可以尽可能的小。这些就是深度学习的基本思想。 

2。2 深度学习发展概述

深度学习的发展节点可以分为两个阶段，一个是浅层学习，一个是深度学习。 浅层学习顾名思义就是设计出一些两到三层的结构，人工设计一种特征，再利用设计的

结构在正负样本上学习，得到一个浅层学习的分类器。在 90 年代的时候，有很多浅层学习的 模型被提出用于分类和检测。如支持向量机[6] (Support Vector Machine, SVM)、Boosting 和一 些最大熵方法等。这些浅层学习的模型在当时解决了一部分分类或者检测上的常见问题。这 些方法都有着理论上的证明或者推导，方法比较严谨。 

深度学习是最近十年才发展起来的机器学习算法，相比较于浅层学习，它有着更多的层， 更加深的网络。自 2006 年，Hinton 等人在《科学》上发表论文[2]以来，深度学习就一直升温， 成为学术界最为火热的领域。不论是国外的斯坦福大学和纽约大学等，还是国内的大学，都 在深度学习领域进行研究。在目前这个大数据时代，深度学习更加显示出它的优势。它可以 很好的抽取原始数据中需要的特征信息，也可以尽可能的保留住原始信息。深度学习至今不 论是在图像识别，还是语音识别等领域都取得了很好的表现