基于局部深度核学习的非线性支持向量机的有效预测(2)
3.2局部多核学习 8
3.3局部深度核学习 8
3.4 优化局部深度核学习 9
4 相关实验 11
结 论 13
致 谢 15
参考文献16
1 引言
在国际竞争日益激烈的知识经济时代背景下，无论是国家还是个人都面临着前所未有的挑战，教育也是如此，并呈现出了一系列新的变革趋势。当今教育方面发展的主要趋势是：教育已经逐渐的成为贯穿所有公民终其一生的终身学习，促进了人类全面的发展。[1]因此，如何培养具有知识创新能力、自主学习能力及终身学习能力的高素质人才，而且能够用来增强本国自身的国际竞争力渐渐的成为各国教改的重要问题。为了能够学习到更抽象的函数，解决目标识别、文字的理解和声音的理解等人工智能相关的任务，需要引入深度学习这一名词。而学习者的自主学习能力、终身学习能力和知识创新能力都要以此为基础，深度学习研究，特别是如何促进深度学习和培养深度学习能力是当前教育改革发展的重要课题之一。
深度学习的架构由多层非线性运算单元组成，每个较低层的输出作为更高层的输入，可以从大量的输入数据中学习有效的特征表示，学习到的高阶表示中包括了输入的数据和其他信息，这是一种从数据中提取表示的好方法，能够用于回归和信息检索等其他各种各样的环境。深度学习这一概念其实是起源于人工神经网络方向研究的，本身是具有多个隐层的多层感知器就已经是深度学习模型的一个非常好的例子。相对于神经网络这一领域来说，深度则是指的是从网络中学习的函数中非线性运算组合水平的数量。[2]当前神经网络的学习算法多是针对低等层次的结构，所以我们将这种网络称为浅结构的神经网络，例如一个隐层、一个输入层和一个输出层的神经网络；反过来说，将非线性运算组合水平较高的网络称为深度结构神经网络，比如一个输入层、三个隐层和一个输出层的神经网络。
深度学习与浅学习相比具有许多优点，说明了引入深度学习的必要性：
a)在网络表达复杂目标函数的能力方面，浅结构神经网络有时无法很好地实现高变函数等复杂高文函数的表示，而用深度结构神经网络能够较好地表征。
b)在网络结构的计算复杂度方面，当用深度为A的网络结构能够紧凑地表达某一函数时，在采用深度小于A的网络结构表达该函数时，可能需要增加指数级规模数量的计算因子，大大增加了计算的复杂度。另外，需要利用训练样本对计算因子中的参数值进行调整，当一个网络结构的训练样本数量有限而计算因子数量增加时，其泛化能力会变得很差。
C)在仿生学角度方面，深度学习网络结构是对人类大脑皮层的最好模拟。与大脑皮层一样，深度学习对输入数据的处理是分层进行的，用每一层神经网络提取原始数据不同水平的特征。[3][4]
深度学习比浅学习具有更强的表示能力，而由于深度的增加使得非凸目标函数产生的局部最优解是造成学习困难的主要因素。反向传播基于局部梯度下降，从一些随机初始点开始运行，通常陷入局部极值，并随着网络深度的增加而恶化，不能很好地求解深度结构神经网络问题。
从具有开创性的文献[12]发表之后，Bengio、Hinton、Jarrett、Larochelle、Lee、Ranzato、Salakhut—dinov、Taylor和Vincent等大量研究人员[12][13][14][15]对深度学习进行了广泛的研究以提高和应用深度学习技术。Bengio和Ranzato[13][15]等人提出用无监督学习初始化每一层神经网络的想法；Ethan等[16]尝试理解无监督学习对深度学习过程起帮助作用的原因；Glorot等人[17]研究深度结构神经网络的原始训练过程失败的原因。