4 。 3 网 络 训 练 效 果 展 示 2 2

结论 25

致谢 26

参考文献 27

第 II  页 本科毕业设计说明书

本科毕业设计说明书 第 1 页

1 绪论

1。1 课题背景及研究现状

一直以来，人类从没有停止过创造智能机器的努力。近年来人工智能领域的蓬勃发展正 是印证了这一点。要想在人工智能领域有更明显的进展，就要先让计算机获得自主学习的能 力。当前的世界正处于人工智能的一个历史转折点，这得益于现在更为强大的计算能力、可 用的海量数据集以及先进的算法。因此，人工智能科技已经逐渐走向了科技的最前沿，受到 了广泛关注和热烈追逐。

机器学习是一门人工智能的科学。机器学习算法是一类从数据中自动分析获得规律，并 利用规律对未知数据进行预测的算法。机器学习与统计学联系尤为密切，因为它的学习算法 中涉及了大量的统计学理论。其中主要涉及概率论、统计学、凸分析、计算复杂性理论等多 门学科。机器学习大致可以分为监督学习、无监督学习和半监督学习，其主要区分就在于训 练集是否有人为标注的结果。机器学习发展至今经历了大致两个阶段：浅层学习（Shallow Learning）阶段和深度学习（Deep Learning）阶段[1]。论文网

1。1。1 浅层学习

上世纪 80 年代末期，机器学习领域掀起了第一次热潮，因为科研人员提出的反向传播算 法（Back Propagation）给机器学习带来了革新。该算法适用性强，直到今天仍然广受好评。 当时的人工神经网络也被称作多层感知机（Multi-layer Perceptron），它实际上是一种只含有 一层隐层节点的浅层模型。这样的人工神经网络层与层之间为全连接，有大量的参数，往往 容易发生欠拟合问题。这是因为当时用来训练网络的数据集较小，并且计算机计算能力十分 有限。

到上世纪 90 年代，各种各样的浅层机器学习模型被提出，比如支持向量机（Support Vector Machines）、最大熵方法(Maximum Entropy)、逻辑回归（Logistic Regression）等[2]。随着互 联网的高速发展，大数据的智能分析和预测显得尤为重要，在当时，浅层模型在互联网搜索 等领域获得了广泛应用。

1。1。2 深度学习

深度学习（deep learning）是机器学习新的分支，它试图使用包含复杂结构和多重非线性 变换构成的多个处理层，对数据进行高层抽象的计算。深度学习与浅层学习最大的不同，就 是构建了具有更多隐层的机器学习模型，从而提升分类或预测的准确性。区别于传统的浅层 学习，深度学习的不同在于：（1）强调了模型结构的深度，通常有 3 层、4 层，甚至更多层

第 2  页 本科毕业设计说明书 的隐层节点；（2）突出了特征学习的重要性，并且提取的特征更多样，更能够刻画数据的深 层内在信息。（3）与使用简单规则构造特征的方法相比，利用大数据来学习特征，更能够刻

画数据的丰富内在信息[3]。

2006 年，加拿大多伦多大学教授、机器学习领域的泰斗——Geoffrey Hinton 和他的学生 Ruslan Salakhutdinov 在《 科学》 上发表了 Reducing the Dimensionality of Data with Neural Networks[4]。文中提出了两个重要的观点。一是多隐层的神经网络具有优异的特征学习能力， 学习所得到的特征更有利于刻画数据，更有利于分类和识别；二是在这之前深度学习网络没 有发展起来的原因是训练复杂，Hinton 提出了“逐层初始化”（layer-wise pre-training)来有效解 决这个问题。