2014年3月，Facebook公司的 DeepFace项目同样基于深度学习方法，采用九层神经网络模型来获得脸部表征，网络包含高达1。2亿个参数，该项目人脸识别技术的识别率达到了97。25%，只比人类识别97。5%的正确率低0。25%，几乎可媲美人类的识别能力。From+优!尔.YouErw.com 加QQ75201`8766

目前深度学习已有多种框架，如：深度神经网络（Deep Neural Network, DNN）、卷积神经网络（Convolutional Neural Network, CNN）、深度置信网络（Deep Belief Neural, DBN）、递归神经网络（Recurrent Neural Network, RNN）等模型，虽然它们被应用于人工智能的不同方面，但是这些模型均具有合理的分层结构，能够自动地学习每层的特征。与传统的诸如支持向量机（Support Vector Machine, SVM）、最大熵方法等浅层模型相比，深度神经网络的本质是复杂的非线性模型，分层网络结构中包含多层次的非线性运算操作，使得网络具有更强的拟合能力，同时它拥有着复杂的架构和大量参数，因此具有非常强的表示能力，尤其适合于复杂的模式识别问题。

1。2  国内外研究现状

1。3  课题研究背景及意义

深度学习之所以获得了如此巨大的成功离不开硬件技术的进步和大数据时代的到来，而提高深度神经网络的表现结果最直接的方式就是增加他的深度[9]，因此深度神经网络正在变得越来越庞大而复杂。例如，获得2012年ImageNet 大规模视觉识别挑战赛（ILSVRC）冠军的Alex神经网络是一个卷积神经网络，它包含有11层，65万个神经元，6000万个参数，其模型大小超过200MB。而获得2014年ImageNet 大规模视觉识别挑战赛（ILSVRC）冠军的GoogLeNet的网络层数有22层[10]。另外其他比较经典的模型诸如VGG-16和VGG-19模型大小均超过了500MB。随着时代的进步和科学技术的发展，当前各类移动应用设备正逐渐向着“小巧”的趋势发展，比如对于百度、脸书（Face Book）等这类做移动应用的互联网公司来说，一款应用的发布与更新均是通过应用商店进行的，文件的大小十分重要，而大于100MB的应用可能会需要用户在有Wi-Fi网络的条件下才可以进行下载或者更新。第二，由于计算量过大，而移动设备有电池电量的限制，深度学习在移动终端设备上能量损耗也会成为一个严重的问题，对于深度神经网络这一极其耗能的应用也难以在移动设备上进行应用甚至推广[11]。因此不难看出，目前的深度学习仍然有计算瓶颈，百万级的训练数据在借助GPU情况下一般能够在几天内完成训练,在实际使用时，利用GPU也可以在几十毫秒甚至更短的时间内得到测试结果，但对于普通移动终端，无法安装GPU的现实导致移动终端无论是在内存容量还是在计算能力方面，都远不能跟台式机等大型设备相提并论，因此实际上深度学习在移动终端几乎还无法得以应用，这大大限制了深度学习的实用范围。

本文主要围绕基于卷积神经网络的迁移学习方法进行研究，从网络优化的角度对原本复杂的模型进行改进，通过减少网络层数、提取主要参数等方法进行迁移学习，分别在复杂模型预训练阶段和调整参数阶段对网络模型不断改进，并在CIFAR10,CIFAR100,SVHN三个数据库上进行训练测试，最终得出较为理想的效果，推动深度学习技术的进一步发展与应用。论文网

论文的组织结构为：第一章，简要阐述深度学习在机器学习领域的应用情况以及针对模型压缩问题目前国内外的研究现状；第二章对深度学习常用模型进行整理与分析，将在2。5节着重介绍本课题中使用到的卷积神经网络；第三章阐述实验中所采用的信息提取的思想与方法。第四章对实验中所涉及到的网络参数，损失函数，实验结果等进行介绍和分析；第五章对全文进行总结与展望，分析在毕业设计过程中遇到的问题以及学习到的知识。