2  深度学习常用模型

2。1  自动编码器

深度学习最简单的一种方法就是利用人工神经网络的特点[12]。人工神经网络（Artificial Neural Network, ANN）本身就是具有层次结构的系统，对于一个给定的神经网络，首先假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征。而自动编码器（AutoEncoder）就是一种尽可能复现输入信号的神经网络[13]。自编码神经网络通过限定隐藏神经元的数量等方式加入限制条件，然后逼近一个恒等函数使得输出 接近于输入x，从而尽可能的复现输入信号。为了实现这种复现，自动编码器必须捕捉可以代表输入数据的最重要的因素[1]。自动编码器通过1）给定无标签数据，利用非监督学习来学习特征；2）逐层训练，利用编码器产生特征；3）通过监督学习进行微调分类器或整个系统。文献综述

自动编码器还存在一些变体。如稀疏自动编码器（Sparse AutoEncoder）,简单来说，它在自动编码器的基础上加上L1范数限制，控制编码过程的表达式尽量稀疏，从而实现稀疏自动编码器方法。第二个较为常见的变体是降噪自动编码器（Denoising AutoEncoders）,它在自动编码器的基础上在训练数据中加入噪声，强迫自动编码器学习去除噪声得到没有被噪声污染过的输入，使得自动编码器对于输入信号有着很好的鲁棒性[14]。