基于深度学习的时序模式识别(2)
时间:2018-07-21 15:28 来源:毕业论文 作者:毕业论文 点击:次
。 他们的设计由 Yann LeCun, Léon Bottou, Yoshua Bengio, and Patrick Haffner 等人在1998 年改善[10] ， 由 Sven Behnke 在2003年推广[11] ，Patrice Simard, David Steinkraus, and John C. Platt 同年提出了简化 方法[12] 。LeNet-5 网络可以成功地对数字进行分类，且已被应用于数字识别。为了解决更复 杂的问题，卷积神经网络的深度和广度必将增加，这将收到计算资源的限制。更大网络的训 练由于高效的 GPU 计算的兴起已突破资源的限制成为可行。2006 年，多篇文章推出了一种 用多层训练的的方法以更高效地训练卷积神经网络[13][14][15] 。2011年，Dan Ciresan 等人细化 了此方法并用 GPU实现，有着非常好的结果[16] 。 LeCun 等人设计并采用 BP 算法对卷积神经网络进行训练[17][18] 。卷积神经网络的布局更 接近于实际的生物神经网络，具有局部感知区域、结构层次化、特征抽取、分类过程结合的 全局训练等特点。卷积神经网络使用了局部感知区域，局部权值共享，时间或空间上的降采 样，主要用来识别位移、缩放及其他形式扭曲不变性的二文图形，而其局部权值共享的结构 降低了网络的复杂性，减少了权值的数量，使得卷积神经网络在图像处理与语音识别领域有 着独特的优越性，并在图像处理领域广泛应用，特别是在手写识别领域，被一直作为机器识别系统性能的评价标准[19] 。 因为卷积神经网络在很多图像处理任务中表现出色，所以将其拓展到视频处理中有很大 的潜力且仍是开放议题。而且目前为止，一些在此问题上的尝试或是没有利用到运动信息， 或在手工输入上进行操作。此外，由于这些模型输入的连续帧数很小（通常小于 15），它们被 训练来向短的子序列而不是整个序列分配特征向量（和标签）。所以即使特征已被独立地学习 且包含时间信息，其随时间演变被完全忽略了。 在此，我们利用一种基于神经的两步式的人体行为检测深度模型，此模型的第一部分基 于拓展到 3D 的卷积神经网络，可以自动学习时空特征。第二部分包括利用已学特征训练循 环神经网络来将整个序列分类。 该论文后序章节中，我们将在第二章简要介绍几种深度模型，之后将具体介绍卷积神经 网络的结构，卷积，稀疏连接，权值共享，池化等概念，并列举3D卷积神经网络模型实例。 。 第三章将介绍BP 网络结构，着重于BP 网络的算法推导，以用于后续训练。第四章内容包括 KTH 数据集简要介绍，本毕业设计将用到的 3D 卷积神经网络模型的具体结构与 KTH 数据 集上的实验结果与分析。 2 时空特征的深度学习 深度学习是机器学习的新分支，近些年已成为机器学习领域的研究热点。深度学习是基 于学习的数据表示形式的机器学习方法更广泛系列的一部分。深度学习有很多学习架构，如 深度神经网络、卷积深度神经网络、深度置信网络、深度波尔兹曼机和循环神经网络等。2.1 节中将简要介绍深度置信网络、条件深度置信网络和时限玻尔兹曼机。2.2 和 2.3 中将着重 介绍卷积神经网络。 2.1 用于时序模式识别的深度结构 2.1.1 深度置信网络隐马尔可夫模型混合网络 深度置信网络是一种底层为可见层，底层到输出层之间均为隐含层的生成概率模型。 ，是 深度模型中最有名且最基本的。隐含层中每个节点通过与下层节点的连接学习统计表示。混 合模型有或深或浅的不同结构，但所有不同的方法中有共同之处，即神经网络和隐马尔可夫 (责任编辑：qin) |