基于深度学习的时序模式识别(3)
时间:2018-07-21 15:28 来源:毕业论文 作者:毕业论文 点击:次
模型的组合 (HMMs)。 原则上，神经网络被用于提取所需建模的概率充当时间顺序的角色，这是静态模式，而 隐马尔可夫模型对数据的动态熟悉进行建模。由Mohammed 等人的方法[26] ，DBNs 在预训练 阶段使用无监督训练方式。为了对于给定输入在 HMM 状态建立后部密度，在此之后是有监 督的微调，如使用反向传播算法。在此方法中，n 个连续的输入送入深度置信网络作为训练 集。在有监督的学习阶段对 HMM 每个阶段的交叉熵损失进行优化，以往的方式通常以GMM 代替 DBN。与传统方法较之不同的是，[26] HMM 的后验状态得以使用。 2.1.2 条件深度置信网络 条件深度置信网络 (Conditional Deep Belief Network) 的基石是条件玻耳兹曼机 (Conditional Restricted Boltzmann Machines, CRBMs) 。这种条件依赖性用于处理数据中的时 间信息。 普通RBMS不传达这种信息。 之前的时间片可能会被当作网络额外的固定输入处理。 在此深度结构中有两种连接：从前一层的 n 个可见节点到当前层的可见节点；从前一层的 m 个可见节点到当前层的隐含节点。由于这是一种条件依赖，所有的连接都是定向的。这种新 的结构被称为条件玻耳兹曼机。 M 和N是展示时间依赖性的深度的两个重要参数。在两个参数无法自动生成，且需要根 据现有任务决定。例如，在对行为建模时设N = F =10，N = M，其中F是数据的帧速率。 简而言之，我们假定N = M，{ t-1,,t-N }是之前N个时间步骤，则可以在一个向量串联起 输入的所有 N个之前的时间片，向量可以成为历史向量�<�。如果没个输入的文度都是D，则历史向量�<�的文度是N·D。此外还有两个权值矩阵 A和B。A是前层的权值矩阵，对现一层 可见，文度为 N·D×D。B与前层有关，对现一层可见，文度与隐含层有关，为 N·D×H，其中 H 是二值隐含节点数[27]。 将当前隐含层的每个之前的输入视为一个动态的偏差项， CRBMs 推理和训练算法并不比 标准 RBMS 难。 此时训练中仍可以使用对比分歧 (contrastive pergence)。 如同普通的DBN， 一旦 CRBMs 的训练开始就可以将它们堆叠在彼此的顶部上以形成一个条件 DBN，较低级别 的隐藏状态向量被认为是作用于上层的一个完全观察到的数据[27] 。设�0是自上而下生成权重，�0 (责任编辑：qin) |