摘要EM算法是解决隐马尔可夫模型参数估计问题的主要算法，但具有不容易更新的缺陷。可更新（又称为“递归”或“自适应”）估计的固定模型参数，隐马尔科夫模型对于时间序列建模是一个引人入胜的主题。在这项工作中，我们提出了一个可更新参数估计的算法，结合了两个关键的想法。第一，就是深深扎根于期望最大（EM）的方法包括重新参数化问题用完整的数据充分统计量。第二个包括利用一个递归形式的基于辅助递归模型平滑。虽然所提出的可更新EM算法类似于经典随机逼近（或者是罗宾斯门罗）算法，但它与非传统的收敛性分析完全不同。因此，我们提供有限的结果，确定潜在的限制点的递归，以及大量的样本行为的算法所涉及的数量，使该算法达到最大似然估计的大样本量的估计结果。86411

毕业论文关键词：隐马尔可夫模型；期望最大化算法；可更新估计

Abstract EM algorithm is the main algorithm to solve the parameter estimation problem of hidden Markov model, but it is not easy to update。 Online (also called “recursive” or “adaptive”) estimation of fixed model parameters in hidden Markov models is a topic of much interest in times series modelling。 In this work, we propose an online param- eter estimation algorithm that combines two key ideas。 The first one, which is deeply rooted in the Expectation-Maximization (EM) methodology consists in reparameteri- zing the problem using complete-data sufficient statistics。 The second ingredient con- sists in exploiting a purely recursive form of smoothing in HMMs based on an auxila- ry recursion。 Although the proposed online EM algorithm resembles a classical stoch- astic approximation (or Robbins-Monro) algorithm, it is sufficiently different to resist conventional analysis of convergence。 Thus, we provide limited results and determine the potential limiting recursive, and a large number of sample behavior of the algorit- hm involves the number, so that the algorithm to achieve the maximum likelihood est- imation of sample size estimation results。

Keywords: Hidden Markov Models, Expectation-Maximization Algorithm, Onli- ne Estimation

目录

第一章 绪论 1

1。1 研究背景 1

1。2本文的主要内容 2

第二章 隐马尔科夫模型的可更新EM算法 3

2。1简介隐马尔可夫模型 3

2。2简介EM算法 4

2。3隐马尔科夫模型的可更新EM算法 5

2。3。1 模型和符号 5

2。3。2 平滑的递归形式 7

2。3。3 可更新的EM 算法 8

2。4 讨论 9

2。4。1与Mongillo and Denève (2008)[7]的算法比较 10

2。4。2执行和数值的复杂性 11

2。5  收敛的一些结果 12

结语 16

致谢 17

参考文献 18

第一章 绪论

1。1 研究背景

隐马尔可夫模型是统计时间序列分析的一个重要概念，在最近的四十年里，它的实际影响很广泛。隐马尔科夫模型（HMMs）在其经典形式（即，当状态变量是有限值）是足以简单的给予有效的推理程序，同时允许各种实际有用的建模。自从Baum and Eagon(1967)[1]，以及Baum er al。(1970)[2]，的开拓性贡献， EM（最大期望）算法已经成为HMMs参数推理的选择方法。EM算法是一种专用的数值优化程序，旨在最大化（对数）一批观测似然。由于其稳健性和易于实施，往往把它作为首选。这种作用是专门为HMM模型的参数更新估计，在现有的观测只扫描一次，不存储，允许连续相适应的参数在一个潜在的无限数据流。HMM模型的情况下，更新参数估计是一个具有挑战性的任务，由于观测值之间的并非简单依赖。目前所提出的具有创在性的EM方法已是基于所需的平滑计算的有限记忆近似（Krishnamurthy and Moore,1993[3]）或者对数据的对数似然本身有限的记忆近似（Rydén,1997[4]）。另一种是使用基于梯度的方法（Le Gland and Meve- l,1997[5]）,这种方法不直接遵循EM算法。Kantas et al。 (2009)[6]提供一个全面的最近审查这些方法，其中包括更先进的方面的模型，需要使用模拟为基础的方法。Mongullo and Denève (2008)[7]最近提出了在状态和观察取有限值的情况下基于HMMs的可更新EM算法。该算法的主要成分是一个递归，这个算法允许EM算法所要求的平滑函数中的递归计算。然而，这个递归似乎是非常具体的，对于HMMs模型更一般类型的应用潜力Mongullo and Denève (2008)[7]并没与指出。文献综述