虽然马尔可夫链理论有点复杂，但应用很广，目前已被应用于大多数领域.马尔科夫链是一种常用的随机过程.
1.马尔科夫链模型
1.1马尔科夫链的基本概念
马尔可夫链，也被称为离散时间马尔可夫链，是一种我们经常使用的随机过程.马尔科夫过程是研究模型中状态的转移概率的理论，适用于时间序列和空间序列.一个时间和状态都是离散的马尔科夫过程叫马尔科夫链.马尔科夫链是一种常用的数学分析方法， 用来研究随机过程.它的特点是具有无后效性，这是马尔科夫链的主要特点.所谓的无后效性，是想了解它未来的状态，只需要知道它的现状，而那些过去的状态是不需要的，这个过程称为马尔可夫过程，而这样的性质就称作是无后效性.
1.2马尔科夫链模型
马尔科夫链所指的内容指的是时间和状态都是离散状态的马尔科夫过程，马尔科夫链对下面假设的每一种随机过程都是满足的：
1．在t+1的时刻，系统状态下的概率的分布情况仅仅和t时刻下的状态是有关系的，而与t之前的所有状态都是没有关系的.
2．t值和从t的时刻下到t+1的时刻两者之间的状态的转移是没有关系的，我们可以用马尔科夫链的一个模型=（S，P，Q）来表示，它的每个元所表示的意义是：
　  1）S所表示的是在系统里面所有的可能的状态它们所组成的非空集情况下的一个状态集被称为是系统的状态空间，它可以表示的是任意的一个非空集的、可列的集合或任者有限的集合，在本文里面假定S所表示的是可数集，可以用小写的字母 ， (或者 ， )来表示这个状态.
　  2）在 中表示的内容是在系统中的一个状态转移的概率矩阵里面，  所表示的内容是系统在t的时刻的时候是处于i的状态的，而在下一个t+l的时刻处于i的状态的概率，N指的在是系统里面所有的可能的状态的总数，对于任意的 的情况下，都会有 .
　  3）在 中表示的是所在系统初始状态的概率分布表示，qi指的是在系统在初始状态下处于i状态并且满足 的概率.
马尔科夫链是一个和马尔科夫过程的概念密切相关的一个概念，只要满足马尔科夫链的每一个事物它的过程都具备三个如下所述的特点：a.具有离散性的过程 在时间上，事物的发展都是能够被离散化成能够列出来的或者有限的状态的.b.具有随机性的过程 在系统的内部，事物过程从一个状态转变到另外的一个状态是随机转变而成的，而转变成的可能性是由系统内部的过去的一些情况所具有的某些概率来表示的.c.具有无后效性的过程在系统的内部，转移的概率与过去的状态是没有关系的而仅仅与现在的状态相关联.
1.3一步转移矩阵和多步转移矩阵的计算
设有随机过程 ，对任一个整数 来说，
(T表示的是指标集或参数集)，t取为非负的整数，我们把这种随机过程称作是马尔科夫链，马尔科夫链概念指出，事物或者系统的状态从以前的状态转变到当前的状态，再从当前的状态转变成将来的状态，这些都是是紧密联系的，但是马尔科夫链的系统是无论将来是什么样的状态取得的是什么样的值，与它过去的状态、过去所取得的值都是毫无关系的，仅仅和现在的状态、现在所取的值相互之间有关联.为了说明一下马氏链的在(n+1)文的情况下的概率的分布情况，这当中重要的就是它的条件概率 它所表示的内容就是在t的时刻的一概率的转移情况，它表示在t的时刻在条件 的情况下，下一时刻也就是在t+l时刻的时候 的时候的它的概率为 ，那么它的转移的概率就可以表示成为 .
当转移概率和n的取值没有关系的时候，马尔可夫链就是时齐马尔科夫链.这个时候第k步转移的概率口可以用 ， 来表示而指的是在系统中i状态是经过了k步转移到j的所表示的概率，而对它们之前发生间的k-1步所发生的转移的状态是没有要求的. 马尔科夫链Markov链的理论及应用(2):http://www.youerw.com/shuxue/lunwen_39018.html