ICTCLAS层叠隐马尔科夫模型

ICTCLAS基于隐马尔科夫模型提出了层叠隐马尔科夫模型（CHMM），CHMM实际上是若干个层次的简单HMM组合，各层隐马尔科夫模型之间以以下几种方式相互关联：各层HMM之间共享一个切分词图作为公共数据结构（见下图），每一层隐马尔科夫模型都采用N-Best策略，将产生的最好的若干个结果送到此图中供更高层次的模型使用。

该CHMM由低到高依次为：原子切分，简单未登录词识别，嵌套未登录词识别，这几层中共享二元切分词图，并在每层对该数据结构进行修改，使得传递给基于类地隐马分词的参数越来越准确，最后一层为隐马词性标注。

马尔可夫链模型：

使用最广泛的描述类相关性的模型是马尔可夫链准则。如果wi1，wi2，…，wiN是一个类的序列，则马尔可夫模型假设

P(wik|wik?1,wik?2,...,wi1)?p(wik|wik?1)

它的意思是类相关性仅局限于两个连续的类，这种模型也称为一阶马尔可夫模型，以区别它的一般形式（二阶、三阶等）。换言之，已知观察值xk-1，xk-2，…，x1分别属于类wi k-1，wi k-2，…，

wi，在k阶段的观察值xk属于类wi k的概率仅依赖与在k-1阶段产生观察值xk-1的类。

p(?i)?p(wi1,wi2,...,wiN)

?p(wiN|wiN?1,...,wi1)p(wiN?1|wiN?2,...,wi1)...p(wi1)

得出

Np(?i)?p(wi1)?p(wik|wik?1)

k?2其中P（wi1）是类wi，i1∈{1,2，?，M}的先验概率。另外，两个普遍采用的假设是：（a）已知类地序列，观察值在统计上是独立的；（b）某类的概率密度函数不依赖其他类。也就是说依赖性仅仅存在于产生类地序列，而在类内，观察值服从类自己的规则。这个假设意味着

p(X|?i)?p(x1,x2,...,xN|?i)

?p(x1|?i)p(x2|?i)...p(xN|?i) ?p(x1|wi1)p(x2|wi2)...p(xN|wiN)

N ??k?1p(x|w) kik描述：已知观察值的特征向量序列X：x1,…,xN，将其分到各自的类的序列Ωi：wi 1,wi 2,…,wi N中，则下式：

NP(X|?i)P(?i)?P(wi1)P(x1|wi1)?P(wik|wik?1)P(xk|wik)

k?2

隐马尔可夫模型：

隐马尔可夫模型是在马尔可夫模型上发展而来的，马尔可夫链的状态是可以观察到的，而有

的系统中，状态的变化无法直接观察到，观察值是与每一个状态相关的行为作用的结果，由一组概率函数来描述。在序列中不同的状态被它后续的观察值访问，而这个序列又是另一个随机过程结果。这些对我们都是隐藏的，描述它的那些相关参数只能通过接收到的观察值集合来推断。为了解决我们观察的事件而不是与状态一一对应而只是通过一定的概率分布联系的问题而提出隐马尔可夫模型。HMM是一个双重随机过程，一个是具有一定状态数的马尔可夫链，这是基本的随机过程，它描述状态的转移；另一个随机过程描述状态和观察值之间

的统计对应关系，这由输出概率来定义。其中模型的状态转移过程是不可观察的，因而称之为“隐”马尔可夫模型。一个HMM可以用一个五元组（S,V,A,B,∏）来表示，其中

（1） S代表一组状态的几何，S={s1，…，sN}，其中的状态数为N，并用qt来表示t时刻

的状态。

（2） V代表一组可观察符号的集合，V={v1，…，vM}，M是从每一个状态可能输出的不

同的观察值的数目。

（3） A代表一组状态转移概率矩阵，A={aij}其中aij={qt+1=sj|qt=si}，1<=i，j<=N，这是个

N行N列的矩阵，aij表示从状态si转移到状态sj的概率。

（4） B表示可观察符号的概率分布，B={bijk}，1<=i,j<=N,1<=K<=M表示在sj状态输出观

察符号vk的概率。

（5） ∏代表初始状态的概率分布，∏={πi}，其中πi=P(q1=si)，它表示在时刻1选择某

个状态的概率。

一个确定的隐马尔可夫模型，其状态数和每个状态可能输出的观察值的数目都是可以确定的，因此可以用λ=（A,B, ∏）来表示模型的参数。其中∏，A描述马尔可夫链，产生的输出为状态序列，记为Q；B则描述随机过程，产生的输出为观察值序列，记为O。 一阶隐马模型做出了两个重要的假设：

（a） 状态转移的Markov假设：在t时刻（前一时刻）处于状态si，而在t+1时刻（当前

时刻）进入状态sj的状态转移概率只取决于前一时刻所处的状态，而与前一时刻以前的历史无关。

（b） 输出值的Markov假设：输出观察值的概率同样具有Markov性，即只取决于当前时

刻所处的状态，而与以前的历史无关。

应用隐马尔可夫模型主要解决三个方面的问题 （1） 评估问题：对于给定的模型λ=（A,B,π），和给定的观察序列O=（O1O2O3?OT），如

何有效的计算观察值序列O的概率P(O|λ)。

（2） 解码问题：对于给定的模型λ=（A,B,π），和给定的观察序列O=（O1O2O3?OT），如

何寻找一个状态转换序列Q=（q1q2?qT）,使得该状态转换序列最有可能产生上述观察序列。

（3） 学习问题或训练问题：在模型参数未知或不准确的情况下，如何根据观察序列O=

（O1O2O3?OT）球的模型参数或调整模型参数，即如何确定一组模型参数，使得P（O|λ）最大。

在讲解这三个问题之前，引入一个著名的抛硬币问题，假设有三枚硬币，在抛的过程中我们看不到其中的过程，只能得到每次抛出硬币的结果，这样对我们来说，每次抛硬币我们都不知道是哪枚硬币产生当前的观察结果（正面或者反面）。对我们来说，概率过程是隐藏的。模型化描述如下图。

可以将此描述为一个三个状态的隐马尔可夫模型λ。λ=（S,V,A,B,π），其中S=(1,2,3)，V=（H,T），π={1/3,1/3,1/3}

P(1|2)P(1|1)P(2|1)P(2|2)P(3|2)31|P()P(2|3)图1：三枚硬币的马尔可夫模型

对于隐马尔可夫模型而言，状态转换序列是隐藏的，一个观察序列可能由任何一种状态转换序列产生。因此要计算一个观察序列的概率值，就必须考虑所有可能的状态转换序列。

3P()|1P(3|3)

q3q1O1P(q3O2q2|q1)O3OT

图2：状态转移序列

上图表示了产生观察序列O=（O1O2O3?OT）的所有可能的状态转移序列。

评估问题：

那么，在这个给定的隐马模型中，若给定状态转移序列Q=（q1q2?qT），则其产生的观察序列O=（O1O2O3?OT）的概率可以通过下面的公式进行计算：

P(O|Q,?)?P(o1o2...oT|Q,?)

?bq(o1)bq(o2)...bq(oT)

12T给定λ，状态转移序列Q=（q1q2?qT）的概率可以通过下式计算：

P(Q|?)?P(q1q2...qT|?)

??qaqqaq112q2...3aqT?qT 1考虑所有的状态转移序列，得到第一个问题的答案

P(O|?)??P(O,Q|?)??Qq1q2...qT?qbq(o1)aqqbq(o2)...aq11122T?1qTbqT(oT)

理论上，可以通过穷举所有的状态转换序列的办法来计算观察序列O的概率，但是实际上这样做并不现实，因为可能的状态转换序列共有NT个，需要做（2T-1）NT次乘法运算，NT-1次加法运算，若N=5，T=100，则（2*100-1）*5100=1072，需要寻找更为有效的计算方法。向前--向后算法则可以更为有效计算P(O|?)。

向前算法： 定义向前变量：

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库ICTCLAS层叠隐马尔科夫模型在线全文阅读。