这里要介绍神经网络使用的一种方法，称为“混合隐马尔可夫-多层感知器方法”（简称混合HMM-MLP方法）。这种方法使用了HMM的一些成分（例如单词发音的状态图表示），但观察概率的计算使用了MLP，而不使用高斯混合法。这些MLP输入是在时间t的信号表示以及包围该信号的一个窗口框架（又称为“帧”）；例如，这可以是在时间t的一个声谱特征矢量再加上在时间t+10ms, t+20ms, t+30ms, t+40ms, t-10ms等的8个附加矢量。这样，神经网络的输入是9个矢量，对于一个时间片，每个矢量有一整套实数值声谱特征。网络对于每个音子有一个输出单元，作为对输出值的限制，所有输出单元的值的总和应该为1，这样的网络可以用来计算对于给定的观察矢量Ot，状态j的概率P(jlOt)。图1是这种网络的一个样本。

图1 用于估计音子状态概率的神经网络。这个网络可以在不同于高斯模型的HMM模型中使用，这个特定的网络来自Bourlard and Morgan(1994)描写的MLP系统。给定一个框架的特征矢量以及分别在它两侧的特征矢量（每侧有4个框架），可以估计出概率P(qjlOt)。应用贝叶斯公式，可以把这个概率转化为观察似然度的估计b=p(Otlqj)。这些网络是使用错误反向传播算法训练出来的，而这个算法是用于高斯模型的嵌人训练算法的一部分

对于给定的一个观察Ot，MLP计算HMM状态j的概率P(qjlOt)。但是，对于HMM的观察概率函数bj(Ot)，我们需要的观察似然度是p(Otlqj)。贝叶斯公式可以帮助我们认识到怎样从P(qjlOt)来计算P(Otlqj)。网络要计算的是：

我们可以把各项重新安排如下：

式（7.14）右边的两项可以直接通过MLP来计算；分子就是MLP的输出，分母是给定状态的全部概率，也就是所有的观察加起来的概率，即σj(t)的所有t的总和。这样，尽管我们不能直接计算P(Otlqj)，但可以使用式（7.14）计算，根据计算结果就得出了“按比例的似然度”p(o1)（scaled likelihood），它等于似然度被观察概率来除所得的值。实际上，这个按比例的似然度就像正规的似然度一样好，因为在识别过程中观察概率p(Ot)是一个常数，它不会妨碍我们得到应得的结果。

训练MLP的误差反向传播算法要求我们知道对于每个观察Ot的正确音子标记qj。给定一个很大的观察训练集和正确的标记，算法反复地调整MLP中的权值，以减少训练集的错误。

责任编辑：admin