会员中心 |  会员注册  |  兼职信息发布    浏览手机版!    超值满减    人工翻译    英语IT服务 贫困儿童资助 | 留言板 | 设为首页 | 加入收藏  繁體中文
当前位置:首页 > 机翻技术 > 识别技术 > 正文

语音和语言处理中的加权自动机

发布时间: 2022-07-05 09:18:39   作者:etogether.net   来源: 网络   浏览次数:
摘要: 加权自动机是由有限自动机扩充而成的,在加权自动机的每个弧上标有概率,表示下一步走哪一条途径的可能性。


为了提高效率,通常把编辑好的各种发音变异存储在词表中。这种词表的两种最普通的表示是trie 和加权有限状态自动机/转录机或概率FSA/FST(Pereira et al.,1994)。加权自动机是由有限自动机扩充而成的,在加权自动机的每个弧上标有概率,表示下一步走哪一条途径的可能性。离开同一个结点的所有弧上的概率之和应该为1。图5.12是关于单词tomato的两个加权自动机,取自Russell and Norvig(1995)。上面的自动机表示在不同的方言中tomato一词的第二个元音的两种不同发音。下面一个自动机说明了更多的发音情况(请读者算一下有多少个不同的情况?),表示tomato中的第一个元音的可能的弱化和脱落,以及词末[t]的可能的闪音化。


1.png

图1


图1  你说[t ow m ey t ow],我说[t ow m aa t ow]。单词tomato的两个发音网络,取自Russell and Norvig(1995)。上面一个自动机模拟社会语言变异(在某些英国英语或美国英语东部方言中);下面一个自动机加上了协同发音效应。注意音位变异和社会语言变异之间的关联作用;在具有元音[ey]的方言中,闪音化的可能性比其他方言大


马尔可夫链是加权自动机的一种特殊情况,在马尔可夫链中,输入符号序列惟一地确定了自动机将通过的状态。由于这些状态不能表示符号序列内在的歧义问题,只有当概率值赋予无歧义的序列时,马尔可夫链才是有用的。且N元语法模型都是马尔可夫链,因为在处理每个单词时都将其看成是没有歧义的。实际上,在语音和语言处理中使用的加权自动机等价于隐马尔可夫模型(Hidden Markov Models,简称HMM)。而加权自动机和HMM两个模型提供了不同的比喻;把某些问题想像成加权自动机比想像成HMM更容易理解一些。加权自动机的比喻通常用于输入字母表比较清晰地映射于底层字母表的场合。例如,在打字输入的错拼更正问题中,包含字母和自动机状态的输入序列可以对应于字母。因此,就可以很自然地把这个问题想像成从一个符号集合转录为同一个符号集合的问题,只是做了某些修改而已;正因为这样,使用加权自动机来进行错拼更正就是非常自然的了。在手写输入错拼更正的问题中,输入序列是可以看见的,输入字母表是由直线、角和曲线构成的字母表。这里,我们不是把一个字母表转录成它自己,在把某个输入序列考虑为状态序列之前,应该把这个输入序列加以分类。隐马尔可夫模型(HMM)提供了一个更恰当的比喻,因为HMM对于输人序列和状态序列很自然地分别使用不同的字母表来处理。但是,因为任何一个概率自动机,只要其中的输入序列不是惟一地指定其状态序列,它就可以被模拟为一个HMM,其差别只是比喻上的差别,而不是解释能力上的差别。


加权自动机可以使用很多方法来构造。Cohen (1989)首先提出的一种方法是:从联机的发音词典开始,使用前面介绍过的手写规则构造不同的潜在表层形式。通过计算在语料库中每个发音的出现次数可以得到概率。如果语料库的数据太稀疏,也可以通过学习每个规则的概率,并且对于每个表层形式把这些规则概率相乘而得到概率(Tajchman et al.,1995)。最后,这些加权的规则或与决策树,都可以自动地编到加权有限状态转录机中(Sproat and Riley,1996)。另外,对于每个常用词,我们可以简单地从标音语料库中发现足够的发音实例,只要把这些发音实例结合起来加到一个网络中,就可以构造出模型(Wooters and Stolcke,1994)。


上面关于tomato的那个网络只是为了举例说明,不是从任何实际系统中来的。图5.13是从Switchboard语料库中根据对实际发音的训练而得到的关于单词about 的加权自动机。

2.png

图2 


图2  从Switchboard语料库的实际发音中训练得到的关于单词about 的发音网络



责任编辑:admin



微信公众号

我来说两句
评论列表
已有 0 条评论(查看更多评论)