一个自然语言处理系统需要确定文本的结构性问题，它至少要能够回答：“谁对谁做了什么？”传统的句法分析系统试图仅仅根据一些可能的结构来回答这个问题，这些结构可以认为某些词在属于某一词性的情况下是合乎语法的。例如，给定一个合理的语法，一个标准的自然语言处理系统认为例句(1.1)具有3种句法分析结果，这些结果经常被称为parse。

Our company is training workers. (1.1)

3种不同的句法分析结果表示在分析树（1.2）中。

在分析树（1.2a)中，一些人认为is training是动词词组，在其他两种情况下 is是主要动词。在分析树(1.2b)中 training是动名词(对照Our problem is training workers)，但是在分析树(1.2c)中 training修饰workers(对照Those are training wheels)。后面的两种句法分析在语义上是异常的，但是当前在大多数系统中语义分析是在句法分析之后完成的。这就是说，当我们遇到了长一些的句子和复杂一些的语法的时候，歧义问题就会导致句法分析结果数量的成倍增长。例如，Martin et al.（1987）表明所用系统对下面的例句（1.3）给出了455种句法分析结果。

List the sales of the products produced in 1973 with the products produced in 1972. （1.3）

因此，一个实用的自然语言处理系统必须具有良好的消除歧义的功能，它要解决词义、词类别、句法结构和语义范畴的歧义问题。但是，结果歧义最小和最大化语法的作用范围这两个目标对于符号自然语言处理系统是矛盾的，因此把语法的作用范围扩大化会导致对于一般句子的不正确的句法分析结果数量增加，反之亦然。更进一步讲，使用人工智能的方法进行句法分析和消除歧义，探寻一种可以深入理解自然语言的模型的经验表明，手工编码句法限制和优选规则是一项非常耗费时间的工作，而且如果语言中大量使用比喻修辞，这样的系统很脆弱（Lakoff 1987）。例如，使用选择约束（selectional restrictions）的传统方法，动词swallow需要一个动物作为它的主语和一个实体作为它的宾语。但是这样的限制不能接受swallow的常用且直观的比喻修辞用法扩展，如下所示：

a. I swallowed his story, hook, line, and sinker.          (1.5)

b. The supernova swallowed the planet.

依赖于手工创建规则和手工调整消除歧义的策略，产生了知识获取的瓶颈问题，并且应用在自然文本的时候评价效果依然很差。

统计自然语言处理（NLP)自动从语料库中学习词汇和结构偏向性信息，以此来探寻解决上述问题。不再单独使用句法的类，例如词性，来进行句法分析。我们认为存在着大量词汇之间的关系信息，也就是说，一些单词趋向于互相组成词组。这种搭配知识可以反映更为深入的语义关系。而且，统计模型的使用可以很好地解决歧义问题：统计模型具有鲁棒性和概括性，并且在含有错误的数据和新数据中性能优异。因此，统计自然语言处理引导产生了一种新的方法，可以在分析自然文本的大规模系统中成功地消除歧义问题。此外，统计自然语言处理模型的参数通常可以在文本语料库中自动估计出来，这种自动学习方法不仅减少了人类在建立自然语言处理系统时的工作量，而且还提出了一个有趣的科学问题，涉及到了人类语言的获得。

责任编辑：admin