对于上下文无关语法的最简单的提升就是概率上下文无关语法（PCFG），这种语法又称为随机上下文无关语法（Stochastic Context-Free Grammar，简称SCFG），这种语法最早是由Booth(1969）提出来的。

我们知道，上下文无关语法G是由四个参数（N,E,P,S）来定义的：

1. 非终极符号（或变量）的集合N

2. 终极符号的集合Σ（与N不相交）

3. 产生式的集合P，每个产生式的形式为A→β，其中A是单个的非终极符号，β是从无限的符号串（Σ U N)*中的符号构成的符号串

4. 指定的初始符号S

概率上下文无关语法给产生式P中的每个规则都加上了一个条件概率，从而增强了这些规则：

A→β [p]            （12.1）

这样，PCFG就是一个五元组G=（N,E,P,S,D）,其中D的功能是给P中的每个规则指派一个概率。这个功能表示，把给定的非终极符号p展开为符号序列β时的概率，这个概率通常表示为：

P(A→β)

或者表示为：

P(A→β|A)

从形式上讲，这是对于给定的左手边的非终极符号A进行给定的展开时的条件概率。因此，如果我们考虑一个非终极符号的所有可能展开，它们的概率之和就必定等于1。图1中英语的一个微型语法的PCFG样本，其中只有三个名词和三个动词。注意，一个非终极符号的一切可能展开概率的总和为1。显而易见，在真实的语法中，每个非终极符号存在着比这多得多的规则，因此任何特定规则的概率都比这个微型语法中的规则的概率小一些。

图1 英语微型语法和词表用概率增强后形成的PCFG。这些概率不是从语料库统计出来的，只是为了说明这种语法而编出来的

怎样来使用这些概率呢？PCFG可以用来估计关于一个句子及其剖析树的有用概率的数量。例如，一个PCFG可以对于一个句子S的每个剖析树T（也就是每个推导结果）都指派一个概率。PCFG的这个性质在歧义消解（disambiguation）中是非常有用的。例如，我们来研究歧义句子Can you book TWA flights的两个剖析结果。一个意思是Can you book flights on behalf of TWA(你能以TWA公司的名义预订飞机票吗?），另一个意思是Can you book flights run by TWA（你能预订TWA公司经营的飞机票吗？），这两个剖析树如图2所示。

图2  歧义句子的两个剖析树。剖析树(a)对应的意思是Can you book flights on behalf of TWA,剖析树(b)对应的意思是Can you book flights which are run by TWA