自动文摘目前还没有比较理想的性能评估方法。因为文摘没有绝对答案，所以结果的评估难以摆脱主观性。另外，不同的用户对摘要的要求各不相同，很难制定出统一的评价标准。就是对信息抽取这种特定的情况，由于答案需要人工判定，并且判定信息是否“相关”或是否“重要”，这本身就带有一定的模糊性，所以其评估过程总会有一定的主观性。

目前常用的评估方法有：

（1）文摘的可读性（Readability）：即文摘在内容、语句、时空顺序上的连贯性（Cohesion），还有语气的流畅程度等。

（2)  文摘的完全性（Exhaustivity）或覆盖率（Coverage )：即文摘是否能反映出原文的主要内容，是否偏离或否曲了原来的内容，是否发生严重的遗漏现象。

（3）文摘的概括性或紧凑性：即文摘对原文的概括程度或压缩程度；常用文摘的绝对长度或对原文的相对长度(比值）来衡量。

（4）文摘的可接受性（Acceptability）：即综合考虑可读性、完全性、概括性等因素之后的综合评判。显然以上这些评估标准都带有很强的主观性。为此，也有人提出文摘的检索性能评估法。

（5)  文摘的检索性能评估法：这种方法就是用同一组查询分别对原文及其摘要进行信息检索，然后分别比较两者的精度与查全率，从而可以检测原文中所需要的信息是否还保留在文摘中。显然，这与查询有很大的关系，若用户的要求不同，对相同的文摘评价可能会有很大的差异。

（6）文摘的回答问题评估法：即给出同一组问题，通过手工分别比较从原文中找到的答案与从文摘中找到的是否一致。

（7)  运行性能评估：包括摘要系统的运行速度，资源开销，应用领域等。

总之，如何找到更合理的自动文摘评估方法目前还在研究之中。

责任编辑：admin