朴素贝叶斯

优点：在数据较少的情况下仍然有效，可以处理多类别问题。

缺点：对于输入数据的准备方式较为敏感。

适用数据类型：标称型数据。

朴素贝叶斯是贝叶斯决策理论的一部分，所以讲述朴素贝叶斯之前有必要快速了解一下贝叶斯决策理论。

假设现在我们有一个数据集，它由两类数据组成，数据分布如图1所示。

图1 两个参数已知的概率分布，参数决定了分布的形状

假设有位读者找到了描述图中两类数据的统计参数。(暂且不用管如何找到描述这类数据的统计参数。）我们现在用p1（x，y)表示数据点（x，y)属于类别1（图中用圆点表示的类别）的概率，用p2(x，y)表示数据点（x,y)属于类别2（图中用三角形表示的类别）的概率，那么对于一个新数据点(x，y)，可以用下面的规则来判断它的类别：

* 如果p1（x,y)>p2（x,y)，那么类别为1。

* 如果p2（x,y)>p1（x,y)，那么类别为2。

也就是说，我们会选择高概率对应的类别。这就是贝叶斯决策理论的核心思想，即选择具有最高概率的决策。回到图1，如果该图中的整个数据使用6个浮点数来表示，并且计算类别概率的Python代码只有两行，那么你会更倾向于使用下面哪种方法来对该数据点进行分类?

（1）使用kNN，进行1000次距离计算；

（2）使用决策树，分别沿x轴、y轴划分数据；

（3）计算数据点属于每个类别的概率，并进行比较。

使用决策树不会非常成功；而和简单的概率计算相比，kNN的计算量太大。因此，对于上述问题，最佳选择是使用刚才提到的概率比较方法。

为了能够计算p1与p2，必需用到条件概率。

责任编辑：admin