神经网络|(六)概率论基础知识-全概率公式

【1】引言

在前序学习进程中，我们已经对条件概率做了分析，知晓了古典概型下，求某个条件下某事件发生的概率，应该是计算促成条件发生的事件和要求的某事件都发生的综合概率。

再次回忆一下条件概率的定义：

条件概率就是在A事件已经发生的条件下，B事件发生的概率。

设A、B是两个事件，且P(A)>0，A事件发生的条件下B事件发生的条件概率为：

上式很容易推出新表达式：P(AB)=P(B|A)P(A)

根据新的表达式，我们做进一步拓展：如果所有A事件本身就是一个古典概型的全部，也就是单独的P(A)=1，那P(AB)可以理解为就是P(B)。这个拓展就是全概率公式。

【2】全概率公式

为说明全概率公式，首先回忆古典概型的示例：投币游戏，任何一次投币正面朝上的概率都是1/2，问：前两次投币正面朝上，但第三次投币反面朝上的概率？

已知三次投币的所有可能情况：

【正正正，正正反，正反正，正反反，反正正，反正反，反反正，反反反】

所以，前两次投币正面朝上，但第三次投币反面朝上只有一种情况，是1/8。

在熟悉古典概型的前提下，如果又掌握了条件概率，也可以算出：

P(正正反)=P(反|正正)P(正正)=P(反|正正)P(正|正)P(正)=(1/2)(1/2)(1/2)=1/8。

上述两种计算方法中，都是因为单次试验的概率已经确切知晓：无论正反都是1/2。

在第一种举例和第二种条件概率的计算方法之外，我们还可以直接使用分步相乘的原则，第一步正面朝上的概率是1/2，第二步正面朝上的概率是1/2，第三步反面朝上的概率是1/2，综合起来P(正正反)=(1/2)(1/2)(1/2)=1/8。

所以，现在至少找到三种方法计算正正反投币结果的概率：举例法、条件概率法和分布相乘法。

在此基础上，如果不关心前两次投币结果，只在意第三次投币为反的结果，通过举例法可知，一共有四种：【正正反，正反反，反正反，反反反】，而三次投币的所有结果是八种可能，所以第三次投币结果为反的概率是1/2。

实际上，我们本来就知道第三次投币结果为反的概率是1/2，因为这是个简单的古典概型，每一步的概率都确切是1/2。

又举例的目的是：说明当前这个1/2和前面的1/8是在不同条件下得到的。

1/2：不关心前两次投币结果，只在意第三次投币为反

1/8：前两次投币正面朝上，但第三次投币反面

前两次投币的所有可能：【正正，正反，反正，反反】。可见，前两次投币正面朝上，只是前两次投币结果的一种可能。

在此分析基础上，增加标记方法，记第i次投币结果正面朝上为Ai、反面朝上为Bi，则有：

P(A1)=1/2

P(A2)=1/2=P(A2A1)+P(A2B1)=(1/2)(1/2)+(1/2)(1/2)=1/2

P(A3)=1/2=P(A3A2A1)+P(A3A2B1)+P(A3B2A1)+P(A3B2B1)

         =(1/2)(1/2)(1/2)+(1/2)(1/2)(1/2)+(1/2)(1/2)(1/2)+(1/2)(1/2)(1/2)

         =1/2

如果把前两次投币的所有可能【正正，正反，反正，反反】两两综合起来，只看做一个结果，分别记作C1，C2，C3和C4，很显然P(Ci)=1/4(i=1,2,3,4)，此时P(A3)可以写作：

P(A3)=P(A3C1)+P(A3C2)+P(A3C3)+P(A3C4)

         =P(A3|C1)P(C1)+P(A3|C1)P(C1)+P(A3|C1)P(C1)+P(A3|C1)P(C1)

         =(1/2)(1/4)+(1/2)(1/4)+(1/2)(1/4)+(1/2)(1/4)

         =1/2

至此，我们已经获得全概率公式：P(A3)=P(A3C1)+P(A3C2)+P(A3C3)+P(A3C4)

全概率公式相对于条件概率公式，是综合所有条件后得出的。

在条件概率这篇文章中已经知晓：求条件概率，应该就算综合概率，那求全概率，就是综合所有可能得条件，可见全概率是条件概率的扩展。

需要注意的是：全概率、综合的所有条件，应该是彼此互斥但总体互补的关系，它们互不隶属，但总体上能凑成一个完整的试验。

为说明“彼此互斥但总体互补的关系，它们互不隶属，但总体上能凑成一个完整的试验”的意义，用投币两次的可能为例：

上述分析中，将【正正，正反，反正，反反】分别记作C1，C2，C3和C4，很显然P(Ci)=1/4(i=1,2,3,4)，C1，C2，C3和C4两两互不隶属，但总体上互补，它们凑起来描述了两次投币的所有可能，它们的总概率加起来=1。

至此，全概率公式写作更通用的形式：

P(A)=P(AB1)+P(AB2)+...++P(ABn)(i=1,2...,Bi代表彼此互斥但总体互补的条件)

【3】总结

回顾了全概率公式的推导过程，了解了全概率的本质意义。全概率公式比条件概率公式的乘法形式内容更丰富，因为全概率公式综合了所有条件，这些条件彼此互斥又总体互补。