概率图模型学习笔记 - 概率的解释I 经典概率

  要讨论概率图模型,得先从概率的定义和解释说起。朴素地说,概率是描述一个事件发生可能性大小的量度。

  数学上来说,概率论所研究的概率空间并不是什么新奇的玩意(如果我没记错的话,大学概率老师上课的时候说过,因为概率空间太无聊了,所以数学家们都对概率论没什么兴趣)。朴素的理解不需要了解概率空间的理论细节,反正没什么特别的。

  我们将所有感兴趣的事件放在一起构成一个集合,叫事件空间,然后给这里头每个事件分配一个0到1之间的实数,认为这个数就是这个事件发生的可能性大小,叫这个事件的概率。对于分配的实数,我们只有一个要求,就是事件空间内的所有概率之和等于1。

  OK,现在我们成功地用一个0到1之间的实数表达了「事件发生的可能性」的大小。问题来了,这个「事件发生的可能性」到底怎么理解。定义之中我们并没有对概率的计算过程作出要求,那么这个数到底是我随口胡说的,还是有根有据呢?这就是概率的解释问题。

  概率的解释,根据Wikipedia,主要分为两类:Physical probability和Evidential probability。

Physical probability

  Physical probability就是学校常常说的概率经典定义。它认为概率是重复试验的频率的极限(理论依据是大数定理)。人们也把这种定义叫 frequency interpretation of probability。这种定义方式是使用概率这一概念来解释重复试验中稳定的频率,比如掷色子,原子衰变等等。例如,抛一个硬币1000次,正面的次数是603次,反面是397次;抛2000次,正面是1202次,反面898次……这种情况下,我们会认为抛的次数越多,正面和反面出现的次数比例会越接近3:2,于是我们说抛这个硬币出现正面的概率是0.6,出现反面的概率是0.4。请注意,这句话的意思等价于,假设抛了N次,而且N很大,那么出现正面的次数接近于0.6N,出现反面的次数接近于0.4N。这没有问题。可是如果我们换一个说法,还做刚才的实验,抛第2001次的时候,我们能说出现正面的次数是0.6么?不能。抛一次硬币的结果或者是正或者是反,不会有其他的情况(我们忽略立着那种小概率事件)。总结一下,在频率框架下,我们可以说抛这个硬币时出现正面的概率,而不能说这次抛这个硬币时出现正面的概率。因为如果我们在这种定义框架下提及「概率」时,其意义只存在于「多次重复实验」之中,而对于单次的实验并没有定义。

  那么我们怎么解释0.6这个数值对单次抛硬币试验的意义呢?相信大家也已经想到了,我们可以认为0.6是抛这个硬币出现正面的倾向程度。这就是Physical probability的一个变形,Propensity probability,它认为概率是实验结果的客观倾向性描述。例如,对于刚才的问题我可以说,我之前做了2000次实验,正面出现的频率如果进行这样的解释,单次实验之中也可以谈及概率。然而注意一个特点,即使将0.6解释为倾向程度,这个值的由来依然是重复试验,也就是说我们是基于客观的重复试验的结果得到了0.6这个数值,然后用0.6去解释下一次试验中结果出现的倾向程度。

  到此为止,我们有理有据地得到了概率的解释。接下来我们来看这样一个问题:你是一个法官,根据如此这些的证据,请问A是犯人的概率是多少。如果我说A是犯人的概率是0.01,根据刚才的定义,这就等价于说在N次重复实验之中,当N很大时,A是犯人这一事件的出现次数是0.01N。可是,A作为一个人,或者是犯人或者不是犯人,我们不能定义一个全同的重复试验来定义这样一个频率。由于重复试验本身无法定义,即使是倾向程度也无法定义这样的概率,因此基于经典的定义无法定义这种「概率」。(此例子引自日文Wiki

  然而我们的生活之中充斥着这样的无法重复的事件,这些事件在我们看来发生的可能性确实是不一样的,而且我们有需要去描述这些事件发生的可能性大小。这便给出了概率的另一种完全不同的解释。

Evidential probability

  在刚才的分析中,概率是客观的存在。随机试验是客观的,统计是客观的,倾向性也是客观的,我们客观地得到了概率的大小。然而这种概率的解释方式则与前者迥然不同。Evidential probability则认为概率是对命题的主观信任程度的度量。

  例如,A是犯人的概率,并不是说明在重复实验之中A是犯人的频率的极限,而表示了我们对A是犯人这一命题有多大的信任程度。请注意,这种信任程度和刚才的倾向性有本质的差别。刚才的倾向性来源于反复的客观实验,是实验结果出现的倾向性,而并不来自主观的信任程度。

  或许有人会说,这种不客观的概率一点儿都不科学,不就是信口胡说吗。没错,如果我们给所有的事情都主观地随意分配一个数字,然后把它称为这个事件的概率,那的确不科学。事实上,在贝叶斯定理之前,大家也都相信概率是客观的,而贝叶斯定理的出现改变了这一切。

2012-12-04 09:06367