贝叶斯就是活生生伟德体育手机客户端一民间学术“屌丝”

当前位置:bv1946伟德app > 伟德体育手机客户端 > 贝叶斯就是活生生伟德体育手机客户端一民间学术“屌丝”
作者: bv1946伟德app|来源: http://www.fwybj.com|栏目:伟德体育手机客户端

文章关键词:bv1946伟德app,贝叶斯定理

  长久以来,人们对一件事情发生或不发生的概率,只有固定的0和1,即要么发生,要么不发生,从来不会去考虑某件事情发生的概率有多大,不发生的概率又是多大。而且概率虽然未知,但最起码是一个确定的值。比如如果问那时的人们一个问题:“有一个袋子,里面装着若干个白球和黑球,请问从袋子中取得白球的概率是多少?”他们会想都不用想,会立马告诉你,取出白球的概率就是1/2,要么取到白球,要么取不到白球,即只能有一个值,而且不论你取了多少次,取得白球的概率始终都是1/2,即不随观察结果X 的变化而变化。

  假设我们有如下的7个球在A,B两个框中,如果我们随便取一个球,已知取到的球来自B框中,那么这个球是白球的概率是多少呢?或者问去除的球是白色,那么取自B框的概率是多少呢?这个问题不是很好解决,直到后来一个名叫Thomas Bayes的人物出现。

  托马斯贝叶斯Thomas Bayes(1702-1763)在世时,并不为当时的人们所熟知,很少发表论文或出版著作,与当时学术界的人沟通交流也很少,用现在的话来说,贝叶斯就是活生生一民间学术“屌丝”,可这个“屌丝”最终发表了一篇名为“An essay towards solving a problem in the doctrine of chances”,翻译过来则是:机遇理论中一个问题的解。你可能觉得我要说:这篇论文的发表随机产生轰动效应,从而奠定贝叶斯在学术史上的地位。

  事实上,上篇论文发表后,在当时并未产生多少影响,在20世纪后,这篇论文才逐渐被人们所重视。对此,与梵高何其类似,画的画生前一文不值,死后价值连城。

  回到上面的例子:“有一个袋子,里面装着若干个白球和黑球,请问从袋子中取得白球的概率是多少?”贝叶斯认为取得白球的概率是个不确定的值,因为其中含有机遇的成分。比如,一个朋友创业,你明明知道创业的结果就两种,即要么成功要么失败,但你依然会忍不住去估计他创业成功的几率有多大?你如果对他为人比较了解,而且有方法、思路清晰、有毅力、且能团结周围的人,你会不由自主的估计他创业成功的几率可能在80%以上。这种不同于最开始的“非黑即白、非0即1”的思考方式,便是贝叶斯式的思考方式。

  继续深入讲解贝叶斯方法之前,先简单总结下频率派与贝叶斯派各自不同的思考方式:

  频率派把需要推断的参数看做是固定的未知常数,即概率虽然是未知的,但最起码是确定的一个值,同时,样本X 是随机的,所以频率派重点研究样本空间,大部分的概率计算都是针对样本X 的分布;

  而贝叶斯派的观点则截然相反,他们认为参数是随机变量,而样本X 是固定的,由于样本是固定的,所以他们重点研究的是参数的分布。

  贝叶斯派既然把看做是一个随机变量,所以要计算的分布,便得事先知道的无条件分布,即在有样本之前(或观察到X之前),有着怎样的分布呢?

  比如往台球桌上扔一个球,这个球落会落在何处呢?如果是不偏不倚的把球抛出去,那么此球落在台球桌上的任一位置都有着相同的机会,即球落在台球桌上某一位置的概率服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为先验分布,或的无条件分布。

  上述思考模式意味着,新观察到的样本信息将修正人们以前对事物的认知。换言之,在得到新的样本信息之前,人们对的认知是先验分布(),在得到新的样本信息后,人们对的认知为(x)。

  而后验分布(x)一般也认为是在给定样本的情况下的条件分布,而使达到最大的值称为最大后MD验估计,类似于经典统计学中的极大似然估计。

  综合起来看,则好比是人类刚开始时对大自然只有少得可怜的先验知识,但随着不断是观察、实验获得更多的样本、结果,使得人们对自然界的规律摸得越来越透彻。所以,贝叶斯方法既符合人们日常生活的思考方式,也符合人们认识自然的规律,经过不断的发展,最终占据统计学领域的半壁江山,与经典统计学分庭抗礼。

  此外,贝叶斯除了提出上述思考模式之外,还特别提出了举世闻名的贝叶斯定理。

  边缘概率(又称先验概率):某个事件发生的概率。边缘概率是这样得到的:在联合概率中,把最终结果中那些不需要的事件通过合并成它们的全概率,而消去它们(对离散随机变量用求和得全概率,对连续随机变量用积分得全概率),这称为边缘化(marginalization),比如A的边缘概率表示为P(A),B的边缘概率表示为P(B)。

  联合概率表示两个事件共同发生的概率。A与B的联合概率表示为P(AB)或者P(A,B)。

  条件概率(又称后验概率):事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(AB),读作“在B条件下A的概率”,。

  首先,事件B发生之前,我们对事件A的发生有一个基本的概率判断,称为A的先验概率,用P(A)表示;

  其次,事件B发生之后,我们对事件A的发生概率重新评估,称为A的后验概率,用P(AB)表示;

  类似的,事件A发生之前,我们对事件B的发生有一个基本的概率判断,称为B的先验概率,用P(B)表示;

  同样,事件A发生之后,我们对事件B的发生概率重新评估,称为B的后验概率,用P(BA)表示。

  接着,上式两边同除以P(B),若P(B)是非零的,我们便可以得到贝叶斯定理的公式表达式:

  笔者在看《从贝叶斯方法谈到贝叶斯网络》的时候,看到这里,其实已经晕晕的了。

  P(AB) 和 P(BA) 之类的经常让人混淆,@待字闺中的陈老师给出了理解的一个关键点,区分出规律和现象,就是将A看成“规律”,B看成“现象”,那么贝叶斯公式看成:

  陈老师在《这的理解贝叶斯公式吗》和《又一个生活中的贝叶斯应用》给出了几个通俗易懂的例子,这里不再赘述。

  我们把P(A)称为先验概率(Prior probability),即在B事件发生之前,我们对A事件概率的一个判断。P(AB)称为后验概率(Posterior probability),即在B事件发生之后,我们对A事件概率的重新评估。P(BA)/P(B)称为可能性函数(Likelyhood),这是一个调整因子,使得预估概率更接近真实概率。

  这就是贝叶斯推断的含义。我们先预估一个先验概率,然后加入实验结果,看这个实验到底是增强还是削弱了先验概率,由此得到更接近事实的后验概率。

  在这里,如果可能性函数P(BA)/P(B)1,意味着先验概率被增强,事件A的发生的可能性变大;如果可能性函数=1,意味着B事件无助于判断事件A的可能性;如果可能性函数1,意味着先验概率被削弱,事件A的可能性变小。

  已知某种疾病的发病率是0.001,即1000人中会有1个人得病。现有一种试剂可以检验患者是否得病,它的准确率是0.99,即在患者确实得病的情况下,伟德体育手机客户端它有99%的可能呈现阳性。它的误报率是5%,即在患者没有得病的情况下,它有5%的可能呈现阳性。现有一个病人的检验结果为阳性,请问他确实得病的可能性有多大?

  假定A事件表示得病,那么P(A)为0.001。这就是先验概率,即没有做试验之前,我们预计的发病率。再假定B事件表示阳性,那么要计算的就是P(AB)。这就是后验概率,即做了试验以后,对发病率的估计。

  我们得到了一个惊人的结果,P(AB)约等于0.019。也就是说,即使检验呈现阳性,病人得病的概率,也只是从0.1%增加到了2%左右。这就是所谓的假阳性,即阳性结果完全不足以说明病人得病。

  为什么会这样?为什么这种检验的准确率高达99%,但是可信度却不到2%?答案是与它的误报率太高有关。

  有兴趣的朋友,还可以算一下假阴性问题,即检验结果为阴性,但是病人确实得病的概率有多大。然后问自己,假阳性和假阴性,哪一个才是医学检验的主要风险?

  一种癌症,得了这个癌症的人被检测出为阳性的几率为90%,未得这种癌症的人被检测出阴性的几率为90%,而人群中得这种癌症的几率为1%,一个人被检测出阳性,问这个人得癌症的几率为多少?

  猛地一看,被检查出阳性,而且得癌症的线%,那想必这个人应该是难以幸免了。那我们接下来就算算看。

  我们用 A表示事件 “测出为阳性”, 用 B1表示“得癌症”, B2表示“未得癌症”。根据题目,我们知道如下信息:

  这里P(B1,A)表示的是联合概率,得癌症且检测出阳性的概率是人群中得癌症的概率乘上得癌症时测出是阳性的几率,是0.009。同理可得得癌症且检测出阳性的概率:

  这个概率是什么意思呢?其实是指如果人群中有1000个人,检测出阳性并且得癌症的人有9个,检测出阳性但未得癌症的人有99个。可以看出,检测出阳性并不可怕,不得癌症的是绝大多数的,这跟我们一开始的直觉判断是不同的!可直到现在,我们并没有得到所谓的“在检测出阳性的前提下得癌症的概率”,怎么得到呢?很简单,就是看被测出为阳性的这108(9+99)人里,9人和99人分别占的比例就是我们要的,也就是说我们只需要添加一个归一化因子(normalization)就可以了。

  可以看出上面这个例子中,B 事件的分布是离散的,所以在分母用的是求和符号 。那如果我们的参数的分布是连续的呢?没错,那就要用积分,于是我们终于得到了真正的 贝叶斯公式 :

  其中指的是参数的概率分布,()指的是先验概率,(x)指的是后验概率, 指的是我们观测到的样本的分布,也就是似然函数(likelihood),记住竖线左边的才是我们需要的。其中积分求的区间指的是参数 所有可能取到的值的域,所以可以看出后验概率(x) 是在知道 X的前提下在 域内的一个关于 的概率密度分布,每一个都有一个对应的可能性(也就是概率)。

  听闻最近官兵换统领了,可能要来剿匪了。这里驻扎的军兵每5年都会换一届统领,新官上任三把火,都想拿你们来开刀。不过每次,你都带领兄弟们打退了官兵的围剿。

  这次不同了,听说换的是个厉害的角色。因此,你让二头领派人下山去打探消息,看看是不是要来攻山。

  打探的人回来了,支支吾吾地说:官兵不会来,因为新来统领他妈生病了,回家探病去了。

  你看这个回报的人,变毛变色的,说话吞吞吐吐。但是,他也有可能是因为没见过你大头领,回话的时候,有些紧张害怕。

  你作为一个受过高等教育的人(学过概率论,贝叶斯定理的人),心理开始盘算:

  1. 三头领劝你好好考虑下,说这个小子虽然人机灵,但是经常是十句话里面有七八句是假的,嘴里没实话。

  1. 十之七八都假线.姑且认为三当家的话是线.那么派出去这小子,说假线%算把,

  【注意】:贝叶斯定律是直接将 15%+20%做分母,两个概率做分子,分别重新计算其条件概率。

  但是,这个亲信,虽然忠诚,明显不够机灵。他在打探时,可能被欺骗。他虽然不会骗你,但难保他被别人骗。因此,他的话只能做参考,也不可完全相信:

  他说官兵不来,官兵不来的概率是:3/7*30%=12.86%(实际官兵会来)

  他说官兵不来,官兵不来的概率是:4/7*70%=40%(实际官兵不会来)

  看到20.46%?这个概率还是太大,你还是不放心,决定带上二当家,自己亲自下山一趟。

  听了这个消息,你大惊失色。你感觉自己可能也被骗了,但是凭自己的经验,被骗的可能性很小只有5%的可能性。

  于是,你和二当家,约定今晚,趁着月色又摸来了一趟军营。发现确实在调动军队。

  你心里想,不打你们山寨?打什么打仗?最近有啥大事?于是你又将那个心理的概率修正为:

  这个时候,你突然意识到,自己的思维好像不太对。这后面几次,信息全是压倒性的修正,一次一次,不是0%就是100%,完全不像一个受过高等教育的山寨头领。

  那么,结合刚刚的概率(来的概率:20.46%,不来的概率:79.54%)

  他说官兵不来,官兵不来的概率是:79.54%*50%=39.77%(实际官兵会来)

  他说官兵来,官兵不来的概率是:20.46*50%=10.23%(实际官兵不会来)

  你发现,概率居然没变?你明白了,你假设说线%,那相当于没有任何信息量,等于他什么也没说。妈*的!你作为受过高等教育的土匪头子,还是情不自禁地骂了一句。

  士兵甲接着说:嘿嘿,皇帝老子要打台湾了。收拾了三藩,接下来收拾台湾了,我们都归施琅统领。

  士兵甲:嗨,我骗你做啥?今天我听李二嘎子说的,他说他二叔在施琅手下,他二叔告诉他的。

  你听到这里,已经敏锐的觉察到事情的原理了,朝着二当家使了个眼色,你们悄悄撤了。

  为什么?因为你算了一下,李二嘎子的话可信吗?根据士兵乙的估计这个人,线%线%假话,于是你开始计算了:

  看样子,官兵不来的概率很大。但是也不能掉以轻心。所以,你决定,回去之后,不必过份紧张,但要提高警戒,并不断派兄弟下来打探情况。

  贝叶斯公式由浅入深大讲解-AI基础算法入门 - math,数学专栏 - 周陆军的个人网站

网友评论

我的2016年度评论盘点
还没有评论,快来抢沙发吧!