贝叶斯统计与决策讲座

《贝叶斯统计与决策讲座》由会员分享，可在线阅读，更多相关《贝叶斯统计与决策讲座（89页珍藏版）》请在装配图网上搜索。

1、STATISTICS PROBABILITYPROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYSTATISTICS STATISTICS PROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYPROBABILITY&STATISTICS-4-2024PROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYSTATISTICS 贝叶斯统计与决策 吴志雄吴志雄 统计学中有二个主要学派：频

2、率学派和统计学中有二个主要学派：频率学派和贝叶斯学派。贝叶斯学派的起点是贝叶斯的贝叶斯学派。贝叶斯学派的起点是贝叶斯的两项工作：贝叶斯定理和贝叶斯假设，贝叶两项工作：贝叶斯定理和贝叶斯假设，贝叶斯定理（或贝叶斯公式）在通常的概率论教斯定理（或贝叶斯公式）在通常的概率论教科书中都有叙述，而贝叶斯假设几乎都不提科书中都有叙述，而贝叶斯假设几乎都不提及。在统计推断的基本理论和方法方面，贝及。在统计推断的基本理论和方法方面，贝叶斯学派与频率学派之间存在着重大差异。叶斯学派与频率学派之间存在着重大差异。1 1 贝叶斯统计概述贝叶斯统计概述2 2 先验分布的确定先验分布的确定3 3 贝叶斯统计推断贝叶斯统

3、计推断4 4 贝叶斯决策贝叶斯决策引例引例 有三个箱子，分别编号为有三个箱子，分别编号为1,2,3。1号箱装有号箱装有1个红球个红球4个白球，个白球，2号箱装有号箱装有2红红3白球，白球，3号箱装号箱装有有3红球红球.某人从三箱中任取一箱，从中任意摸某人从三箱中任取一箱，从中任意摸出一球，（出一球，（1）求取得红球的概率。（）求取得红球的概率。（2）已知）已知取出的是红球，求此球来自取出的是红球，求此球来自1号箱的概率。号箱的概率。(1)解：记解：记 Bi=球取自球取自 i 号箱号箱,i=1,2,3;A=取得红球取得红球123AB AB AB A B1A,B2A,B3A 两两互斥两两互斥123

4、P(A)P(B A)P(B A)P(B A)112233P(B)P(A B)P(B)P(A B)P(B)P(A B)将此例中所用的方法推广到一般的情形，就将此例中所用的方法推广到一般的情形，就得到在概率计算中常用的得到在概率计算中常用的全概率公式。3iii 1P(B)P(A B)1135依题意，依题意，P(A|B1)=1/5,P(A|B2)=2/5,P(A|B3)=3/312351333815(2)解：解：引例引例 有三个箱子，分别编号为有三个箱子，分别编号为1,2,3。1号箱装有号箱装有1个红球个红球4个白球，个白球，2号箱装有号箱装有2红红3白球，白球，3号箱装号箱装有有3红球红球.某人从

5、三箱中任取一箱，从中任意摸某人从三箱中任取一箱，从中任意摸出一球，（出一球，（1）求取得红球的概率。（）求取得红球的概率。（2）已知取）已知取出的是红球，求此球来自出的是红球，求此球来自1号箱的概率。号箱的概率。1P(B A)11P(B)P(A B)P(A)113iii 1P(B)P(A B)P(B)P(A B)1135815 18 1P(B A)P(A)Bayes公式这类问题，是这类问题，是“已知结果求原因已知结果求原因”是已知是已知某结果发生条件下，求各原因发生可能性大小。某结果发生条件下，求各原因发生可能性大小。设设B1,B2,Bn是两两互斥的事件，且是两两互斥的事件，且P(Bi)0，i

6、=1,2,n,另有一事件另有一事件A，它总是与，它总是与B1,B2,Bn 之之一同时发生，则一同时发生，则 kP(BA)iP(B A)njjj 1P(B)P(A B)iP(B A)P(A)iiP(B)P(A B)称称 P(Bi)为为先验概率先验概率，它是由以往的经，它是由以往的经验得到的，它是事件验得到的，它是事件 A 的原因。的原因。称称 为为后验概率后验概率，它是得到了信，它是得到了信息息 A 发生，再对导致发生，再对导致 A 发生的原因发生的原因Bi发生发生的可能性大小重新加以修正。的可能性大小重新加以修正。iP(B A)后来的学者依据贝叶斯公式的思想发展了后来的学者依据贝叶斯公式的思想

7、发展了一整套统计推断方法，叫作一整套统计推断方法，叫作“贝叶斯统计贝叶斯统计”。可见贝叶斯公式的影响可见贝叶斯公式的影响 。例例 1.1 用用Bayes公式分析伊索寓言公式分析伊索寓言孩子与狼孩子与狼中中村民对小孩的信赖程度是如何下降的。村民对小孩的信赖程度是如何下降的。解解:A：小孩说谎；小孩说谎；B：小孩可信；小孩可信；小孩第说一次谎后的可信度为：小孩第说一次谎后的可信度为：不妨设：不妨设：P(B)=0.8；P(A B)0.1;P(A B)0.5;P(AB)P(B A)P(A)P(B)P(A B)P(B)P(A B)P(B)P(A B)0.8 0.10.8 0.10.2 0.5 0.444

8、 小孩第说二次谎后的可信度为：小孩第说二次谎后的可信度为：P(B)P(A B)P(B A)P(B)P(A B)P(B)P(A B)0.4440.10.4440.10.5560.5 0.138 贝叶斯统计学的基础是著名的贝叶斯公式，它贝叶斯统计学的基础是著名的贝叶斯公式，它是英国学者贝叶斯（是英国学者贝叶斯（T.R.Bayes17021761）在他死后在他死后二年发表的一篇论文论有关机遇问题的求解中二年发表的一篇论文论有关机遇问题的求解中提出的。经过二百年的研究与应用，贝叶斯的统计提出的。经过二百年的研究与应用，贝叶斯的统计思想得到很大的发展，目前已形成一个统计学派思想得到很大的发展，目前已形成

9、一个统计学派贝叶斯学派。为了纪念他，英国历史最悠久的统计贝叶斯学派。为了纪念他，英国历史最悠久的统计杂志杂志Biometrika在在1958年又全文刊登贝叶斯的这年又全文刊登贝叶斯的这篇论文。篇论文。1.总体信息：总体分布或所属分布族提供给我们的总体信息：总体分布或所属分布族提供给我们的 信息信息 2.样本信息：从总体抽取的样本提供给我们的信息样本信息：从总体抽取的样本提供给我们的信息 3.先验信息：在抽样之前有关统计推断的一些信息先验信息：在抽样之前有关统计推断的一些信息1)频率统计学派与贝叶斯学派在进行统计推频率统计学派与贝叶斯学派在进行统计推 断时的断时的依据不同依据不同；2)对概率的概

10、念的对概率的概念的理解不同理解不同；3)两个学派的具体统计推断理念之间存在两个学派的具体统计推断理念之间存在根根 本差异。本差异。频率统计学派在进行统计推断时，依据两类信息：频率统计学派在进行统计推断时，依据两类信息：总体信息（或模型信息）和样本信息（数据信总体信息（或模型信息）和样本信息（数据信息），而贝叶斯学派则除了以上两种信息外，还息），而贝叶斯学派则除了以上两种信息外，还利用另外一种信息即先验信息。利用另外一种信息即先验信息。在概率论与数理统计中讨论的点估计只使用在概率论与数理统计中讨论的点估计只使用前两种信息，没有使用先验信息。假如能把收集前两种信息，没有使用先验信息。假如能把收集到

11、的先验信息也利用起来，那对我们进行统计推到的先验信息也利用起来，那对我们进行统计推断是有好处的。只用前两种信息的统计学称为经断是有好处的。只用前两种信息的统计学称为经典统计学，三种信息都用的统计学称为贝叶斯统典统计学，三种信息都用的统计学称为贝叶斯统计学。计学。频率学派坚持概率的频率解释，并在频率学派坚持概率的频率解释，并在这个基础上去理解一切统计推断的结论；这个基础上去理解一切统计推断的结论；与此相反，贝叶斯学派赞成主观概率，概与此相反，贝叶斯学派赞成主观概率，概率是认识主体对事件出现可能性大小的相率是认识主体对事件出现可能性大小的相信程度，它不依赖事件能否重复；信程度，它不依赖事件能否重复

12、；统计学奠基人费歇尔把统计学的任务概括为统计学奠基人费歇尔把统计学的任务概括为三个问题：选定模型、确定统计量和决定统计量三个问题：选定模型、确定统计量和决定统计量的分布。根据费歇尔的观点，信息量包含在样本的分布。根据费歇尔的观点，信息量包含在样本中，但样本为数众多，因此须用少数几个统计量中，但样本为数众多，因此须用少数几个统计量把信息集中起来，而抽样分布则决定了统计量的把信息集中起来，而抽样分布则决定了统计量的全部性质；目前，频率统计学派基本上是按照这全部性质；目前，频率统计学派基本上是按照这种思路来处理统计推断问题的。种思路来处理统计推断问题的。贝叶斯学派认为：先验分布反映了试验前对贝叶斯学

13、派认为：先验分布反映了试验前对总体参数分布的认识，在获得样本信息后，对这总体参数分布的认识，在获得样本信息后，对这个认识有了改变，其结果就反映在后验分布中，个认识有了改变，其结果就反映在后验分布中，即后验分布综合了先验分布和样本的信息。由此即后验分布综合了先验分布和样本的信息。由此可以看出，频率学派统计推断是可以看出，频率学派统计推断是“从无到有从无到有”的的过程过程在试验前，关于位置参数的情况是一无在试验前，关于位置参数的情况是一无所知，而试验后则有些了解，但了解多少？并无所知，而试验后则有些了解，但了解多少？并无普遍的表述方法，在实践中有赖于所使用的统计普遍的表述方法，在实践中有赖于所使用

14、的统计量的针对性；贝叶斯统计推断则不然，它是一个量的针对性；贝叶斯统计推断则不然，它是一个“从有到有从有到有”的过程，且结果清楚自然，符合人的过程，且结果清楚自然，符合人们的思维习惯们的思维习惯根据所获得的信息修正以前的根据所获得的信息修正以前的看法，不一定从零开始，从本质上说，贝叶斯推看法，不一定从零开始，从本质上说，贝叶斯推断理论概括了多数成年人的学习过程。断理论概括了多数成年人的学习过程。但是最主要的差别，也是贝叶斯理论的一个重但是最主要的差别，也是贝叶斯理论的一个重要特征，在于只能基于后验分布，也就是说，在要特征，在于只能基于后验分布，也就是说，在获得后验分布后，如果把样本、原来的统计

15、模型获得后验分布后，如果把样本、原来的统计模型都丢掉，一点也不会影响将来的推断，凡是符合都丢掉，一点也不会影响将来的推断，凡是符合这个准则的推断就是贝叶斯推断。据此，矩估计、这个准则的推断就是贝叶斯推断。据此，矩估计、显著性统计检验和置信区间估计都不属于贝叶斯显著性统计检验和置信区间估计都不属于贝叶斯推断，但最大似然估计则可视为均匀先验分布之推断，但最大似然估计则可视为均匀先验分布之下的贝叶斯推断，因此，作为频率学派中一个很下的贝叶斯推断，因此，作为频率学派中一个很重要的极大似然估计，其实，它只不过是在一种重要的极大似然估计，其实，它只不过是在一种很特殊先验分布下的贝叶斯估计而已。很特殊先验分

16、布下的贝叶斯估计而已。1.1.贝叶斯公式的事件形式：贝叶斯公式的事件形式：假定假定 是互不相容的事件，它是互不相容的事件，它们之和们之和 包含事件包含事件B，即，即 ，则有：，则有：kAA,1kiiA1kiiAB11()(|)(|)()(|)iiikiiiP A P B AP A BP A P B A假设假设 随机变量随机变量X有一个密度函数有一个密度函数p(x;)，其中其中是是一个参数，不同的一个参数，不同的对应不同的密度函数，故从贝叶对应不同的密度函数，故从贝叶斯观点看，斯观点看，p(x;)是在给定是在给定后的一个条件密度函数，后的一个条件密度函数，因此记为因此记为p(x)更恰当一些。这个

17、条件密度能提供我更恰当一些。这个条件密度能提供我们的有关的们的有关的信息就是总体信息。信息就是总体信息。假设假设 当给定当给定后，从总体后，从总体p(x)中随机抽取一个样中随机抽取一个样本本X1，Xn，该样本中含有该样本中含有的有关信息。这种信的有关信息。这种信息就是样本信息。息就是样本信息。2.2.贝叶斯公式的密度函数形式：贝叶斯公式的密度函数形式：在给出贝叶斯公式的密度函数形式之前，先介绍在给出贝叶斯公式的密度函数形式之前，先介绍以下贝叶斯学派的一些具体思想或者叫着基本假设以下贝叶斯学派的一些具体思想或者叫着基本假设：假设假设 从贝叶斯观点来看，未知参数从贝叶斯观点来看，未知参数是一个随机

18、变量。而描是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用为先验分布，其密度函数用()表示。表示。（1）先验分布先验分布定义定义1 将总体中的未知参数将总体中的未知参数看成一取值于看成一取值于的随机变量，的随机变量，它有一概率分布，记为它有一概率分布，记为()，称为参数称为参数的先验分布。的先验分布。（2）后验分布后验分布 在贝叶斯统计学中，把以上的三种信息归纳起来的最好在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本形式是在总体分布基础上获得的样本X1，Xn

19、，和参数和参数的联合密度函数：的联合密度函数：)(),(),(11nnxxpxxh 在这个联合密度函数中。当样本在这个联合密度函数中。当样本 给定之后，未知给定之后，未知的仅是参数的仅是参数了，我们关心的是样本给定后，了，我们关心的是样本给定后，的条件密度函数，的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数：依据密度的计算公式，容易获得这个条件密度函数：nXX,1dxxpxxpxxmxxhxxnnnnn)(),()(),(),(),(),(11111这就是贝叶斯公式的密度函数形式，其中这就是贝叶斯公式的密度函数形式，其中称为称为的的后验密度函数后验密度函数，或，或后验分布后验分布

20、。而。而：),(1nxx dxxpxxmnn)(),(),(11是样本的边际分布，或称样本是样本的边际分布，或称样本 的无条件分布，的无条件分布，它的积分区域就是参数它的积分区域就是参数的取值范围，随具体情况而定。的取值范围，随具体情况而定。nXX,1 当当 是离散随机变量时，先验分布可用先是离散随机变量时，先验分布可用先验分布列验分布列(i)，这时后验分布也是离散形，这时后验分布也是离散形式：式：假如总体假如总体X也是离散的，则只须将也是离散的，则只须将p(x|)换换成成P(X=x|)即可。即可。,2,1)()|()()|()|(ixpxpxjjjiii，前面的分析总结如下：人们根据先验信息

21、对参前面的分析总结如下：人们根据先验信息对参数数已有一个认识，这个认识就是先验分布已有一个认识，这个认识就是先验分布()()。通过试验，获得样本。从而对通过试验，获得样本。从而对的先验分布进行调的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布的结果就是后验分布 。后验分布是三。后验分布是三种信息的综合。获得后验分布使人们对种信息的综合。获得后验分布使人们对的认识又的认识又前进一步，可看出，获得样本的的效果是把前进一步，可看出，获得样本的的效果是把我们对我们对的认识由的认识由()调整到调整到 。所以对。所以对的统计的统计推

22、断就应建立在后验分布推断就应建立在后验分布 的基础上的基础上。),(1nxx),(1nxx),(1nxx 例例1.2 设事件设事件A的概率为的概率为 ，即，即 。为了估计。为了估计 而而作作n次独立观察，其中事件次独立观察，其中事件A出现次数为出现次数为X，则有则有X服从二项服从二项分布分布 即即)(A),(nb.,1,0,)1()(nxCxXPxnxxn解题步骤：解题步骤：1.1.作贝叶斯假设。如果此时我们对事件作贝叶斯假设。如果此时我们对事件A的发生的发生没有任何了解，对没有任何了解，对 的大小也没有任何信息。在这种情况下，的大小也没有任何信息。在这种情况下，贝叶斯建议用区间（贝叶斯建议用

23、区间（0，1）上的均匀分布作为）上的均匀分布作为的先验分布。的先验分布。因为它在（因为它在（0，1）上每一点都是机会均等的。因此：）上每一点都是机会均等的。因此：others,010,1)(2.计算样本计算样本X与参数与参数 的联合分布：的联合分布：),(xh10,1,0,)1(nxCxnxxn此式在定义域上与二项分布有区别。此式在定义域上与二项分布有区别。如何求出后验分布？如何求出后验分布？nxnxnxCdxhxmxn,1,0,)2()1()1(),()(10 10,)1()1()1()2()(xnxxnxnx(1,1)Be xnx即：即：5.具体算例。拉普拉斯计算过这个概率具体算例。拉普拉

24、斯计算过这个概率,研究男婴的诞生比研究男婴的诞生比例是否大于例是否大于0.5?如抽了如抽了251527个男婴个男婴,女婴女婴241945个。他选用个。他选用U(0，1)作为作为的先验分布，于是可得的先验分布，于是可得的后验分布的后验分布Be(x+1,n-x+1),其中其中n=251527+241945=493472，x=251527。由此拉普。由此拉普拉斯计算了拉斯计算了“0.5”的后验概率：的后验概率：故他断言男婴诞生的概率大于故他断言男婴诞生的概率大于0.5。425.001015.1)1()1()1()2()/5.0(dxnxnxPxnx4.利用贝叶斯公式可得利用贝叶斯公式可得 的后验分布

25、：的后验分布：3.计算计算X的边际密度为的边际密度为:注：伽玛函数与贝塔分布简介：注：伽玛函数与贝塔分布简介：11()(;,)(1),01,0,0()()pqpqp x p qxxxpqpq101110(),0,(1)!(,)(1),0,0()()(,),0,0()sxpqsxe dx snnB p qxxdxpqpqB p qpqpq称为伽玛函数，定义：定义：定义在定义在0，1上，且用密度函数：上，且用密度函数：表示的概率分布称为贝塔分布，记为表示的概率分布称为贝塔分布，记为B Be e(p,qp,q)。2(),()()(1)ppqE xVar xpqpqpq 特例：特例：当当p=q=1时，

26、时，Be(1,1)(1,1)分布即为区间分布即为区间 00，11上的均匀分布；上的均匀分布；当当p=q=1/2，Be(1/2,1/2)(1/2,1/2)分布称为反正弦分布称为反正弦分布，分布，密度函数为：密度函数为：设设 ，则，则 的密度函数为：的密度函数为：10,)1(1)(xxxxp)1,0(Uxi10,)1()!()!1(!)(1xxxknknxpknk即：即：)(kx()Be(,1)kxk nk为什么将贝塔分布作为为什么将贝塔分布作为的先验分布族是恰当的？的先验分布族是恰当的？(1)参数参数是废品率，它仅在（是废品率，它仅在（0，1）上取值。因此，必需用）上取值。因此，必需用 区间（区

27、间（0，1）上的一个分布去拟合先验信息。）上的一个分布去拟合先验信息。分布正是分布正是 这样一个分布。这样一个分布。(2)分布含有两个参数分布含有两个参数p与与q，不同的不同的p与与q就对应不同的先验就对应不同的先验 分布，因此这种分布的适应面较大。分布，因此这种分布的适应面较大。(3)样本样本X的分布为二项分布的分布为二项分布b(n,)时，假如时，假如的先验分布为的先验分布为分布，则用贝叶斯估计算得的后验分布仍然是分布，则用贝叶斯估计算得的后验分布仍然是分布，只是分布，只是其中的参数不同。这样的先验分布其中的参数不同。这样的先验分布(分布分布)称为参数称为参数的共轭的共轭先验分布。选择共轭先

28、验分布在处理数学问题上带来不少方先验分布。选择共轭先验分布在处理数学问题上带来不少方便。便。为了提高某产品的质量，公司经理考虑增加投为了提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资资来改进生产设备，预计需投资10100 0万元，但从投万元，但从投资效果看，下属部门有两种意见：资效果看，下属部门有两种意见：1 1 ：改进生产设备后，高质量产品可占：改进生产设备后，高质量产品可占90%90%2 2：改进生产设备后，高质量产品可占：改进生产设备后，高质量产品可占70%70%问：公司经理怎样决策？问：公司经理怎样决策？根据过去的经验知：根据过去的经验知：1 1的可信度为的可信度为4

29、0%40%，2 2的可信度为的可信度为60%60%12()0.4,()0.6 试验试验A，A：试制：试制5个产品，全是高质量的产品个产品，全是高质量的产品5512(|)0.90.590,(|)0.70.168,P AP A1122()(|)()(|)()=0.590*0.4+0.168*0.60.2360.1010.337P AP AP A 111(|)()(|)0.236/0.3370.7()P AAP A 222(|)()(|)0.101/0.3370.3()P AAP A 试验试验B，B：试制：试制10个产品，个产品，9个是高质量的产品个是高质量的产品 9192(|)10 0.90.10

30、.387,(|)10 0.70.30.121,P BP B1122()(|)()(|)()0.307P BP BP B 111(|)()(|)0.883()P BBP B 222(|)()(|)0.117()P BBP B 12()0.7,()0.3 上次后验，本次先验1.4.11.4.1共轭先验分布共轭先验分布 定义定义1.1 设设 是总体分布中的参数（或参数向是总体分布中的参数（或参数向量），量），()是是 的先验密度函数，假如由抽样的先验密度函数，假如由抽样信息算得的后验密度函数与信息算得的后验密度函数与()有相同的形式，有相同的形式，则称则称()是是 的（自然）共轭先验分布。的（自然）

31、共轭先验分布。注意：共轭先验分布是对某一分布中的参数而注意：共轭先验分布是对某一分布中的参数而言的。如正态均值、正态方差、泊松均值等。离开言的。如正态均值、正态方差、泊松均值等。离开指定参数及其所在的分布去谈论共轭先验分布是没指定参数及其所在的分布去谈论共轭先验分布是没有意义的。有意义的。在给定样本分布在给定样本分布p(x|)和先验分布和先验分布()后可用贝叶后可用贝叶斯公式计算斯公式计算的后验分布：的后验分布：()=p(x|)()/m(x)，由于由于m(x)不依赖于不依赖于，在计算，在计算的后验分布中仅起到的后验分布中仅起到一个正则化因子的作用。假如把一个正则化因子的作用。假如把m(x)省略

32、，把贝叶省略，把贝叶斯公式改写成如下等价形式：斯公式改写成如下等价形式：其中符号其中符号“”表示两边仅差一个常数因子，一个表示两边仅差一个常数因子，一个不依赖于不依赖于的常数因子。上式右端称为后验分布的常数因子。上式右端称为后验分布 的核。的核。)()|()|(xpx)|(x 共轭先验分布在很多场合被采用，因为它共轭先验分布在很多场合被采用，因为它有两个优点：有两个优点：（1）计算方便。）计算方便。（2）后验分布的一些参数可得到很好的解释。）后验分布的一些参数可得到很好的解释。不足：怎样找到合适的先验分布？不足：怎样找到合适的先验分布？共轭先验分布选取的一般原则：共轭先验分布选取的一般原则：是

33、由似然函数是由似然函数L()=p(x|)中所含的因式所中所含的因式所决定的，即选与似然函数具有相同核的分布作决定的，即选与似然函数具有相同核的分布作为先验分布。为先验分布。总体分布参数共轭先验分布后验分布的期望正态分布均值正态分布正态分布方差倒分布IGa(a,b)二项分布 成功概率 分布Poisson分布 均值 分布Ga(a,b)指数分布均值的倒数 分布Ga(a,b),(2N2222x),(pnb),(banxbaxa)(1bxa),(2N),(2N 一、超参数的定义：先验分布中所含的未知参数称为一、超参数的定义：先验分布中所含的未知参数称为超参数超参数 二、估计方法：共轭先验分布是一种有信息

34、的先验分二、估计方法：共轭先验分布是一种有信息的先验分布，故其中所含的超参数应充分利用各种先验信息来布，故其中所含的超参数应充分利用各种先验信息来确定它，下面用一个例子来介绍目前国内外文献中对确定它，下面用一个例子来介绍目前国内外文献中对超参数的估计方法：超参数的估计方法：问题：二项分布中成功概率问题：二项分布中成功概率的共轭先验分布是贝的共轭先验分布是贝塔分布塔分布Be(,)，怎样确定两个超参数，怎样确定两个超参数和和？22)1()(S )1()1(22S122211,11=,1kkkiiiiskk 设根据先验信息获得成功概率 的若干个估计值，记为,.,得先验均值和先验方差为对贝塔分布Be(

35、,)由矩法知 假如根据先验信息可以确定贝塔分布的二假如根据先验信息可以确定贝塔分布的二个分位数，则可用这两个分位数来确定个分位数，则可用这两个分位数来确定与与，譬如用两个上、下四分位数，譬如用两个上、下四分位数U与与L来确来确定定与与，U与与L分别满足如下二个方程：分别满足如下二个方程：从这两个方程解出从这两个方程解出与与即可确定超参数。即可确定超参数。25.0)1()()()(25.0)1()()()(111011ULdd 假如根据先验信息可获得先验均值假如根据先验信息可获得先验均值 和和p分分位数位数 ，则可列出下列方程：，则可列出下列方程：由此可解出由此可解出与与的估计值。的估计值。pd

36、p11)1()()()(p1.贝叶斯学派要研究的问题：如何用人们的经贝叶斯学派要研究的问题：如何用人们的经验和过去的历史资料确定概率和先验分布。验和过去的历史资料确定概率和先验分布。2.经典统计确定概率的两种方法：经典统计确定概率的两种方法：（1）古典方法；）古典方法；（2）频率方法。）频率方法。3.主观概率的定义：一个事件的概率是人们根主观概率的定义：一个事件的概率是人们根据经验对该事件发生可能性所给出的个人信据经验对该事件发生可能性所给出的个人信念。念。2 2 先验分布的确定先验分布的确定 1.1.利用对立事件的比较确定主观概率利用对立事件的比较确定主观概率；2.2.利用专家意见确定主观概

37、率；利用专家意见确定主观概率；3.3.向多位专家咨询确定主观概率向多位专家咨询确定主观概率 ；4.4.充分利用历史资料，考虑现有信息加以修正充分利用历史资料，考虑现有信息加以修正,才才能得到比较切合实际的主观概率能得到比较切合实际的主观概率 。45当先验信息足够多时，可用下列方法：当先验信息足够多时，可用下列方法：一、直方图法一、直方图法二、选定先验密度函数形式再估计其超参数二、选定先验密度函数形式再估计其超参数三、定分度法与变分度法三、定分度法与变分度法46一、贝叶斯假设与广义先验分布一、贝叶斯假设与广义先验分布二、位置二、位置-尺度参数的无信息先验尺度参数的无信息先验三、三、Jeffrey

38、s 先验先验四、四、Reference先验先验五、概率匹配先验五、概率匹配先验1.后验分布的特点：未知参数的后验分布是集三种信后验分布的特点：未知参数的后验分布是集三种信息（总体、样本和后验）于一身，它包含了所有可供息（总体、样本和后验）于一身，它包含了所有可供利用的信息。故有关的参数估计和假设检验等统计推利用的信息。故有关的参数估计和假设检验等统计推断都按一定方式从后验分布提取信息，其提取方法与断都按一定方式从后验分布提取信息，其提取方法与经典统计推断相比要简单明确得多。经典统计推断相比要简单明确得多。2.条件方法的基本思想：基于后验分布的统计推断实条件方法的基本思想：基于后验分布的统计推断

39、实际上只考虑已出现的数据（样本观察值）而认为未出际上只考虑已出现的数据（样本观察值）而认为未出现的数据与推断无关，这一重要的观点被称为现的数据与推断无关，这一重要的观点被称为“条件条件观点观点”，基于这种观点提出的统计方法被称为条件方，基于这种观点提出的统计方法被称为条件方法。法。3.条件方法与频率方法的区别：条件方法与频率方法的区别：(以对估计的无偏性认识为以对估计的无偏性认识为例例)例如经典统计学认为参数的无偏估计应满足：例如经典统计学认为参数的无偏估计应满足：其中平均是对样本空间中所有可能出现的样本而求的，可实其中平均是对样本空间中所有可能出现的样本而求的，可实际中样本空间中绝大多数样本

40、尚为出现过，而多数从未出现际中样本空间中绝大多数样本尚为出现过，而多数从未出现的样本也要参与平均是实际工作者难以理解的。故在贝叶斯的样本也要参与平均是实际工作者难以理解的。故在贝叶斯推断中不用无偏性，而条件方法是容易被实际工作者理解和推断中不用无偏性，而条件方法是容易被实际工作者理解和接受的。接受的。xdxxpxxE)|()()(1.1.贝叶斯估计贝叶斯估计 定义定义3.1 使后验密度使后验密度 达到最大的值达到最大的值 称为最大后验称为最大后验估计；后验分布的中位数估计；后验分布的中位数 称为后验中位数估计；后验分称为后验中位数估计；后验分布的期望值布的期望值 称为称为 的后验期望值估计，这

41、三个估计都称的后验期望值估计，这三个估计都称为贝叶斯估计，记为为贝叶斯估计，记为 。)(xMDMeEB解题的基本步骤：解题的基本步骤：2分析后验分布的特征：分析后验分布的特征：对称分布对称分布 例例3 3.2 为估计不合格率为估计不合格率 ，今从一批产品中随机抽取，今从一批产品中随机抽取n件，件，其中不合格品数其中不合格品数X服从服从 ，一般选取，一般选取 为为 的的先验分布，设先验分布，设 已知，求已知，求 的的Bayes估计。估计。解：由共轭先验分布可知，解：由共轭先验分布可知，的后验分布为：的后验分布为：则得：则得：),(Be),(pnB,),(xnxBenxnxEMD,21特例：选用贝

42、叶斯假设作为先验分布，即特例：选用贝叶斯假设作为先验分布，即1则则：21,nxnxEMD第一、在二项分布时，第一、在二项分布时，的最大后验估计就是经典统的最大后验估计就是经典统计中的极大似然估计，即计中的极大似然估计，即 的极大似然估计就是取特的极大似然估计就是取特定的先验分布下的贝叶斯估计。定的先验分布下的贝叶斯估计。第二、第二、的后验期望值估计的后验期望值估计 要比最大后验估计要比最大后验估计 更合适一些。更合适一些。EMD注意注意:试验试验号号样本样本量量n不合不合格数格数x13000.200210000.08333310.8004101010.91721nxEnxMD一、可信区间一、可

43、信区间 这里的可信水平和可信区间与经典统计中的置信水平与这里的可信水平和可信区间与经典统计中的置信水平与置信区间虽是同类的概念，但两者还是有本质的差别，主要置信区间虽是同类的概念，但两者还是有本质的差别，主要表现在下面二点表现在下面二点:1.在条件方法下在条件方法下,对给定的样本对给定的样本 x和可信水平和可信水平1-，通过后通过后验分布可求得具体的可信区间，譬如，验分布可求得具体的可信区间，譬如，的可信水平为的可信水平为0.9的可的可信区间是信区间是1.5，2.6，这时我们可以写出，这时我们可以写出9.0)6.25.1(xP 2.在经典统计中寻求置信区间有时是困难的，因为它要在经典统计中寻求

44、置信区间有时是困难的，因为它要设法构造一个枢轴量（含有被估计参数的随机变量），使它设法构造一个枢轴量（含有被估计参数的随机变量），使它的分布不含未知参数，这是一项技术性很强的工作。相比之的分布不含未知参数，这是一项技术性很强的工作。相比之下可信区间只要利用后验分布，不需要再去寻求另外的分布，下可信区间只要利用后验分布，不需要再去寻求另外的分布，可信区间的寻求要简单得多。可信区间的寻求要简单得多。例例3.3 3.3 设设 是来自正态总体是来自正态总体 的的一个样本观察值，其中一个样本观察值，其中 已知已知,若正态均值的先验分若正态均值的先验分布取为布取为 ，其中，其中 与与 已知，则可求得已知，

45、则可求得 的后的后验分布为验分布为 ，由此很容易获得，由此很容易获得 的的 可信可信 区间区间：nxxx,21),(2N2),(2N),(211N11)(21112111P其中其中21是标准正态分布是标准正态分布1-/2/2的分位数。的分位数。3.4.1 3.4.1 假设检验假设检验 经典统计中处理假设检验问题的基本步骤：经典统计中处理假设检验问题的基本步骤：1.建立原假设建立原假设H0与备择假设与备择假设H1：H0：0，H1：1 其中其中0与与1是参数空间是参数空间中不相交的二个非空子集。中不相交的二个非空子集。2.选择检验统计量选择检验统计量T=T(x)，使其在原假设，使其在原假设H0为真

46、时概为真时概率分布是已知的。这是在经典方法中最困难的一步。率分布是已知的。这是在经典方法中最困难的一步。3.对给定的显著性水平对给定的显著性水平(01)，确定拒绝域，确定拒绝域W，使犯，使犯第第类错误（拒真错误）的概率不超过类错误（拒真错误）的概率不超过。4.当样本观察值当样本观察值x落入拒绝域落入拒绝域W时，就拒绝原假设时，就拒绝原假设H0，接受备择假设接受备择假设H1；否则就保留原假设。；否则就保留原假设。59 1.贝叶斯假设检验无需选择检验统计量，贝叶斯假设检验无需选择检验统计量，确定抽样分布；确定抽样分布；2.无需事先给出显著性水平，确定其拒绝无需事先给出显著性水平，确定其拒绝域；域；

47、3.易推广到多重假设检验的场合，检验的易推广到多重假设检验的场合，检验的标准是：接受具有最大后验概率的假设。标准是：接受具有最大后验概率的假设。4.1 4.1 决策理论基础决策理论基础 1.状态集状态集 ,其中每个元素其中每个元素 表示自然界表示自然界(或社会或社会)可能出现的一种状态可能出现的一种状态,所有可能状态的全所有可能状态的全体组成状态集体组成状态集.（如例（如例2中的两种状态：雨水充足中的两种状态：雨水充足和雨水不充足）和雨水不充足）2.行动集行动集 ,其中其中a表示人对自然界可能采取表示人对自然界可能采取的一个行动的一个行动.注意：一般行动集有两个以上的行动供选择注意：一般行动集

48、有两个以上的行动供选择.若若有两个行动无论对自然界的哪一个状态出现有两个行动无论对自然界的哪一个状态出现,总总比比 收益高收益高,则则 就没有存在的必要就没有存在的必要,可把它从行动可把它从行动集中去掉集中去掉,使留在行动集中的行动总有可取之处使留在行动集中的行动总有可取之处.a1a2a2a3.3.收益函数收益函数 。函数值函数值 表示当自然界表示当自然界处于状态处于状态 ,而人们选取行动而人们选取行动 时所得到的收益大小时所得到的收益大小。),(aQijjiQaQ),(ija 收益函数的值可正可负，其正表示赢利，负表示收益函数的值可正可负，其正表示赢利，负表示亏损，单位常用货币单位。收益函数

49、的建立不是件容亏损，单位常用货币单位。收益函数的建立不是件容易的事，要对所研究的问题有全面的了解才能建立起易的事，要对所研究的问题有全面的了解才能建立起来。收益矩阵来。收益矩阵nmnnmmQQQQQQQQQQ212222111211一、先验期望准则一、先验期望准则(1)(1)定义：对给定的决策问题，若在状态集定义：对给定的决策问题，若在状态集上有一个正常的先上有一个正常的先验分布验分布()，则收益函数，则收益函数Q(Q(,)对对()的期望与方差的期望与方差分别称为先验期望收益和收益的先验方差。使先验平均收益达分别称为先验期望收益和收益的先验方差。使先验平均收益达到最大的行动到最大的行动aa称为

50、先验期望准则下的最优行动。若此种最优行动不止一个，称为先验期望准则下的最优行动。若此种最优行动不止一个，其中先验方差达到最小的行动称为二阶矩准则下的最优行动。其中先验方差达到最小的行动称为二阶矩准则下的最优行动。22),(),(),(),()(aQEaQEaQVaraQEaQ)(max)(aQaQAa 这里的损失函数不是负的收益，也不是亏损。例这里的损失函数不是负的收益，也不是亏损。例如，某商店一个月的经营收益为如，某商店一个月的经营收益为-1000元，即亏元，即亏1000元。这是对成本而言。我们不称为损失，而称其为元。这是对成本而言。我们不称为损失，而称其为亏损。我们讲的损失是指亏损。我们讲

51、的损失是指“该赚而没有赚到的钱该赚而没有赚到的钱”，例如该商店本可以赚例如该商店本可以赚2000元，但由于某种原因亏了元，但由于某种原因亏了1000元，那我们说该商店损失了元，那我们说该商店损失了3000元。用这种观元。用这种观点认识损失对提高决策意识是有好处的。点认识损失对提高决策意识是有好处的。a),(aL构成决策问题的三要素构成决策问题的三要素:由收益函数容易获得损失函数由收益函数容易获得损失函数),(),(max),(aQaQaLAa例例4.1 某公司购进一批货物投放市场某公司购进一批货物投放市场,若购进数量低于市若购进数量低于市场需求量场需求量,每吨可赚每吨可赚15万元万元,若购进数

52、量超过市场需求量若购进数量超过市场需求量,超过部分每吨反而要亏超过部分每吨反而要亏35万元万元.由此可写出收益函数由此可写出收益函数aaaaaQ),(3515,15),(显然显然,当购进数量等于市场需求量时当购进数量等于市场需求量时,收益达到最大为收益达到最大为15 .则立即可得损失函数则立即可得损失函数:aaaaaL),(35),(15),(4.1.4 4.1.4 常用常用损失函数损失函数(1)(1)平方损失函数平方损失函数 2(,)()Laa2)(),(aaL这是在统计决策中用得最多的损失函数这是在统计决策中用得最多的损失函数.(2)线性损失函数线性损失函数 aakaakaL),(),()

53、,(10(3)0-1损失函数损失函数 aaaL,1,0),(4)多元二次损失函数多元二次损失函数 piiiiaaL12)(),(4.2.1 4.2.1 决策决策问题分类问题分类 (1)仅使用先验信息的决策问题称为无数据仅使用先验信息的决策问题称为无数据(或无样本信息或无样本信息)的决策问题的决策问题;(2)仅使用抽样信息的决策问题称为统计决仅使用抽样信息的决策问题称为统计决策问题策问题;(3)先验信息和抽样信息都使用的决策问题先验信息和抽样信息都使用的决策问题称为贝叶斯决策问题称为贝叶斯决策问题.损失函数被称为贝叶损失函数被称为贝叶斯统计中的斯统计中的第四种第四种信息信息.先验信息和抽样信息都

54、用的决策问题称为贝叶斯先验信息和抽样信息都用的决策问题称为贝叶斯决策问题。若以下条件已知，则我们认为一个贝叶斯决策问题。若以下条件已知，则我们认为一个贝叶斯决策问题给定了。决策问题给定了。),()1(xpX)()2()3(a(4)定义在定义在 上的二元函数上的二元函数 称为损失函数称为损失函数A),(aL1.优点主要表现在优点主要表现在:(1)贝叶斯决策充分利用各种信息贝叶斯决策充分利用各种信息,使决策结果更加科学化使决策结果更加科学化;(2)能对调查结果的可能性加以数量化的评价能对调查结果的可能性加以数量化的评价;(3)贝叶斯决策巧妙地将调查结果和先验知识有机地结合起来贝叶斯决策巧妙地将调查

55、结果和先验知识有机地结合起来;(4)贝叶斯决策过程可以不断地使用贝叶斯决策过程可以不断地使用,使决策结果逐步完善使决策结果逐步完善.2.缺点缺点:(1)贝叶斯决策所需要的数据多，分析计算也比较复杂贝叶斯决策所需要的数据多，分析计算也比较复杂,如果如果解决的问题比较复杂时解决的问题比较复杂时,这个矛盾就更加突出这个矛盾就更加突出;(2)在决策的过程中，有些数据必须要使用主观概率在决策的过程中，有些数据必须要使用主观概率,有些人有些人不是很相信不是很相信,这也妨碍了贝叶斯决策方法的推广和使用这也妨碍了贝叶斯决策方法的推广和使用.O1.后验风险函数后验风险函数),(aL 我们把损失函数我们把损失函数

56、 对后验分布对后验分布 的的期望称为后验风险期望称为后验风险,记记 ,即即)(x)(xaRdxaLxaLaLExaRiiix)(),()(),(),()(后验风险就是用后验分布计算的平均损失后验风险就是用后验分布计算的平均损失.2.决策函数决策函数定义定义4 4.1 在给定的贝叶斯决策问题中在给定的贝叶斯决策问题中,从样本空间从样本空间 到行动集到行动集A上的一个映照上的一个映照 称为该决策问题的一个决策函数称为该决策问题的一个决策函数,表示所表示所有从样本空间有从样本空间到到A A上的决策函数组成的类上的决策函数组成的类,称为决称为决策函数类策函数类.),(21nxxxx)(x)(xD在贝叶

57、斯决策中我们面临的是决策函数类在贝叶斯决策中我们面临的是决策函数类D,要在要在D中选择决策函数中选择决策函数 ,使其风险最小使其风险最小.)(x3.后验风险准则后验风险准则 定义定义 在给定的贝叶斯决策问题中在给定的贝叶斯决策问题中 是其决是其决策函数类策函数类,则称则称为决策函数为决策函数 的后验风险的后验风险.假如在决策函数类中假如在决策函数类中存在这样的决策函数存在这样的决策函数 ,它在它在D中有最小的风险中有最小的风险,即即)(xD,),(,()(xxLExRx)(x)(min)(xRxRD则称则称 为后验风险准则下的最优决策函数为后验风险准则下的最优决策函数,或或称贝叶斯决策称贝叶斯

58、决策,或贝叶斯解或贝叶斯解,或或贝叶斯估计贝叶斯估计。注注:(1)定义中的条件定义中的条件:给定的贝叶斯决策问题给定的贝叶斯决策问题 (2)定义中的先验分布允许是广义的定义中的先验分布允许是广义的.)(x)(x解解:分三步求解分三步求解:(1)求参数求参数的后验分布的后验分布(2)对于任意一个决策函数对于任意一个决策函数 计算后验风险函数计算后验风险函数:(3)求出使得上述风险函数达到最小时的决策函数求出使得上述风险函数达到最小时的决策函数:),(1nxxx|,1|,0),(L122)(,)|(nnxNxi)|(|1)|(|)|()|(),()|(|xxPPdxdxLxR)(x)()(2nxx

59、i1,0),(2),(L)|()|()(3)|()()|()(2)|(),()|(01010 xEdxdxdxdxLxR01)|(3)|(0dxdxdR31)|(0dx解解:(1)的先验分布的先验分布U(0,1),U(0,1),(2)求参数求参数的后验分布的后验分布:结果为结果为 Be(x+1,n-x+1)(3)计算后验风险函数计算后验风险函数(4)求最优行动使上述后验风险函数达到最小求最优行动使上述后验风险函数达到最小.令令:则得则得:(5)数值计算数值计算:设设n=10,x=1,后验分布后验分布:结果为结果为(,)Xb n9110(1),01901110(1)0.10723d4.4.14.

60、4.1平方损失函数平方损失函数下的贝叶斯估计下的贝叶斯估计定理定理4.1 在平方损失函数在平方损失函数 下下,的贝的贝叶斯估计为后验均值叶斯估计为后验均值,即即2)(),(L)()(xExB4.4 4.4 常用损失函数下的贝叶斯估计常用损失函数下的贝叶斯估计2)(),(L|)(|)()(xExExB),(1k)()(),(QL)|()|()|()(1xExExExkB解解:解题过程分为以下三步解题过程分为以下三步:(1)(1)根据题意求出根据题意求出的后验分布的后验分布(2)(2)写出后验均值写出后验均值(3)(3)结论结论:由定理由定理4.1.1知知的贝叶斯估计为的贝叶斯估计为:),(1nx

61、xxexxXPx!)(0,)()(1e),(nxnGanxnE)|(xnxnnnxnB)(x.解题步骤解题步骤:第一步第一步:求求的后验分布的后验分布:第二步第二步:在绝对值损失函数在绝对值损失函数下下的贝叶斯估计的贝叶斯估计:恰为后恰为后验分布的中位数验分布的中位数.第三步第三步:平方损失函数下平方损失函数下的贝叶斯估计的贝叶斯估计:ParetoPareto分布的分布函数分布的分布函数:密度函数为密度函数为:期望期望:方差方差:中位数中位数:),(1nxxx,)(1p,1)(F1,)1()(E2,)2()1()(22Var111,)()|(nnnx1)(11nnB112max(,.,)nx

62、xx12112n 在绝对值损失函数在绝对值损失函数L(,)=|-|下下,的贝叶斯估计的贝叶斯估计B(x)为后验分布为后验分布(|x)|x)的中位数的中位数.),(),(),(10kkL4.5.14.5.1、基本概念基本概念 1.完全信息：对需要作决策的问题，假如决策者所获得完全信息：对需要作决策的问题，假如决策者所获得的信息足以肯定那一个状态即将发生，则该信息就称为的信息足以肯定那一个状态即将发生，则该信息就称为(该该状态的状态的)完全信息。完全信息。2.完全信息期望值完全信息期望值(EVPI)(EVPI)：设某决策问题有：设某决策问题有n种状态种状态1 1,2 2,n n,且各种状态的先验概

63、率且各种状态的先验概率(i i)已知已知,又有又有m种行种行动动a a1 1,a,a2 2,a,am m。设。设Qijij为出现为出现i i采取行动采取行动a aj j的收益，的收益，a为为使使 取得最大时的行动，则称取得最大时的行动，则称为完全信息期望值，记为为完全信息期望值，记为EVPIEVPI。),(jiaQE),(max),(maxjiajiaaQEaQEjj3.3.先验先验EVPIEVPI：在一个决策问题中：在一个决策问题中()是状态集是状态集=上上的先验分布。的先验分布。aa是先验期望准则下的最优行动，则在是先验期望准则下的最优行动，则在aa下下的损失函数的损失函数L(L(,a),

64、a)的先验期望的先验期望 称为完全信息先称为完全信息先验期望值，记为先验验期望值，记为先验EVPIEVPI。4.4.两者的关系两者的关系:),(aLE5.例题例题:对给定对给定的的Q Q或或L L怎样计算怎样计算EVPIEVPI和先验和先验EVPIEVPI？如：如：1111(max)()()(max)()()(,)jjnnijiikiaiinnijikiikiaiikEVPIQQQQLELa 32132160206304091005010aaaQ1.03.06.0662601003105090321321aaaL1(,)90 0.631 0.363.3ELa2(,)50 0.626 0.132

65、.6ELa3(,)10 0.366 0.19.6ELa3(,)9.6EVPIELa 是先验期望准则下的最优行动是先验期望准则下的最优行动3a1.定义：在一个贝叶斯决策问题中定义：在一个贝叶斯决策问题中,a是先验期望准则下的最优是先验期望准则下的最优 行动，行动，是后验风险准则下的最优决策函数。则先验是后验风险准则下的最优决策函数。则先验EVPI与与后验后验EVPI期望值的差称为抽样信息期望值，记为：期望值的差称为抽样信息期望值，记为：2.计算一个计算一个EVSI的基本步骤：的基本步骤：第一步：计算先验第一步：计算先验EVPI；第二步：计算第二步：计算的后验分布；的后验分布；第三步：计算每个行动

66、的后验期望损失第三步：计算每个行动的后验期望损失 ；第四步：确定最优决策函数；第四步：确定最优决策函数；第五步：计算后验第五步：计算后验EVPI；第六步：计算后验第六步：计算后验EVPI的期望值；的期望值；第七步：计算抽样信息期望值。第七步：计算抽样信息期望值。)(x)(,(),(|xLEEaLEEVSIxx),(|aLEx 甲厂的某一零件由乙厂生产，每批甲厂的某一零件由乙厂生产，每批1000只，其次品率只，其次品率的概率分布如下表所示：的概率分布如下表所示：甲厂在整机装配时，如发现零件是次品，必须更换，甲厂在整机装配时，如发现零件是次品，必须更换，每换每换一只一只，乙厂赔偿，乙厂赔偿2.20元的损失费，但也可以在送装前采取元的损失费，但也可以在送装前采取全全部部检查的办法，使每批零件的次品率降为检查的办法，使每批零件的次品率降为1%，但乙厂，但乙厂必须必须支付支付每只每只0.10元的检查费。乙厂面临如下两种选择：元的检查费。乙厂面临如下两种选择：a1:一批中一件都不检查一批中一件都不检查 a2:一批中每件都检查一批中每件都检查若乙厂厂长想从每批中任取三只零件进行抽查，根据若乙厂厂长想