贝叶斯分析决策

《贝叶斯分析决策》由会员分享，可在线阅读，更多相关《贝叶斯分析决策（15页珍藏版）》请在装配图网上搜索。

1、贝叶斯分析Bayesean Analysis4.0 引言一、决策问题的表格表示损失矩阵对无观察（No-data）问题a= 6可用表格（损失矩阵）替代决策树来描述决策问题的后果（损失）:损失矩阵直观、运算方便二、决策原则通常，要根据某种原则来选择决策规则6，使结果最优（或满意），这种原 则就叫决策原则，贝叶斯分析的决策原则是使期望效用极大。本章在介绍贝叶 斯分析以前先介绍芙他决策原则。三、决策问题的分类：1.不确定型（非确定型） 自然状态不确定,且各种状态的概率无法估计.2.风险型自然状态不确定,但各种状态的概率可以估计.四、按状态优于：l WI?I,且至少对某个i严格不等式成立，则称行动a按状

2、态优于aij ik j k 4.1 不确定型决策问题一、极小化极大（wald）原则（法则、准则）a a a1 2 4例:min max l（ 9，a）ij ji或 maxjmin ui ij例:104136 各行动最大损失：811691379128169214101214其中损失最小的损失对应于行动a .采用该原则者极端保守, 是悲观主3义者, 认为老天总跟自己作对. 极小化极小min min l (9, a )ijjimaxjmax ui ij104136 各行动最小损失：8116947912819214107其中损失最小的是行动 a .采用该原则者极端冒险，2 是乐观主义者，认为总能撞大运

3、 Hurwitz 准则min 入 min 1（9,a） ji例如入=0.5时j入 min 1:20.5i ij（1 入7 : 6.51max 18两者之和：8.58.5三、上两法的折衷，取乐观系数入（一入max 1（9，a）i i j3.51679.58其中损失最小的是：行动a四、等概率准则(Laplace)用工1ij选min工上例：来评价行动 a 的优劣jlij工 1: 3334 36ij其中行动 a 的损失最小1五、后梅值极小化极大准则(svage-Niehans)定义后梅值其中min ls = l - min lij ij k ik为自然状态为0k ik构成后梅值(机会成本)矩阵时采取不

4、同行动时的最小损失.S= s ,使后梅值极小化极大,即:3102308114020324各种行动的最大后梅值为: 3484例:损失矩阵同上, 后梅值矩阵为:j mx n其中行动 a 的最大后梅值最小,所以按后梅值极小化极大准则应采取 行动 1.六、Krelle准则：使损失是效用的负数(后果的效用化)，再用等概率(Laplace)准则.七、莫尔诺(Molnor)对理想决策准则的要求(1954)1. 能把方案或行动排居完全序；2. 优劣次序与行动及状态的编号无关；3若行动a按状态优于a，则应有a优于a ；4. 无关方案独立性：已经考虑过的若干行动的优劣不因增加新的行动而改变；5. 在损失矩阵的任一

5、行中各元素加同一常数时，各行动间的优劣次序不变6. 在损失矩阵中添加一行，这一行与原矩阵中的某行相同，则各行动的优 劣次序不变。4.2 风险型决策问题的决策原则一、最大可能值准则n (0 )=max n(0 )kia 使 l(0 , a )= min l( 0 , ar k r j k令例：n( 0)0.2i0.50.3选650456.541 n (0 )概率最大，各行动损失为32应选行动二、贝叶斯原则使期望损失极小：min 工 Ke， a）口 ） j i j i上例中，各行动的期望损失分别为4.13.63.7,对应于a的期望损失3.6 最小应选a .三、贝努利原则损失函数取后果效用的负值，再

6、用Bayes原则求最优行动.四、E_V（均值一方差）准则右E兀l * E兀l且c a, f(x |0),n(0)均为有限值。 由Fubini定理，积分次序可换即 r(n , 5 (x)= J J l( 9,6 (x) f(x | 9 )dx n (9 ) d 9=j J l( 9 , 6 (x) f(x | 9 ) n ( 9 ) d 9 x9dx(2)显然，要使式达到极小，应当对每个xEX，选择6, 使J l( 99(2)为极小*/6 (x)=a若对给定的x,选a, 亦即，使 丄 J l(9,a) f(x | 9)n(9) d9m( x)9=J 1(9 ,a) n (9 |x) d 9 或

7、Z 1(9 ,a)p(9 |x)9 i i i i 达极小，即可使(1)式为极小.i6 (x) f(x |9 ) n ( 9 ) dJ l( 9,6 (x) f(x | 9 ) n (9 ) d 9 为极小9(3)结论：对每个X,选择行动a,使之对给定x时9的后验分布n (9| x)的期望损失为极小，即可求得贝叶斯规则。 这种方法叫贝叶斯分析的扩展型,由此确定的贝叶斯规则叫formalRaiffa Sehlaifer,1961 年提Bayesean Rule出。 Note 使(3)式达极小的行动可能不只一个,即可能有多个贝叶斯规则； 扩展型比正规型更直观,也容易计算,故更常用； 许多分析人员只

8、承认扩型,理由是：i,n(9| x)描述了试验后的9的分布，比n(9 )更客观，因此，只要损失 函数是由效用理论导出的(即考虑了 DMer 的价值判断、风险偏好),在评价行 动 a 的优劣时就应当用后验期望损失。ii, r(n,6)是根据n(9)求出的，而用先验分布n(9)来确定行动a并不 一定适当。从根本上讲,这种观点是正确的。无论从何种观点来进行贝叶斯分析,从理论上讲,结果是一样的,所以采用何种方法可视具体问题，据计算方便而定。已经证明，形式贝叶斯分析对一类非随机性决策规则是成立的，也可以证明它对随机性决策规则同样成立。使所有x上后验期望损失极小的贝叶斯规则也是随机性规则集厶*中的Baye

9、s规则，因此，总可以找到一验期望损失极小的 非随机性规则。种植耐旱作三、例(先看无观察问题) 农民选择作物问题，设某地旱年0占60%,正常年景0占40%;种不耐旱作物,后果矩阵为:0 200 60 1002决策人的效用函数u(y)二丄(1-e一oo2y)0.865解：i 令：l(y)=1 -u(y)ii,作决策树： iii,在无观察时,R=l, r= g l(0 ,a) n (0 )iir(n, a)=l(0，a)n(0 )+1(0，a)n(0 )1 1 1 1 2 1 2=0.62 X 0.6+0.19 X0.4=0.448r(n, a)=】(0，a )n(0)+l(0，a )n(0 )2=

10、11.0 2X0.6+10 X20.422=0.6风险r小者优，&= a，是贝叶斯规则，即贝叶斯行动.即应选择耐旱作物。 四、例(续上)P(x | 0 )=0.822设气象预报的准确性是0.8,即p(x | 0 )=0.8 其中, x 预报干旱x1预报正常年景2则m(x )=P(x | 0 ) n (0 )+P(x | 0 ) n(0 )1 =0.18 X1 0.6+10.2 X10.4=2 0.56 2m(x )=0.442n(0 | X )=p(X | 0 )n(0 )/m(x )11=0.8 X0.6 / 0.56=0.86n(0 | x )=P(x | 0 )n(0 )/m(x )12

11、=0.2 X 0.6/0.44=0：27n(0 | x )=0.1421n(9 I x )=0.731.正规型分析策略 5 :a =5( x )1 )=1Z Z1 11 (9ija= 5 xr(n,a =5 (x ) ，5 0 )p( x I 9 )n( 9 )i 1 j j i i4-7策略 5 :2r(n,1 (9a )p( x I 9) n(9)+1 (9，a)P( x I 9】)n( 9】)+ i (9，a )p(x I 9 )n(9 )+1 (9，a)P(； I 9 )n (9 )=0.62X 0.8X 0.6+1.0 X 0.2X 0.6+0.19 X 0.2X0.4+0.0X 0

12、.8X 0.4 =0.4328a =5 (x ) a =5 (x )=丈 Z 1(9 ,5 (x )p(x I 9 )n(9 )i 2 j j i i ij=1(9，a )p(x I 9 )n(9 )+1(9，a)P(x I 9 )n(9 )1 1 2 1 1 1 2 1 1 1+ 1 (9，a )P(x I 9 )n(9 )+1(9，a )p(x I 9 )n(9 ) = 0.62X0.2X0.6+1.0X0.8X0.6+0.19X0.8X 0.4+0.0X0.8X 0.4=0.6152a = 5 (x ) )=1 0.453 13 a =55 )=0.6Vr(n,5a = 513x)2 策

13、略 5 :3r(n, 策略 5 ：4r(n,Tr(n, 5 )1 : 5 5 5 5482.扩展型之一：据(2): j 1( 9,6 (x) f(x | 9 ) n (9) d 9 记作 rA给定 x (预报干旱):x二工 1 (A ,a)p(x 1 A )n(A )i 1 1 i i=1 ，a )P(x I A )n(A ) + 1(A，a )p(x I A )n(9 ) =0.62乂0.8乂0.6+0.19 X0.2文0.4122=0.3128=1 (9，a )p(x I 9 )n(9 ) + 1(9，a )p(x I 9 )n(9 )1 2 1 1 1 2 2 1 2 2=0.48风险小

14、者优给定x应选给定 x (预报天气正常)x2采用 a r= 1 (9 , a )p( x I 9 )n( 9 ) + 1(9，a)P( x I 9 )n( 9 )1=0.620.2X0.6 + 0.19X 0.8 文 0.42采用 a1采用a2rx)1a2=54x)25 ) Vr(n, I)是贝叶斯行动。Vr(n, 5 )2a11采用a2=0.135r= 1(9 ，a )P(x I 9 )n(9 ) + 1(9 ，a )P(x I 9 )n(9 ) =1.0 乂 0.2 X o6 + 0=0.12应选a2212给定由此得形式Bayes规则5k :3.扩展型之二：据a=(3)式5k(x ) 即

15、f 1 l(99a =5 ,a) n Iik(x )(9|x) d 0i(9 |x)(记作 r”) 给定 x ,采用 a11工 1(9，a) ni9 eir”=工 1(9，a )n(99ie= l( 9 , a采用 a2给定 x ，给定 x 采用 2a1I x )i 1 i 1KG a )n( 9 | x ) + 1(9，a)n(9 | x ) =0.62 X 0.86 + 0.19 X 0.14 =0.56r”= 1(9 ，a )n(9 | x ) + 1(9 ，a )n(9| x )= 1.0 X 0.86+ 0X 0.14=0.86应选行动 a .1采用 a2r” 二工 1(9，a )n

16、(9 | x )i 1 i 29 e=1(9，a )n(9 | x ) + 1(9，a)n(9 | x )1 1 1 2 2 1 2 2=0.62 X0.27 + 0.19 X0.73 = 0.3061 r” 二工 l(9 ,a )n(9 | x )i 2 i 29 e=l(9,a )n(9 | x ) + 】(9 ，a )n(9 | x )1 2 1 2 2 2 2 2 =1.0 X0.27 + 0 X0.73 =0.27应选择行动 a .= 5k(a =k(x11给定形式 Bayes 规则 5 k: a = 5k(x )11 4.5 非正常先验与广义贝叶斯规则 一、非正常先验(Improp

17、er Prior) 概率测度的三个条件：i, 规范性：P(Q)=1ii, 非负性：OWP(A)W1iii, 可列可加性 在设定先验分布时，若不满足规范性a =5k(x )22则称为非正常先验.二、广义贝叶斯规则(General Bayesean Rule)1. 定义：决策问题的损失函数为l(0,a),n(0)为非正常先验分布，对给定的,使1, J l(0,5 (x) f(x | 0)n(0) d0 为极小，或者A广ii, 0Vm(x)V s时，使J l(0 ,a) n(0 |x)d0为极小的策略(行动)，构成广义贝g ii叶斯规则.2. Nole:在许多重要场合，所有允许的都是GBR 在无法得

18、到正常先验时，除此别无良策； GBR不一定是最好的决策规则4.6 一种具有部分先验信息的贝叶斯分析法一、概述1. 思路：在部分先验信息难以唯一地确定n (0)时，抛开唯一性要求，转而确 定与已知先验信息相符的先验分布的集。2. 符号i, 和A为有限集：0 = 0 ,0，,0 1 2 nA= a , a , , a 损失矩阵 L= 1 1 l =l (0 ,a )ii, 根据贝叶斯分析的扩展型 j给定x,应从集合A中选一行动a，使 q(a)二工 l (0 ,a) p( 乂 | 0 )n( 0 )为极小，亦即(4)(5)i1iia = arg min q(a) 或 q(a )Wq(a ) j =

19、1,2,mkakj则 a 为贝叶斯行动.记卩(:| 0 )为 p (x), n(0 )为“1 iiii=l ,l ，,1Tn=K ,兀,兀klk、2knk1 2n则 L 1 (0 ,a) p( x | 0 )n( 0 )= T diag p (x) ni1iiji式可表示成tdiagp (x)nW tdiagp (x) n i=,2, .,n(5) 式 即 (5)记(LT -1(L T-1) diag p (x)iT) diag p (x) _ kD为 D (x),k(xk)式(5)可表示为 :n(5”)3. (5”)式的含义给定X,先验分布为n时，应选a使5(即5,亦即5”)式成立。对给定的

20、x,要使a成为贝叶斯行动,n应满足5(即5,亦即5”)式.k由可以定义口 (x)=n | D (x) n MO ;工兀二i，兀 0 kk式中，n是先验分布的所有可能的集，i z n (x)k是n的一个子集，它能i,使 对给定x为Bayes行动ii,满足规范性和非负性二、分析步骤1. 确定 n (x)2. 确定先验信息对先验分布n(0)的约束：Q= n | 人卫0,工兀二i，兀 0ii式中,An0是先验信息对先验分布n (6 )的约束.3. 结论：当n (x)与Q有非空交集时，a为Bayes行动. kk三、例已知：i, Q=n | 兀 0.5,n 兀,兀 10-4,工兀二 1ii,由已往的统计资

21、料，三种病患者的白血球计数：f(x| 0 )= N( 3000, 10002 )f(x| 01 )= N( 3000, 10002 ) f(x| 02)= N( 3000, 10002 ) iii,观察：3x=5000要求判定：患者得什么病解： p(x| 0 )= p(5000| 0 )11=f50501 e -一卩工 dx2a 21二 J2.051e - -x*2dx1.95 V 2n=0.9798 - 0.9744 = 0.00544950 V 2兀b1同理可得:p(x| 0 )=0.00912p(x| 0 )=0.00001053011T0110 - 0 - 0_TL二101, 1 lT

22、 = 11011 =011,. L T _1 It =11 1 01101101111 0 1diag p (x)=i5.410110 -00 -0019.1110D=15.4 - -9.1 - 0010101715.4 -0 -.017- 0 -05.4兀-9.1 兀12$05.4k - 0.017兀30D (5000). n$0即1 -0.00315兀 $0,工冗二 13 i i口 (5000)= nW n | 兀-1.69 兀 M0,兀1 ,12 1同理可得口 (5000)和 口 (5000)23三、几何意义1. 由工兀二12. Q:由先验信息确定红框内为Q3从 D (x) n M0 得口 ,口 , 口.k123