贝叶斯分析决策

《贝叶斯分析决策》由会员分享，可在线阅读，更多相关《贝叶斯分析决策（10页珍藏版）》请在装配图网上搜索。

1、贝叶斯分析Bayesean Analysis4.0 引言一、决策问题的表格表示损失矩阵对无观察(No-data)问题a= 6n(0 )n(0 )i n(0 )极小化极大(wald)原则(法则、准则)a a a124或 max min ujimin max l ( 0iji,a)j1087941921316121469810各行动最大损失：13161214jij例:损失矩阵直观、运算方便二、决策原则通常，要根据某种原则来选择决策规则6,使结果最优(或满意)，这种原则就叫决策原则，贝叶斯分析 的决策原则是使期望效用极大。本章在介绍贝叶斯分析以前先介绍芙他决策原则。三、决策问题的分类： 1.不确定型

2、(非确定型)自然状态不确定,且各种状态的概率无法估计.2.风险型 自然状态不确定,但各种状态的概率可以估计.四、按状态优于：ikl W l?1,且至少对某个i严格不等式成立，则称行动a按状态优于ik其中损失最小的损失对应于行动 a .3 采用该原则者极端保守， 是悲观主义者， 二、极小化极小min min l (0, a )ijji认为老天总跟自己作对.或 max max u例:ij ji4.1 不确定型决策问题136各行动最小损失：41612149810172其中损失最小的是行动a.2采用该原则者极端冒险，是乐观主义者，认为总能撞大运。min 入 min l (9,a )+(1入max l

3、(9j例如入=0.5时iiji入 min lij：20.53.51iij(1 入max lij： 6.5867iij两者之和：8.58.59.58三、Hurwitz准则上两法的折衷，取乐观系数入a ) j其中损失最小的是：行动a4四、等概率准则(Laplace)用L iijL来评价行动 a 的优劣ji选 minj上例：lij工l ： 3334 36 35ij其中行动 a 的损失最小1五、后梅值极小化极大准则 (svage-Niehans)定义后梅值 s = l -min lij ij k ik其中min l为自然状态为9 时采取不同行动时的最小损失.k ik i构成后梅值(机会成本)矩阵S=

4、s ,使后梅值极小化极大,即：ij mx n例：损失矩阵同上, 后梅值矩阵为 ：3102 308114020324各种行动的最大后梅值为： 3484其中行动a的最大后梅值最小,所以按后梅值极小化极大准则应采取行动1.六、 Krelle 准则： 使损失是效用的负数(后果的效用化),再用等概率(Laplace)准则.七、莫尔诺(Molnor)对理想决策准则的要求(1954)1. 能把方案或行动排居完全序；2. 优劣次序与行动及状态的编号无关；3. 若行动a按状态优于a，则应有a优于a ；kjkj4. 无关方案独立性：已经考虑过的若干行动的优劣不因增加新的行动而改变；5. 在损失矩阵的任一行中各元素

5、加同一常数时，各行动间的优劣次序不变；6. 在损失矩阵中添加一行，这一行与原矩阵中的某行相同，则各行动的优劣次序不变。4.2 风险型决策问题的决策原则一、最大可能值准则令 n (9 )=max n (9 )ki选 a 使 l( 9 , a )=min l( 9 , a )rk rk jj例：n(9 )6.564510i0.270.530.34n (9 )概率最大，各行动损失为342 .应选行动a二、贝叶斯原则使期望损失极小：min 乙 1(9, a ) n(9 ) j i i j ii上例中，各行动的期望损失分别为4.13.63.7,对应于a的期望损失3.6最小2应选a .2三、贝努利原则损失

6、函数取后果效用的负值，再用Bayes原则求最优行动.四、EV(均值一方差)准则若E兀lW E兀lij ik通常不存在这样的 a且oj-, f(x |6)，n(6)均为有限值。.由Fubini定理,积分次序可换=9J xJ即 r(n , 6 (x)= J J l( 6,6 (x) f(x | 6 )dxn ( 6 ) d 6(2)2)为极小l(6,6 (x) f(x |6)n(6) d 6 dxx9显然，要使(2)式达到极小，应当对每个xGX，选择6, 使J 1( 6,6 (x) f(x |6)n(6) d6*.*6 (x)=a9.若对给定的x,选a,l( 6,6 (x) f(x |6)n(6)

7、 d6 为极小亦即，小.19l( 6 ,a) f(x |6)n(6) d69l( 9 ,a) n (9 |x) d 6 或 ii9产l(9 ,a)p(9 |x)ii(3) 达极小，即可使(1)式为极结论：对每个x,选择行动a,使之对给定x时6的后验分布n ( 6| x)的期望损失为极小，即可求得贝叶斯规 则。这种方法叫贝叶斯分析的扩展型，由此确定的贝叶斯规则叫 formal Bayesean RuleRaiffa Sehlaifer,1961 年提出。 Note使(3)式达极小的行动可能不只一个，即可能有多个贝叶斯规则； 扩展型比正规型更直观，也容易计算，故更常用；许多分析人员只承认扩型，理由

8、是：i，n(6| x )描述了试验后的6的分布，比n(6)更客观，因此，只要损失函数是由效用理论导出的(即考 虑了 DMer的价值判斷、风险偏好)，在评价行动a的优劣时就应当用后验期望损失。ii, r(n，6)是根据n(6)求出的，而用先验分布n (6)来确定行动a并不一定适当。 从根本上讲，这种观点是正确的。无论从何种观点来进行贝叶斯分析，从理论上讲，结果是一样的，所以采用何种方法可视具体问题，据计 算方便而定。已经证明，形式贝叶斯分析对一类非随机性决策规则是成立的，也可以证明它对随机性决策规则同样成立。使所有x上后验期望损失极小的贝叶斯规则也是随机性规则集*中的Bayes规则，因此，总可以

9、找到一验期 望损失极小的非随机性规则。三、例(先看无观察问题)农民选择作物问题，设某地旱年9占60%，正常年景9占40%; a 种植耐旱作物1 2 1a 种不耐旱作物，后果矩阵为:2920019601002决策人的效用函数u(y)= (1- e -0.02y )0.865解：i 令：l(y)=l-u(y)ii,作决策树： iii,在无观察时,R=l, r=为 1(9 ,a)n(9 )iir(n , a )=1(9 ,a )n (9 )+1(9 ,a )n (9 )1 1 1 1 2 1 2=0.62 X 0.6+0.19 X0.4=0.448r( n , a )= l( 9 , a ) n (

10、9 )+l( 9 , a ) n (9 )2 1 2 1 2 2 2=1.0 X0.6+0 X0.4=0.6风险r小者优，.= a，是贝叶斯规则，即贝叶斯行动即应选择耐旱作物。1四、例(续上) 设气象预报的准确性是 0.8，即 p(x |9 )=0.8 p(x |9 )=0.81 1 2 2其中， x 预报干旱1x 预报正常年景2则 m( x )=p( x 19 ) n (9 )+p( x 19 ) n (9 )1 1 1 1 1 2 2=0.8 X 0.6+0.2 X 0.4=0.56m( x )=0.44n (9 | x )=p( x 19 ) n (9 ) / m( x )1 1 1 1

11、 1 1=0.8 X0.6/0.56=0.86n (9 | x )=p( x 19 ) n (9 ) / m( x )1 2 2 1 1 2=0.2 X 0.6/ 0.44=0.27n(9 Ix )=0.1421n(9 Ix )=0.73221. 正规型分析 策略 8 : a = 8 (x ) a = 8 (x )1 1 1 1 2 1 2r(n, 8 )=厶 乙 1 (9 ,8 (x.)p(x 19 )n(9 )1 i 1 j j i i ij4-7=1 (9 ,a )p(x 19 )n(9 )+1 (9 ,a )p(x 19 )n(9 )1 1 1 1 1 1 2 2 1 1+ 1 (9

12、,a )p(x 19 )n(9 )+1 (9 ,a )p(x 19 )n(9 )2 1 1 2 2 2 2 2 2 2 =0.62X0.8X0.6+1.0 X0.2X0.6+0.19 X0.2X0.4+0.0X 0.8X0.4 =0.4328策略82r(n,a =8 ( x ) a =8 ( x )1 2 2 2 2 1 )=乙 乙 1 (9 ,8(x.)p(x.l9 )n(9 )i 2 jj iiij=1 (9 ,a )p(x 19 )n(9 )+1 (9 ,a )p(x 19 )n(9 )1 1 2 1 1 1 2 1 1 1+ 1 (9 ,a )p(x 19 )n(9 )+1 (9 ,a

13、 )p(x 19 )n(9 )2 1 2 2 2 2 2 1 2 2= 0.62X0.2X0.6+1.0X0.8X0.6+0.19X0.8X 0.4+0.0X0.8X 0.4策略 8 :3=0.6152a = 8 (x )131a =8 ( x )132r(n, 5 )=0.45策略5 : a =5(x ) a =5(x )4241242r(n, 54 )=0.6.r(n, 5 ) Vr(n, 5 ) Vr(n, 5 ) Vr(n, 5 )13425 5 5 55是贝叶斯行动。134214-82 .扩展型之一：据(2) : J 1( 6,5 (x) f(x ie)n(6) d6 记作 r9给定

14、 x (预报干旱):1采用 a r=工 1 (9 ,a )p(x 19 )n(9 )1 i 1 1 i ii=1 (9 ,a )p(x 19 )n(9 ) + 1 (9 ,a )p(x 19 )n(9 ) 1 1 1 1 1 2 1 1 2 2=0.62X0.8X0.6+0.19 X 0.2 X 0.4=0.3128采用 ar= l (9 ,a )p(x 19 ) n (9 ) + 1 (9 ,a )p(x 19 ) n (9 )2 1 2 1 1 1 2 2 1 2 2 =0.48.风险小者优 .给定 x 应选 a11 给定 x (预报天气正常)2 采用 a1r= l (9 , a )p(

15、x 19 ) n (9 ) + 1 (9 , a )p( x 19 ) n (9 )1 1 2 1 1 2 1 2 2 2 =0.62X0.2X0.6 + 0.19X 0.8X 0.4=0.135r= l (9 ,a )p(x 19 )n(9 ) + 1 (91 2 1 1 1=1.0X0.2X0.6 + 0=0.12应选 a22由此得形式Bayes规则5兀：a = 5兀(x )3扩展型之二：据式即J 1(9 ,a)9i采用 a2.给定 x, a )p( x | 92 2 1 2a = 5兀2n (9 lx) d 6 或i( x2 )n( 9 2)1( 9 ,a)n( 9 lx)(记作 r”)

16、ii给定 x ,1采用 a1r”=工1(9 ,a )n(9 |x )i 1 i 19 Gi采用 a29 G=1(9 ,a )n(9 lx ) + 1(9 ,a )n(9 lx )1 1 1 1 2 1 2 1=0.62 X0.86 + 0.19 X0.14=0.56r”= l( 9 , a12.给定 x ，1给定 x2采用 a1= 1.0 X 0.86=0.86应选行动 a .1)n(9 lx ) + 1(9 ,a )n(9 lx )1 1 2 2 2 1 + 0X 0.14采用 a2r”= Y 1( 99iG=1(9 ,a )n(9 lx ) + 1(9 ,a )n(9 lx )1 1 1

17、2 2 1 2 2 =0.62 X0.27 + 0.19 X0.73 = 0.3061 r”=乙 1(9 ,a )n(9 lx )i 2 i 29 G=1(9 ,a )n(9 lx ) + 1(9 ,a )n(9 lx )1 2 1 2 2 2 2 2 =1.0 X0.27 + 0 X0.73 =0.27.给定 x 应选择行动 a . 22形式 Bayes 规则 5 兀:a = 5 兀(x ) a =5 兀(x ) 1 1 2 2 4.5 非正常先验与广义贝叶斯规则一、非正常先验(Improper Prior)概率测度的三个条件：i, 规范性：P(Q)=1ii, 非负性：OWP(A)W1iii

18、, 可列可加性在设定先验分布时，若不满足规范性，则称为非正常先验.二、广义贝叶斯规则(General Bayesean Rule)1.定义：决策问题的损失函数为l(e,a),n(e)为非正常先验分布，对给定的9 ,使1, J 1(e,5(x) f(x ie)n(e)de 为极小，或者9fii, OVm(x)V g时，使J l(9 ,a) n(9 |x) de为极小的策略(行动)，构成广义贝叶斯规则.9 i i2. Nole:在许多重要场合，所有允许的都是GBR 在无法得到正常先验时，除此别无良策； GBR不一定是最好的决策规则4.6 一种具有部分先验信息的贝叶斯分析法一、概述1.思路：在部分先

19、验信息难以唯一地确定n(e)时，抛开唯一性要求，转而确定与已知先验 信息相符的先验分布的集。2. 符号i, 和A为有限集：= 9 ,9，,9 1 2nA= a , a , , a 1 2m损失矩阵 L= l l =l (9 , a )ij n xmiji jii, 根据贝叶斯分析的扩展型给定x，应从集合A中选一行动 q(a)= Yia，k，l (9 ,a) p(x 19 )n(9 )i1ii使为极小 ,亦即a k = argmin q(a) 或aeA吧0吧)j2,m(4)则 a 为贝叶斯行动.k记 p( x 19 )为 p (x), n (9 )为兀1 iiii-k = Z1J 2 k，,仃T

20、 n=兀 1，兀 2n 则 乙 1 (9 ,a) p( x 19 )n( 9 )=_ T diag P. (x) ni1 ii jii(5)(4)式可表示成 _T diag P.(X)HW_ T diag P. (x) n i=1,2,nkijij=1,2,m式即(L t -1_ t ) diag P. (x) n 0(5)ki记(L T -1_ T) diag P (x) 为 D (x),式(5可表示为：kikD (x) n 0(5”)k3. (5”)式的含义(1)给定X,先验分布为n时，应选a 使5(即5,亦即5”)式成立。 k对给定的X，要使a成为贝叶斯行动,n应满足5(即5,亦即5”)

21、式.k由(2)可以定义口 (x)= ne nid (x) n 0 ；兀=1,兀 0 kki ii式中，n是先验分布的所有可能的集，口 (x)是n的一个子集，它能i,使 对给定x为Bayes行动kii,满足规范性和非负性二、分析步骤1. 确定口 (x)k2. 确定先验信息对先验分布n (e)的约束：y 一Q= nW n | A_nM0：兀一1,兀 M0i ii式中，AnMO是先验信息对先验分布n (6)的约束.3.结论：当n (x)与Q有非空交集时，a为Bayes行动. kk三、例已知：i, Q= nW ni 兀 MO.5,兀 M 兀,兀 M 10 一4,1233ii,由已往的统计资料，三种病患

22、者的白血球计数:f(xl 9 )= N( 3000, 1000 2 )1f(xl 9 )= N( 3000, 10002 )2f(xl 93)= N( 3000, 10002 ) iii,观察：x=5000要求判定：患者得什么病解： p(xl 9 )= p(5000l 9 )1 e _2兀b 11竺72=6 _ _ 2 弧2兀1J50504950= J 2.051.952o2 dx令x*=0.9798 - 0.9744 = 0.0054同理可得:D 1 (5000) nM0_ 005.4兀 _ 9.1 兀M0125.4k _ 0.017兀30即p(xl 9 )=0.0091p(xl 93)=0.0000105011T0110 _ 0 _ 0_L=101,1 lT=7 11011 =011, . LT -1 lT=1 _ 1 _ 01101101111 _ 0 _ 15.410110 -00 _0diag pi (x)=i019.1110D1=5.4 _ _9.1 _ 001010175.4 _0 _.017n (5000)= nwni 兀-1.69兀 MO,兀-000315兀 M0,同理可得 n2 (5000)和 n3 (5000)三、几何意义1. 由y兀=1ii2. Q: 由先验信息确定红框内为 Q3从 d (x) n mo 得 n , n , n .k123