模式识别课程讲义李君宝概率密函数估计学时学习教案

《模式识别课程讲义李君宝概率密函数估计学时学习教案》由会员分享，可在线阅读，更多相关《模式识别课程讲义李君宝概率密函数估计学时学习教案（70页珍藏版）》请在装配图网上搜索。

1、会计学1模式识别课程讲义李君宝概率密函数估计模式识别课程讲义李君宝概率密函数估计(gj)学时学时第一页，共70页。 引言引言 参数估计参数估计 正态分布的参数估计正态分布的参数估计 非参数估计非参数估计 EM算法算法(期望最大化算法期望最大化算法) 本章本章(bn zhn)小结小结第1页/共70页第二页，共70页。引言引言(ynyn) (ynyn) 第2页/共70页第三页，共70页。【引言(ynyn)】贝叶斯决策公式贝叶斯决策公式 iiiPPPPxxx第3页/共70页第四页，共70页。【引言(ynyn)】 算法基本步骤算法基本步骤第4页/共70页第五页，共70页。【引言(ynyn)】 存在的问

2、题：存在的问题：第5页/共70页第六页，共70页。【引言(ynyn)】 问题的解决问题的解决第6页/共70页第七页，共70页。【引言(ynyn)】 参数估计的分类参数估计的分类第7页/共70页第八页，共70页。【引言(ynyn)】 参数估计的基本概念参数估计的基本概念第8页/共70页第九页，共70页。参数估计参数估计 第9页/共70页第十页，共70页。【参数估计】 最大似然估计最大似然估计贝叶斯估计贝叶斯估计贝叶斯学习贝叶斯学习第10页/共70页第十一页，共70页。【最大似然估计(gj)】基本假设基本假设第11页/共70页第十二页，共70页。【最大似然估计(gj)】基本概念基本概念第12页/共

3、70页第十三页，共70页。【最大似然估计(gj)】基本概念基本概念第13页/共70页第十四页，共70页。【最大似然估计(gj)】基本原理基本原理第14页/共70页第十五页，共70页。【最大似然估计(gj)】估计量估计量估计值估计值 第15页/共70页第十六页，共70页。【最大似然估计(gj)】一元参数一元参数第16页/共70页第十七页，共70页。【最大似然估计(gj)】多元参数多元参数第17页/共70页第十八页，共70页。【最大似然估计(gj)】12211,( | )0 xp x其它121212N211( ,.,|,),( )0Np x xxxl 其它21H( )Nln 121H( )1N22

4、1H( )1N 例子(l zi)（梯度法不适合）：不成功不成功(chnggng)(chnggng)！12xxx12,xx21,xx第18页/共70页第十九页，共70页。【贝叶斯估计(gj)】采用最小风险贝叶斯决策采用最小风险贝叶斯决策1(| )(,)(,) (| ),1,2,.,ciijijjjRxEPx ia 第19页/共70页第二十页，共70页。【贝叶斯估计(gj)】( , ) ( , )dERp xd dx ( | ) ( )( | ) ( )( | )( )( | ) ( )p xpp xppxp xp xpd( , )( | ) ( )( | ) ( )pxpx p xp xp( ,

5、 ) ( | ) ( ) ( )( , ) ( | ) ( | ) ( )dddEEERpx p x d dxp xpx d dxRx p x dx ( | )( , ) ( | )Rxpx d 第20页/共70页第二十一页，共70页。【举例(j l)】2|( , ) ( | )()( | )Rxpx dpx d 2222()( | )|( | )( | )( | ) ( | )( | ) ( | )( | ) 2( | ) ( | )( | )px dRxExExpx dExpx dExpx dExExpx d( | ) ( | )( | ) ( | )( | ) ( | ) ( | ) (

6、 | )( | )0ExExpx dExEx px dExExEx22( | )( | )( | ) ( | )( | )RxExpx dExpx d2( , )() 假设假设|( | )Expx d结论：结论：第21页/共70页第二十二页，共70页。【贝叶斯估计(gj)】第22页/共70页第二十三页，共70页。【贝叶斯学习(xux)】第23页/共70页第二十四页，共70页。【三种方法(fngf)总结】第24页/共70页第二十五页，共70页。【三种(sn zhn)方法总结】第25页/共70页第二十六页，共70页。正态分布的参数估计正态分布的参数估计 第26页/共70页第二十七页，共70页。【最

7、大似然估计(gj)】基本假设基本假设第27页/共70页第二十八页，共70页。【最大似然估计(gj)】122121221()ln(| )()122kkNkkxp xx11221211221()0()10NkkNNkkkxx11NkkxN2211()NkkxN21211( | )exp() 2(2 )xp x212 , , 单元正态分布： 11NkkxN11()()NTkkkxxN 多元正态分布：1( )ln(| )0NkkHp x221211ln(| )ln(2)()22kkp xx 最大似然估计方程：其中第28页/共70页第二十九页，共70页。【贝叶斯估计(gj)】第29页/共70页第三十页，

8、共70页。【贝叶斯估计(gj)】第30页/共70页第三十一页，共70页。非参数估计非参数估计 第31页/共70页第三十二页，共70页。【基本(jbn)思想】第32页/共70页第三十三页，共70页。 k npVx 相当于用相当于用R区域内的平均性质来作为区域内的平均性质来作为(zuwi)一点一点x的估计，是一种数据的平滑。的估计，是一种数据的平滑。【基本(jbn)思想】第33页/共70页第三十四页，共70页。 此方法的有效性取决于样本数量的多少，以及区域体此方法的有效性取决于样本数量的多少，以及区域体积积(tj)选择的合适。选择的合适。第34页/共70页第三十五页，共70页。 nnnk npVx

9、 当满足当满足(mnz)下列条件时，下列条件时，pn(x)收敛于收敛于p (x)：lim0nnVlimnnk lim0nnkn第35页/共70页第三十六页，共70页。1nVn K-近邻法：落在区域近邻法：落在区域(qy)内的样本数内的样本数k是总样本是总样本数数n的函数，如：的函数，如：nkn【 Parzen窗法和K-近邻(jn ln)法】第36页/共70页第三十七页，共70页。【 Parzen窗法和K-近邻(jn ln)法】第37页/共70页第三十八页，共70页。 1,1 20,juu其它1,20,jijnnxxhhix-x其它dnnVh1,jd 【 Parzen窗法】第38页/共70页第三

10、十九页，共70页。1nninkhix-x 111nninnpnVhix-xx【 Parzen窗法】 概率密度估计概率密度估计(gj)：第39页/共70页第四十页，共70页。 0u 1duu【 Parzen窗法】第40页/共70页第四十一页，共70页。【 Parzen窗法】窗函数(hnsh)第41页/共70页第四十二页，共70页。【 Parzen窗法】第42页/共70页第四十三页，共70页。【 Parzen窗法】第43页/共70页第四十四页，共70页。111iinjnijinpnVhx-xx【 Parzen窗法】第44页/共70页第四十五页，共70页。EM (期望期望(qwng)最大化最大化)算

11、法算法第45页/共70页第四十六页，共70页。1 EM算法算法(sun f)的介绍的介绍2 EM算法依据算法依据(yj)的理论的理论3 EM算法的不足算法的不足(bz)和改进的算法和改进的算法4 EM算法举例算法举例【EM算法】第46页/共70页第四十七页，共70页。【1 EM算法算法(sun f)的介绍】的介绍】第47页/共70页第四十八页，共70页。【2 EM算法算法(sun f)的理论依据】的理论依据】第48页/共70页第四十九页，共70页。但是在某些问题(wnt)中由于存在隐含的随机变量Z 所以(suy)【2 EM算法的理论依据算法的理论依据】第49页/共70页第五十页，共70页。【2

12、 EM算法算法(sun f)的理论依据】的理论依据】第50页/共70页第五十一页，共70页。【2 EM算法算法(sun f)的理论依据】的理论依据】第51页/共70页第五十二页，共70页。2、Expectation：依次：依次(yc)取观察数据取观察数据x，比较，比较x在在K个高斯函个高斯函数数 中概率的大小，把中概率的大小，把x归类到这归类到这K个高斯中概率最大的一个。个高斯中概率最大的一个。2k()()212Tkkxxkke11Kkk1、用随机函数初始化K个高斯分布的参数(cnsh)，同时保证EMEM算法算法(sun f)(sun f)过程：过程：【2 EM算法的理论依据算法的理论依据】第

13、52页/共70页第五十三页，共70页。2k()()212Tkkxxkxke4、返回第2步用第3步新得到的参数来对观察数据x重新分类。直到下式概率（最大似然函数(hnsh)）达到最大。Maximum 3、 用最大似然估计，即简单用最大似然估计，即简单(jindn)问题的求法。问题的求法。kkNN【2 EM算法算法(sun f)的理论依据】的理论依据】第53页/共70页第五十四页，共70页。【2 EM算法算法(sun f)的理论依据】的理论依据】第54页/共70页第五十五页，共70页。【3 EM算法的不足算法的不足(bz)和改进的算法】和改进的算法】第55页/共70页第五十六页，共70页。【3 E

14、M算法的不足算法的不足(bz)和改进的算法】和改进的算法】第56页/共70页第五十七页，共70页。【4 EM算法算法(sun f)举例】举例】第57页/共70页第五十八页，共70页。【4 EM算法算法(sun f)举例】举例】第58页/共70页第五十九页，共70页。),(21nXXX)|(xfniiXffL1)|()|()|()|(log)|(Ll)|(maxarg)|(maxarglL【4 EM算法算法(sun f)举例】举例】第59页/共70页第六十页，共70页。),(21nXXXXY),(21nYYYiXkYiXY),(),( ,),(11nnYXYX【4 EM算法算法(sun f)举例

15、】举例】第60页/共70页第六十一页，共70页。)|(),|(log()|,(log)|,(log),|(log),|(111iiiniiininkiiYfYXfYXfYXfLl),(21nYYY【4 EM算法算法(sun f)举例】举例】第61页/共70页第六十二页，共70页。t【4 EM算法算法(sun f)举例】举例】第62页/共70页第六十三页，共70页。【4 EM算法算法(sun f)举例】举例】第63页/共70页第六十四页，共70页。),(),(),()|()|(111ttttttttDQQllytttttdyyfyfyfD0),|(),|(),|(log),(11)|(),|()

16、,|(log(),|()|(),|(log(),|(),|(log(,| ),|(log),(ldyyfyfdyyffyfdyyfyLLQtytytytt【4 EM算法算法(sun f)举例】举例】第64页/共70页第六十五页，共70页。【4 EM算法算法(sun f)举例】举例】第65页/共70页第六十六页，共70页。【4 EM算法算法(sun f)举例】举例】第66页/共70页第六十七页，共70页。【4 EM算法算法(sun f)举例】举例】第67页/共70页第六十八页，共70页。【4 EM算法算法(sun f)举例】举例】第68页/共70页第六十九页，共70页。NoImage内容(nirng)总结会计学。构造一系列包含x的区域R1, R2,。，对应n=1,2,。（即根据给定观察数据自动对数据进行分类）。观测变量X，针对n个观测样本为( x1,x2,。(2) 等式两边(lingbin)同乘以q(Z)，并对Z求和（积）：。4、返回第2步用第3步新得到的参数来对观察数据x重新分类。直到下式概率（最大似然函数）达到最大。算法高度依赖初始值的选择，不适于大规模数据集和高维数据。【4 EM算法举例】第七十页，共70页。