模式识别习题及答案学习资料

《模式识别习题及答案学习资料》由会员分享，可在线阅读，更多相关《模式识别习题及答案学习资料（16页珍藏版）》请在装配图网上搜索。

1、模式识别习题及答案精品资料第一章绪论1.什么是模式？ 具体事物所具有的信息。模式所指的不是事物本身，而是我们从事物中获得的_信息 _。2.模式识别的定义？ 让计算机来判断事物。w 1如果p ( x | w 1)p ( w 2) / p ( w 1l ( x )_) _, 则 xp ( x | w 2)w 23.模式识别系统主要由哪些部分组成？数据获取预处理特征提取与选择P ( w i | x )P ( x | w i ) P ( w i )2分类器设计 / 分类决策。P ( x | w j ) P ( w j )j 1第二章 贝叶斯决策理论), i1 , 2P ( wip ( x | w i

2、), i1 , 2P ( x | w i ) P ( w i )P ( w i| x )2P ( x | w j ) P ( w j )1.最小错误率贝叶斯决策过程？j 1答：已知先验概率，类条件概率。利用贝叶斯公式得到后验概率。根据后验概率大小进行决策分析。2.最小错误率贝叶斯分类器设计过程？答：根据训练数据求出先验概率类条件概率分布利用贝叶斯公式得到后验概率如果输入待测样本X ，计算 X 的后验概率根据后验概率大小进行分类决策分析。3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？仅供学习与交流，如有侵权请联系网站删除谢谢 2精品资料答：4.贝叶斯决策为什么称为最小错误率贝叶斯决策？答：

3、最小错误率Bayes决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率最小。 Bayes决策是最优决策：即，能使决策错误率最小。5.贝叶斯决策是 由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。6.利用乘法法则和全概率公式证明贝叶斯公式p( AB)p( A | B) p( B) p( B | A) p( A)答：m所以推出贝叶斯公式p(B)p(B | Aj ) p( Aj )j17.朴素贝叶斯方法的条件独立假设是（P(x| i) =P(x1, x2, xn | i)= P(x1| i) P(x2| i)P(xn| i) ）8.怎样利用朴素贝叶斯方法获得

4、各个属性的类条件概率分布？答：假设各属性独立， P(x| i) =P(x1, x2, xn | i) = P(x1| i) P(x2| i)P(xn|P ( A iP ( B | A i ) P (A i )| B )i)P ( BP ( B | A i) P( A i )M后验概率： P(i|x) = P(i) P(x1| i) P(x2| i)P(xn| i)P( B|A j ) P( Aj)j1仅供学习与交流，如有侵权请联系网站删除谢谢 3精品资料类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。1m1m均值： mean( x)x

5、i 方差： var( x)m( xi x) 2m i 11 i 19.计算属性 Marital Status 的类条件概率分布给表格计算，婚姻状况几个类别和分类几个就求出多少个类条件概率。10，朴素贝叶斯分类器的优缺点？答：分类器容易实现。面对孤立的噪声点，朴素贝叶斯分类器是健壮的。因为在从数据中估计条件概率时。 这些点被平均。面对无关属性，该分类器是健壮的。相关属性可能降低g (x)ln( p(x |i)P(i)分类器的性能。因为对这些属性，条件独立的假设已不成立。 i1 ( x ) T1 ( x )2iii11.我们将划分决策域的边界称为 (决策面 )，在数学上用可以表示成 (决策面方程

6、)d1 lnln P ()ln 2ii2212.用于表达决策规则的函数称为 (判别函数 )13.判别函数与决策面方程是密切相关的，且它们都由相应的决策规则所确定.14.写出多元正态概率下的最小错误率贝叶斯决策的判别函数，即15.多元正态概率下的最小错误率贝叶斯决策的决策面方程为gi (x)g j (x)016.多元正态概率下的最小错误率贝叶斯决策，当类条件概率分布的协方差矩阵为2时，每类的协方差矩阵相等，且类内各特征间（相互独立），i并具有相等的方差。17.多元正态概率下的最小错误率贝叶斯决策，如果先验概率相等，并i2 且 i=1,2,.c，那么分类问题转化为只要计算待测样本x 到各类均值仅供

7、学习与交流，如有侵权请联系网站删除谢谢 4精品资料的 (欧式距离 )，然后把 x 归于具有（最小距离平方）的类。这种分类器称为（最小距离分类器）。18.19.多元正态概率下的最小错误率贝叶斯决策，类条件概率密度各类的协方差矩阵不相等时，决策面是（超二次曲面），判别函数是（二次型）仅供学习与交流，如有侵权请联系网站删除谢谢 5精品资料?11NN21xk2k 1NN( x k?) 2k1第三章概率密度函数的估计1.类条件概率密度估计的两种主要方法（参数估计）和（非参数估计）。2.类条件概率密度估计的非参数估计有两种主要的方法（ Parzen窗法）和（ KN近邻法）。它们的基本原理都是基于样本对分布

8、的（未知）原则。3.如果有 N 个样本，可以计算样本邻域的体积V ，然后获得 V 中的样本数 k，K那么 P(x)=NV4.假设正常细胞和癌细胞的样本的类条件概率服从多元正态分布，使用最大似然估计方法，对概率密度的参数估计的结果为。证明：使用最大似然估计方法，对一元正态概率密度的参数估计的结果如下：仅供学习与交流，如有侵权请联系网站删除谢谢 6精品资料w *S1( m1m2)w1 类有 3 个样本， w2 类有两个样w5.已知 5 个样本和2 个属性构成的数据集中，本。如果使用贝叶斯方法设计分类器，需要获得各类样本的条件概率分布，现假设样本服从多元正态分布则只需获得分布的参数均值向量和协方差矩

9、阵即可，那么采用最大似然估计获得的w1 类202的类条件概率密度均值向量为（ 2,3 转置） ,以及协方差矩阵为（ 022）。224第四章线性判别函数p ( x |) N ( ,)i 1, 2属于类，属于类，对它们进1.已知两类i问题的样本i集i中，有两个样本。行增广后，这两个样本的增广样本分别为 y1 =(1,1,-3,2)T,y2 =(-1,-1,-2,3)T 2.广义线性判别函数主要是利用 (映射 )原理解决（普通函数不能解决的高次判别函数）问题，利用广义线性判别函数设计分类器可能导致（维数灾难）。3.线性分类器设计步骤？主要步骤：(1, 3,2)Tx2(1,2, 3)T1.收集训练数据

10、集 D=x1,x2, ,xNx12.按需要确定一个准则函数J(D,w,w0) 或 J(D,a) ，其值反映分类器的性能，其极值解对应于“最好”决策。3.用最优化技术求准则函数J 的极值解 w* ， w* 或 a* 。4.最终，得到线性判别函数，完成分类器设计5.线性判别函数 g(x) 的几何表示是：点x 到决策面 H 的（距离的一种代数度量）。6.增广样本向量使特征空间增加了（一）维，但样本在新的空间中保持了样本间的（欧氏距离）不变，对于分类效果也与原决策面相同。在新的空间中决策面H 通过坐标（原点）7.Fisher 准则的基本原理为：找到一个最合适的投影轴，使_( 类间 )在该轴上投影之间的

11、距离尽可能远，而（类内）的投影尽可能紧凑，从而使分类效果为最佳。8.Fisher 准则函数的定义为g ( x )( w *) T x w 0 , g ( x ) ( a*) T y9Fisher 方法中，样本类内离散度矩阵Si 与总类内离散度矩阵 Sw 分别为10.利用 Lagrange乘子法使 Fisher线性判别的准则函数极大化，最终可以得到的判别函数权向量Sbw T S w11.叙述 Fisher 算法的基本原理。bJF (w)SSwTSw wFisher 准则的基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离12尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为

12、最佳。12( x m iT, i1,2S wS1 S2Si)( x m i )xD i仅供学习与交流，如有侵权请联系网站删除谢谢 7精品资料13.已知两类问题的样本集中，有两个样本。属于 w1 类，属于 w2 类，对它们进行增广规范化后，这两个样本的规范化增广样本分别为y1=(1,1,-3,2)转置和 y2=(1,-1,-2,3)转置T。x2(1, 2,3) Tx1 (1, 3,2)14.叙述感知准则的梯度下降算法的基本过程。答： 1. 初值 : 任意给定一向量初始值a(1)2. 迭代 : 第 k+1 次迭代时的权向量 a(k+1)等于第 k 次的权向量 a(k)加上被错分类的所有 样本之和与

13、 pk 的乘积3. 终止 : 对所有样本正确分类仅供学习与交流，如有侵权请联系网站删除谢谢 8精品资料a T y0JP (a)( aT y )yY ka(1),任意a(k 1) a(k)kyy Y k15 感知准则函数16 线性判别函数 g(x)的几何表示是：点x 到决策面 H 的（距离的代数度量）17.感知机方法主要有两种，批量样本修正法与单样本修正法。它们之间的区别是什么？答 单样本修正法：样本集视为不断重复出现的序列，逐个样本检查，修正权向量批量样本修正法：样本成批或全部检查后，修正权向量18.感知准则特点是随意确定权向量（初始值），在对样本分类训练过程中（逐步修正）权向量直至最终确定。

14、19.对于感知准则函数，满足（）的权向量称为解向量，解向量不止一个，而是由无穷多个解向量组成的解，称这样的区域为（解区域）。20.感知准则函数为极小值时的 a 为最优解证明使用梯度下降算法的迭代过程公式( a T y )J P ( a )yY k仅供学习与交流，如有侵权请联系网站删除谢谢 9精品资料证明：21.下列哪种分类方法最不适用于样本集线性不可分情况：BA Fisher 线性判别的 Lagrange乘子法 B感知准则的梯度下降算法C最小错分样本数准则的共轭梯度法D最小平方误差准则的梯度下降法J p ( a )( y )J p ( a )ayY k(无法确22.多类问题可以利用求两类问题的

15、方法来求解。这样做的缺点是会造成a ( k 1) a ( k )kJ p ( a )a ( k )ky定类别的区域增大 )，需要训练的 (子分类器及参数增多 )。ykY23.利用最小平方误差准则函数进行分类器设计，主要是求极小化时的权向量。当时，最小平方误差准则函数的解等价于(Bayes)线性判别的解。24.叙述分类器错误率估计中的留一法的运算过程。bT(1,.,1)答： 1.N 个样本，取 N-1 个样本作为训练集，设计分类器。2.剩下的一个样本作为测试集，输入到分类器中，检验是否错分。3.然后放回样本，重复上述过程k，直到N 次，即每个样本都做了一次测?N试。4.统计被错分的次数k,作为错

16、误率的估计率。25 利用两类问题的线性分类器解决多类问题常用的两种方法的优缺点。答：优点：设计思想简单，容易实现。缺点：（ 1）需要训练的子分类器或参数多，效率低。仅供学习与交流，如有侵权请联系网站删除谢谢 10精品资料a (1), 任意初始化T（2）无法确a定(类k别的1)区域多a。(【k造)成该问k题Y的根(Y本a原(因k是)将多b类)问题a(1),任意初始化看成了多个两类问题来解决。这样必然造成阴影区域的出现。解决办法用多a(k 1) a(k)(b a(k)T yk )yk类问题的分类器】k k26 线性分类器设计中的最小平方准则函数方法采用的准则函数公式是什么？当利用伪逆解方法求解时，

17、遇到计算量过大时，可以代替采用何种方法来训练分类器参数？叙述你所使用方法的基本原理，并解释为什么你的方法可以降低计算量。答：因为 e=Ya-b ，常用梯度下降法来降低计算复杂度?批量样本修正法：1mk i1mk im单样本修正法：i1N / mNi127 利用两类别的线性分类器如何解决多类别的分类问题？i/ i 法：将 C 类别问题化为 (C-1) 个两类（第 i 类与所有非 i 类）问题，按两类问题确定其判别函数与决策面方程i/ j 法：将 C 类中的每两类别单独设计其线性判别函数，因此总共有C(C-1)/2 个线性判别函数28.叙述分类器错误率估计中的m-重交叉验证方法的运算过程，并说明什

18、么情况下该方法将退化为留一法。答：（ 1）N 个样本被划分成 m 个不相交的集合，每组有Nm 个样本。（ 2）在 m 个样本中取 m-1 个组的样本作为训练集，设计分类器。（ 3）剩下的一组样本作为测试集，输入到分类器中检验，统计错分数k.（ 4）然后放回，重复上述过程，直到m 次。（ 5）设 ki （ i=1, ,m)是第 i 次测试的错分数，则22N( a T y i b i ) 2J s ( a )eY abNi 1当 m=N 时，退化为留一法。b )y2Y T(Yab )J(a)2(aT yii第五章s近邻法i 1i仅供学习与交流，如有侵权请联系网站删除谢谢 11精品资料近邻法性能优点

19、：（ 1）设计简单（ 2）分类性能优良（ 3）适用于线性不可分情况缺点：（ 1）计算量大，存储量大第六章特征的选择与提取1.叙述用于特征选择的增l 减 r 搜索算法的算法步骤。并考虑l 值大于（或小于）r 值时，增 l 减 r 算法步骤应做出怎样的修改，以及该情况下，增l 减 r 搜索算法的特点？答步骤一：用SFS 法在未入选特征组中逐个选入L 个特征，形成新特征组Xk+L，设置k=k+L ，步骤二：用SBS 法从特征组Xk 中逐个剔除r 个最差的特征，形成新特征组Xk-r，设置 k=k-r ，若 k=d，则终止算法，否则设置xk=xk-r ，转向第一步。（ 1）当 Lr 时， L-r 法是一

20、种自下而上的算法，先执行第一步，然后执行第二步，开始时，设置 k=0， x0= 空（ 2）当 Lr 时， L-r 法是一种自上而下的算法，此时先执行第二步，然后执行第一步，开始时设置 k=0， x0=x1 ， ,xD2 模拟退火法采用Metropolis接受准则，冷却进度表的主要参数包括（温度T 的初始值，控制参数 T 的衰减函数，Mapkob 链的长度，停止准则）。3.遗传算法的运算过程主要分四个阶段：包括编码阶段、选择阶段、交叉阶段、（变异阶段）。其中，（选择）阶段可以加入最优保留策略，该策略的优点是（保留有利的，不利的淘汰）。遗传算法的初始群体规模过小，可能导致算法（局部最优）现象发生，从而降低算法的搜索性能。遗传算法的终止条件有多种，你认为使用（？）方法终止算法，能较好提高搜索结果的质量。仅供学习与交流，如有侵权请联系网站删除谢谢 12