模式识别试验

《模式识别试验》由会员分享，可在线阅读，更多相关《模式识别试验（7页珍藏版）》请在装配图网上搜索。

1、模式识别实验(三)一、实验名称基于Fisher准则线性分类器设计二实验本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有 更深刻地认识，理解Fisher准则方法确定最佳线性分界面方法的原理，以及Lagrange乘子 求解的原理。三、实验原理：线性判别函数的一般形式可表示成g(X) = WTX + w,其中根据Fisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分 布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W的函数为：VT =S 京上面的公式是使用Fisher准则求最佳法线向量的解，该式比较重要。另外，该式这种 形式的运算，我们称

2、为线性变换，其中(m1-m2)式一个向量，Sw-1是Sw的逆矩阵，如(m1-m2) 是d维，Sw和Sw-1都是dXd维，得到的既也是一个d维的向量。向量廖 就是使Fisher准则函数达极大值的解，也就是按Fisher准则将d维X 空间投影到一维Y空间的最佳投影方向，该向量陟 的各分量值是对原d维特征向量求加权 和的权值。以上讨论了线性判别函数加权向量W的确定方法，并讨论了使Fisher准则函数极大的 d维向量既 的计算方法，但是判别函数中的另一项w0尚未确定，一般可采用以下几种方法确定w0如或者或当汽凹）与P勺已知时可用fni! +j2NL + N2 - 2当W0确定之后，则可按以下规则分类，

3、使用Fisher准则方法确定最佳线性分界面的方法是一个著名的方法，尽管提出该方法 的时间比较早，仍见有人使用。已知有两类数据 1和 2二者的概率已知W=0.6，昭0.4。1中数据点的坐标对应一一如下：数据：x =0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.33990.51520.7226-0.

4、20150.4070-0.1717-1.0573-0.2099y =2.33852.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.94492.38012.23732.16141.92352.2604z =0.53380.85141.08310.41641.11760.55360.60710.443

5、90.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03150.75330.95489数据点的对应的三维坐标为 2x2 =1.40101.23012.08141.16551.37401.18291.76321.97392.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33

6、221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414y2 =1.02980.96110.91541.49010.82000.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.5503

7、1.47081.14350.76791.1288z2 =0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458数据的样本点分布如下图:2.521.510.5 -1.5-1-0.500.511.522.532-1.50.53

8、02.50.5-2五,实验要求：1. 可以选择二维的数据，或者选择三维的数据作为样本。根据Fisher选择投影 方向W的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分 开，类内样本投影尽可能密集的要求，求出评价投影方向W的函数，并在图 形表示出来。并在实验报告中表示出来，并求使、（讪取极大值的。用 matlab完成Fisher线性分类器的设计，程序的语句要求有注释。2. 根据上述的结果并判断（1，1.5）， （1.2，1.0），（2.0，0.9），（1.2, 1.5），（0.23，2.33）或者（1，1.5，0.6）（1.2，1.0，0.55），（2.0，0.9, 0.68），（1

9、.2, 1.5, 0.89），（0.23, 2.33，1.43），属于哪个类别，并画出数据分类 相应的结果图，要求画出其在W上的投影。3. 分析一下W的比例因子对于Fisher判别函数没有影响的原因。补充实验：基于感知函数准则的线性分类器设计一、实验名称线性分类器设计（感知准则函数准则）二实验目的本实验旨在让同学理解感知准则函数的原理，通过软件编程模拟线性分类器，理解感知 函数准则的的确定过程，掌握梯度下降算法求增广权向量，进一步深刻认识线性分类器。三、实验原理:感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器，因此

10、被称为感知准则函数。其特点是随意确定的 判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。感知准则函数利用梯度下降算法求增广权向量的做法，可简单叙述为：任意给定一向量初始值 ，第k+1次迭代时的权向量等于第k次的权向量“加上被错分类的所有样本之和与口b的乘积。可以证明，对于线性可分的样本集，经过有限次修正，一定可以找到一个解向量，即算法能在有限步内收敛。其收敛速度的快慢取决于初始权向量 和系数。、实验内容已知有两个样本空间W1和w2，这些点对应的横纵坐标的分布情况是:x1=1,2,4,1,5;y1=2,1,-1,-3,-3;x2=-2.5,-2.5,-1.5,-4,-5,-3;y2=1,-1,5,1,-4,0;在二维空间样本分布图形如下所示：(plot(x1,y1,x2,y2)五、实验任务：1、用matlab完成感知准则函数确定程序的设计。2、请确定 sample=0,1,-1,-1,0.5,-3,2,0,1,-0.5,0.5; （横坐标点）-3,3,5,1,6,-1,-1,1,1,-0.5,-0.5（纵坐标点）属于哪个样本空间,根据数据画出分类的结果。3、请分析一下“卜和对于感知函数准则确定的影响，并确定当“卜二1/2/3时，相U应的k的值，以及不同时，k值得变化情况。4、问感知准则函数是否是唯一的?