简单分类器的MATLAB实现

《简单分类器的MATLAB实现》由会员分享，可在线阅读，更多相关《简单分类器的MATLAB实现（6页珍藏版）》请在装配图网上搜索。

1、简单分类器的MATLAB实现摘要：本实验运用最小距离法、Fisher线形判别法、朴素贝叶斯法、K近邻法四种模式识别 中最简单的方法处理两维两类别的识别问题，最后对实验结果进行了比较。关键字：MATLAB最小距离Fisher线形判别朴素贝叶斯 K近邻法一. Matlab语言简介Matlab语言（即Matrix和Laboratory）的前三位字母组合，意为“矩阵实验室”,Matlab 语言是一种具有面向对象程序设计特征的高级语言，以矩阵和阵列为基本编程单位。Matlab 可以被高度“向量化”，而且用户易写易读。传统的高级语言开发程序不仅仅需要掌握所用 语言的语法,还需要对有关算法进行深入的分析。与

2、其他高级程序设计语言相比,Matlab在 编程的效率、可读性以及可移植性等方面都要高于其他高级语言但是执行效率要低于高级 语言，对计算机系统的要求比较高。例如，某数据集是m*n的二维数据组，对一般的高级计 算机语言来说，必须采用两层循环才能得到结果，不但循环费时费力，而且程序复杂;而用 Matlab处理这样的问题就快得多，只需要一小段程序就可完成该功能，虽然指令简单，但其 计算的快速性、准确性和稳定性是一般高级语言程序所远远不及的。严格地说，Matlab语 言所开发的程序不能脱离其解释性执行环境而运行。二. 样本预处理实验样本来源于1996年UCI的Abalone data，原始样本格式如下：

3、 123456789F 0.5B5 0.45 0.17 0.8685 0.3325 .LS35 0.2? 22M 0.57 0.46 0.14 0.9535 0.4465 0.2065 0.245 12M 058匚I.455匚1.17093匚i 03匚 2 59匚i.EZ9M匚1635匚1515匚117275匚I509匚I286匚13址16M 0.7 0.58 0.205 2.13 0.7415 0.49 0.58 Z0M 0 . 675 0.525F 0 . 645 0.5250.185 1.587 .6935 0.336 0.395 13 0.19 1.B0B5 .7035 .3S85 0

4、.395 180.215 2.499 .92 65 0.472 0.7 170. IS 1.76S 0.7495 0.3 92 0.485 16其中第一行是属性代码： 1.sex 2.length 3.diameter 4.height 5.whole_weight6.shucked_weight 7 .viscera weight 8. shell weight 9.age原始样本是一个8维20类的样本集，就是根据Abalone的第一至第八个特征来预测第 九个特征，即Abalone的年龄。为简单其见，首先将原始样本处理成两维两类别问题的样本。 选取length和weiht作为两个特征向量，来

5、预测第三个特征向量age.（age=6或者age=9），我 们将age=6的样本做为第一类，age=12的样本做为第二类。处理后的样本：lengthweightage0. 45000. 44756.00000. 47000. 43156.00000. 47000. 3B85B.00000. 50000. 664512.00000. 5B50 . 939512.0000三.实验过程1最小距离法最小距离法是事先从给定的训练集中为每一个类别生成一个代表该类的中心向量，计算 新向量与每个类别中心向量的距离，距离最小的类别即新向量的类别。两类别的分界面就是 就是两类别中心向量终点连线的中垂线。图1分界面

6、方程可以由下式求出：(ml-m2) xl,x2 一(ml-m2) (ml+(m2-ml)/2)=0其中：ml为第一类训练样本的均值，m2为第二类样本的均值.2. Fisher判别法最小距离判别法对于离散度相等的线性可分问题分类效果是令人满意的,但是根据本实 验样本而言，由上图可见第一类与第二类的离散度并不相等，而Fisher线性判别法较好的解 决的这一问题.Fisher判别法希望类内离散度与类间离散度的比值越小越好，然后根据最小 的比值将两维空间影射的一维空间.影射方向可由以下matlab程序求出ml=mean(newtrain6)m2=mean(newtrainl2)% 求两类的均值s1=c

7、ov(newtrain6)s2=cov(newtrain12) %求两类的协方差s=s1+s2w=(inv(s)*(m1-m2) % 求影射方向图23.素贝叶斯法朴素贝叶斯算法以贝叶斯定理为理论基础，是一种在已知先验概率与类条件概率情况下 的模式识别方法，其基本思想是：一个向量属于某个类别的概率，等于词属于该类别概率的 综合表达式。之所以称其为“朴素”是因为它的条件独立性假设，即个向量在给定类别下 的条件概率分布是相互独立的。设训练样本集为m类，记作C=C,C2, Cm，每类的先验概率卩2丿=5类样本数/Ci),根据贝叶斯定总样本数，i=1,2,m,对于新样本x,其属于Ci的条件概率为P(x|

8、理,Ci的后验概率为P(Ci|x)为:P(CIx)= T2_ P(x I C )P(C )ii p(x I c)p(C)kkk1(2-1)如果 P(C I x) P(C I x)iji=1,2,，m,则 x g ci(2-2)上式为最大后验概率判别准则。将式子2-1代入2-2中，则有:(23)(2-4)如果 P(x I C )P(C ) P(x I C )P(C ) i=1,2,m,则 x g Ciijji特殊情况下，若P(C I x) P(C I x)，可以采用最大似然判别准则: i j如果 P(x I C ) maX P(x I C ) j=1,2,，m,则 x g Ciji对本实验而言我

9、们假设先验概率相等即P(C1)= PG)，现在主要问题就转化为求类条件概率密度问题，我们假设类条件概率密度服从正态分布，采用最大似然估计法估计参数。用最大似然估计发求参数的matlab函数是mle();也可以根据最大似然估计法的结论直接计算正态分布的参数值，程序如下：m6=mean(newtrain6)m12=mean(newtrain12)cov1=cov(newtrain6)cov2=cov(newtrain12)f1=(exp(-(x-m6)*inv(cov1)*(x-m6)/2)/(2*pi)*sqrt(det(cov1) f2=(exp(-(x-m12)*inv(cov2)*(x-m

10、12)/2)/(2*pi)*sqrt(det(cov2)fl,f2既是所给向量x的在每一类的类条件概率密度值。然后根据上述判别函数中的最大似然判别法：P(x I C )二 maX P(x I C ) j=l,2,，m,则 x g C.i j i4K 近邻法图3 K-近邻算法示意图k近邻算法是一种逼近实数值或离散值的基于实例的 分类算法，其基本思想是：当有新的向量时，在n维向量 空间中计算新向量与样本实例中每个向量之间的距离,找 出k个与新向量距离最近的向量，即k个最近“邻居” 这些“邻居”与新向量具有较高的相似度，因而，新向量 的类别可以根据这k个近邻向量的所属类别值估算得到。如图3所示，“x

11、”表示待分类新向量，“+ ”表示第一 类，“一”表示第二类，当k=5时，新向量的“5-近邻” 中有3个第一类，2个第二类，通过计算，新向量与第一 类的相似度较大，于是，新向量被分到第一类中。K近邻算法最大的缺点就是计算量大，为了克服这个缺点，人们提出了很多快速的近邻算法，由于本实验的训练样本集比较小（第一类与第二类均为100 个样本），我们直接采用近邻算法。本实验测试了 K=1,K=3,K=5,K=7,K=9,K=11,K=13。K 一率取奇数，这是为了 避免分类器做出拒绝判别的情况。四实验结果分析实验中第一类与第二类训练样本都为100即train1=100,train2=100。剩余样本全部

12、作为 测试集，测试样本中第一类test1=169, test2=167。分类器的性能评价用用每一类的查全率 和平均的正确率表示。实验结果如下表所示：第一类杳全率第二类杳全率平均正确率最小距离0.96230.78440.8712Fisher判别0.93080.89820.9141Bayes 法0.94340.86230.9018第一类杳全率第二类杳全率平均正确率对于K近邻法分别测试了 K=1,K=3,K=5，K=7,K=9,K=11,K=13的情况：如下表所示第一类查全率第二类查全率平均正确率K=10.84280.84430.8436K=30.89310.83830.8650K=50.86160.88020.8712K=70.89310.83230.8620K=90.89310.85630.8742K=ll0.88680.82630.8558K=130.87420.83230.8528