非参数判别分类方法课件

《非参数判别分类方法课件》由会员分享，可在线阅读，更多相关《非参数判别分类方法课件（32页珍藏版）》请在装配图网上搜索。

1、第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)1第三章 非参数判别分类方法 非参数判别分类方法是当前模式识别中主要使用的非参数判别分类方法是当前模式识别中主要使用的方法，并且涉及到人工神经元网络与统计学习理论方法，并且涉及到人工神经元网络与统计学习理论等多方面，是本门课最核心的章节之一。等多方面，是本门课最核心的章节之一。学习指南学习指南 非参数判别分类方法的核心是由训练样本集提供的非参数判别分类方法的核心是由训练样本集提供的信息直接确定决策域的划分方法。信息直接确定决策域的划分方法。 本章最重要的概念是分类器设计用一种训练与学习本

2、章最重要的概念是分类器设计用一种训练与学习的过程来实现。机器自动识别事物的能力通过训练的过程来实现。机器自动识别事物的能力通过训练学习过程来实现，其性能通过学习过程来提高，这学习过程来实现，其性能通过学习过程来提高，这是模式识别、人工神经元网络中最核心的内容。是模式识别、人工神经元网络中最核心的内容。第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)2 学习这一章要进一步体会模式识别中确定准则函数学习这一章要进一步体会模式识别中确定准则函数并实现优化的计算框架。并实现优化的计算框架。 由于决策域的分界面是用数学式子来描述的，如线由于决策

3、域的分界面是用数学式子来描述的，如线性函数，或各种非线性函数等。因此确定分界面方性函数，或各种非线性函数等。因此确定分界面方程包括选择函数类型与确定最佳参数两个部分。一程包括选择函数类型与确定最佳参数两个部分。一般说来选择函数类型是由设计者确定的，但其参数般说来选择函数类型是由设计者确定的，但其参数的确定则是通过一个学习过程来实现的，是一个叠的确定则是通过一个学习过程来实现的，是一个叠代实现优化的过程。因此本章从最简单的函数类型代实现优化的过程。因此本章从最简单的函数类型讲起，再扩展到非线性函数。讲起，再扩展到非线性函数。 第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国

4、矿业大学 计算机科学与技术学院(31)3 数学是模式识别中不可缺少的工具，希望大家学习数学是模式识别中不可缺少的工具，希望大家学习时，遇到的数学方面的内容要通过再学习、复习等时，遇到的数学方面的内容要通过再学习、复习等进一步掌握，如线性代数、矩阵的特征值分解与特进一步掌握，如线性代数、矩阵的特征值分解与特征向量等概念的运用上起到很重要的作用。通过这征向量等概念的运用上起到很重要的作用。通过这门课学习，加深对这些数学工具的理解与运用熟练门课学习，加深对这些数学工具的理解与运用熟练程度是会终身受益的。对于数学推导理解程度的要程度是会终身受益的。对于数学推导理解程度的要求，对增强同学分析问题解决问题

5、的能力有好处。求，对增强同学分析问题解决问题的能力有好处。第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)4 通过本章学习掌握模式识别中最重要的非参数判别通过本章学习掌握模式识别中最重要的非参数判别分类法的原理。分类法的原理。学习目的学习目的 掌握机器自学习的原理，自学习功能已不仅在模式掌握机器自学习的原理，自学习功能已不仅在模式识别中应用，目前经常用的机器学习这个词已涉及识别中应用，目前经常用的机器学习这个词已涉及更为广泛的内容。更为广泛的内容。 学习线性分类器的三种典型算法，这三种算法各自学习线性分类器的三种典型算法，这三种算法各

6、自形成体系，分别形成了传统模式识别、人工神经元形成体系，分别形成了传统模式识别、人工神经元网络以及统计学习理论。网络以及统计学习理论。 用近邻法进行分类。用近邻法进行分类。 通过相应数学工具的运用进一步提高运用数学的本领。通过相应数学工具的运用进一步提高运用数学的本领。 第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)5本章重点本章重点1、非参数判别分类器的基本原理，与参数判别分类方法的非参数判别分类器的基本原理，与参数判别分类方法的比较。比较。2、线性分类器的三种典型方法线性分类器的三种典型方法以以Fisher准则为代表的准则为代表

7、的传统模式识别方法，以感知准则函数为代表的机器自学传统模式识别方法，以感知准则函数为代表的机器自学习方法，以及支持向量机代表的统计学习理论。习方法，以及支持向量机代表的统计学习理论。3、近邻法的工作原理及其改进。近邻法的工作原理及其改进。4、线性分类器扩展到非线性分类器，两类别分类方法与线性分类器扩展到非线性分类器，两类别分类方法与多类别分类方法。多类别分类方法。第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)61、Fisher准则函数，其中用到向量点积，带约束条准则函数，其中用到向量点积，带约束条件的拉格朗日乘子法以及矩阵的特征值、

8、特征向件的拉格朗日乘子法以及矩阵的特征值、特征向量等数学工具。要求对这些数学工具较深理解。量等数学工具。要求对这些数学工具较深理解。2、感知器准则函数提出利用错误提供信息实现叠代感知器准则函数提出利用错误提供信息实现叠代修正的学习原理。修正的学习原理。3、支持向量机方法设计约束条件为不等式的极值优支持向量机方法设计约束条件为不等式的极值优化问题。化问题。本章难点本章难点4、三种不同典型方法的优缺点比较。三种不同典型方法的优缺点比较。5、近邻法的改进。近邻法的改进。第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)71、机器能否像人类一样

9、通过例证教育认知事物，修机器能否像人类一样通过例证教育认知事物，修正观念中的错误的成分正观念中的错误的成分?2、机器学习过程中有教师吗？谁是教师？机器学习过程中有教师吗？谁是教师？3、什么叫线性分类器？按照基于最小错误率贝叶斯什么叫线性分类器？按照基于最小错误率贝叶斯决策，什么条件下才能用线性分类器？决策，什么条件下才能用线性分类器？课前思考题课前思考题第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)83.1 引言 按贝叶斯决策理论设计分类器的步骤按贝叶斯决策理论设计分类器的步骤 非参数判别分类方法设计分类器的步骤非参数判别分类方法设

10、计分类器的步骤第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)9非参数判别分类方法的两个过程非参数判别分类方法的两个过程 设计者确定使用什么典型的分类决策方法设计者确定使用什么典型的分类决策方法 利用训练样本集提供的信息确定这些函数中的参数利用训练样本集提供的信息确定这些函数中的参数第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)10 线性判别函数的一般形式线性判别函数的一般形式 3.1.1 线性判别函数的基本概念 其中其中w 0是个常数，称为阈值权，是个常数，称为阈值权，x

11、是维特征向量，是维特征向量，w称为权向量，分别表示为：称为权向量，分别表示为：12dxxXx12dwwww0()Tg Xw Xw第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)11在线性判别函数条件下它对应在线性判别函数条件下它对应d维空间的一个超平面。维空间的一个超平面。相应的决策规则相应的决策规则决策面方程决策面方程00Tw Xw第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)12向量向量W的意义的意义假设在该决策平面上有两个特征向量假设在该决策平面上有两个特征向量X1与

12、与X2 ，则应有，则应有1020TTw Xww Xw12()0TwXX上式表明向量上式表明向量W与该平面上任两点组成的向量与该平面上任两点组成的向量(X1-X2)正交，正交，因此因此W就是该超平面的法线向量。就是该超平面的法线向量。 w0则体现该决策面在特征空间中的位置，当则体现该决策面在特征空间中的位置，当 时，时，该决策面过特征空间坐标系原点，而该决策面过特征空间坐标系原点，而 时，时， 则则表示了坐标原点到该决策面的距离。表示了坐标原点到该决策面的距离。00w 00w 0ww第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)13p

13、wXXrw00()()TTTppww wg XwXrww Xwrr www向量向量W的意义的意义()g Xrw第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)143.1.2 广义线性判别函数 线性判别函数是形式最为简单的判别函数，但是它不能用于稍线性判别函数是形式最为简单的判别函数，但是它不能用于稍复杂一些的情况，例如，欲设计这样一个一维样本的分类器，复杂一些的情况，例如，欲设计这样一个一维样本的分类器，使其性能为：使其性能为： 相应的决策规则为：相应的决策规则为：设计一判别函数设计一判别函数:)()(bxaxxg第三章 非参数判别分

14、类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)15广义线性判别函数广义线性判别函数)()(bxaxxg基本思想：基本思想：g(X)不再是不再是x的线性函数，而是一个二次函数，的线性函数，而是一个二次函数，此时通过选择一种映射此时通过选择一种映射XY，即将原样本特征向量，即将原样本特征向量X映射成映射成另一向量另一向量Y，从而把二次函数转换成线性函数。，从而把二次函数转换成线性函数。 2210)(xcxccxg第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)16则判别函数则判别函数g(x)又可表

15、示成：又可表示成：iiiTyaYaxg31)(210210cccaaaa如果采用映射如果采用映射XY，使，使2210)(xcxccxg23211xxyyyYg(x)为广义线性判别函数，为广义线性判别函数，a称为广义权向量。称为广义权向量。 第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)17其中其中YayaxwwxgTidiiidii110)(Wwwwwwad0210写成另一种形式写成另一种形式XxxxYd1121Y为增广样本向量，为增广样本向量，a为增广权向量。为增广权向量。 第三章 非参数判别分类方法2022-6-27非参数判别分

16、类方法优秀中国矿业大学 计算机科学与技术学院(31)18例：一个一维特征空间的分类器例：一个一维特征空间的分类器其决策面方程为：其决策面方程为：0 xc在一维空间中为一个点，经齐次简化后可得：在一维空间中为一个点，经齐次简化后可得：121yYyx 1ca第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)19思考思考如果在两维空间存在一条不过原点的直线如果在两维空间存在一条不过原点的直线 120axbxc采用增广向量形式：采用增广向量形式：112231xyYxyyaabc 问题：在增加一维的三维空间中，问题：在增加一维的三维空间中，aTY

17、=0表示的是什么呢？表示的是什么呢？答：一个过原点的平面，方程答：一个过原点的平面，方程为为ay1+by2+cy3=0 第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)203.1.3 设计线性分类器的主要步骤 线性分类器设计任务是在给定样本集线性分类器设计任务是在给定样本集 条件下，条件下，确定线性判别函数的各项系数，确定线性判别函数的各项系数，w w0 0,w,w1 1,w,wd d以期对待测样本进行分类时，能满足相应的准则函数以期对待测样本进行分类时，能满足相应的准则函数J J为最优的为最优的要求。要求。可见此技术的关键问题是确定

18、所需的准则函数，然后用最优化可见此技术的关键问题是确定所需的准则函数，然后用最优化技术确定准则函数的极值解技术确定准则函数的极值解W*及及W0* ,或增广权向量或增广权向量 .第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)213.1.3 设计线性分类器的主要步骤 （1） 按需要确定一准则函数按需要确定一准则函数J。（2）确定准则函数）确定准则函数J达到极值时达到极值时W* ，w0 *和和a*的具体数值，从的具体数值，从而确定判别函数，完成分类器设计。而确定判别函数，完成分类器设计。得到线性判别函数：得到线性判别函数：*0*)(wXW

19、xgTYaxgT*)(这种方法的具体过程可大致分为：这种方法的具体过程可大致分为：第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)223.2 Fisher线性判别Fisher线性判别函数是研究线性判别函数中最有影响的方线性判别函数是研究线性判别函数中最有影响的方法之一。对线性判别函数的研究就是从法之一。对线性判别函数的研究就是从R.A.Fisher在在1936年发表的论文开始的。年发表的论文开始的。第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)231. Fisher准则函数

20、准则函数 基本思想基本思想设计线性分类器首先要确定准则函数，然后再利用训练样设计线性分类器首先要确定准则函数，然后再利用训练样本集确定该分类器的参数，以求使所确定的准则达到最佳。本集确定该分类器的参数，以求使所确定的准则达到最佳。 在使用线性分类器时，样本的分类由其判别函数值决定，在使用线性分类器时，样本的分类由其判别函数值决定，而每个样本的判别函数值是其各分量的线性加权和再加上而每个样本的判别函数值是其各分量的线性加权和再加上一阈值一阈值w0。 如果向量如果向量W的幅度为单位长度，则线性加权和又可看作各样的幅度为单位长度，则线性加权和又可看作各样本向量在向量本向量在向量W上的投影。显然样本集

21、中向量投影的分布情上的投影。显然样本集中向量投影的分布情况与所选择的况与所选择的W向量有关。向量有关。 第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)24对线性方程的理解：二维空间中一条直线的任何一点到空对线性方程的理解：二维空间中一条直线的任何一点到空间某一单位向量的投影值相同，换句话说，该直线是到这间某一单位向量的投影值相同，换句话说，该直线是到这个向量投影值相同的点的集合。个向量投影值相同的点的集合。 如果在二维空间中一条直线能将两类样本分开，或者错分如果在二维空间中一条直线能将两类样本分开，或者错分类很少，则同一类别样本数据

22、在该直线的单位法向量上的类很少，则同一类别样本数据在该直线的单位法向量上的投影的绝大多数都应该超过某一值。投影的绝大多数都应该超过某一值。Fisher准则的基本原理，准则的基本原理，即向量即向量W的方向选择应能使两类样的方向选择应能使两类样本投影的均值之差尽可能大些，而使类内样本的离散程度本投影的均值之差尽可能大些，而使类内样本的离散程度尽可能小。尽可能小。第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)25样本在样本在d维维X空间的一些描述量空间的一些描述量（1）各类样本均值向量）各类样本均值向量（2）样本类内离散度矩阵与总类内离散

23、度矩阵）样本类内离散度矩阵与总类内离散度矩阵 （3）样本类间离散度矩阵）样本类间离散度矩阵 第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)26样本在样本在一一维维Y空间的一些描述量空间的一些描述量（1）各类样本均值）各类样本均值（2）样本类内离散度矩阵与总类内离散度矩阵）样本类内离散度矩阵与总类内离散度矩阵 第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)27Fisher准则的函数形式准则的函数形式根据根据Fisher选择投影方向选择投影方向W的原则，使原样本向量在该方向上

24、的投的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，因此，用以评价投影方向因此，用以评价投影方向W的函数为：的函数为： 进一步化为进一步化为W显函数的形式：显函数的形式： 第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)28同样同样 也可推出与也可推出与W的关系：的关系：Fisher准则函数为：准则函数为： 2iS第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)292. 最佳

25、最佳W值的确定值的确定 最佳最佳W值的确定实际上就是对准则函数求取其取极大值时值的确定实际上就是对准则函数求取其取极大值时的的W* 设计一拉格朗日函数：设计一拉格朗日函数：其中其中为拉格朗日乘子，按拉格朗日算法对上式求对为拉格朗日乘子，按拉格朗日算法对上式求对W的偏的偏导数，且令其在导数，且令其在W= W*时为零，得：时为零，得：第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)30实际上我们关心的只是向量实际上我们关心的只是向量W*的方向，其数值大小对分类的方向，其数值大小对分类器没有影响。因此在忽略了数值因子器没有影响。因此在忽略了

26、数值因子R/后，可得后，可得:矩阵非奇异即该矩阵可逆，上式是典型的求矩阵矩阵非奇异即该矩阵可逆，上式是典型的求矩阵 特征特征值问题。值问题。1wbS S其中其中 是一个数量，可用数值是一个数量，可用数值R表示，则上式表示，则上式可写成：可写成：*12()TmmW第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)31最佳法线向量最佳法线向量 使使Fisher准则函数达极大值的解，也就是按准则函数达极大值的解，也就是按Fisher准则将准则将d维维X空间投影到一维空间投影到一维Y空间的最佳投影方向，该向量空间的最佳投影方向，该向量W*的的各

27、分量值是对原各分量值是对原d维特征向量求加权和的权值。维特征向量求加权和的权值。 该式与在两类正态分布且具有相同的协方差矩阵该式与在两类正态分布且具有相同的协方差矩阵时，按最时，按最小错误率的贝叶斯决策得到的结果是一致的。小错误率的贝叶斯决策得到的结果是一致的。 表明表明Fisher准则是合理的。准则是合理的。第三章 非参数判别分类方法2022-6-27非参数判别分类方法优秀中国矿业大学 计算机科学与技术学院(31)323. 判别函数的确定判别函数的确定 判别函数中的另一项判别函数中的另一项w0尚未确定，一般可采用以下几种方尚未确定，一般可采用以下几种方法确定法确定w0如如:*0*)(wXWxgT 按以下规则分类按以下规则分类