非参数判别分类方法1ppt课件

《非参数判别分类方法1ppt课件》由会员分享，可在线阅读，更多相关《非参数判别分类方法1ppt课件（32页珍藏版）》请在装配图网上搜索。

1、第三章 非参数判别分类方法第三章 非参数判别分类方法 非参数判别分类方法是当前方式识别中主要运用的非参数判别分类方法是当前方式识别中主要运用的方法，并且涉及到人工神经元网络与统计学习实际方法，并且涉及到人工神经元网络与统计学习实际等多方面，是本门课最中心的章节之一。等多方面，是本门课最中心的章节之一。学习指南学习指南 非参数判别分类方法的中心是由训练样本集提供的非参数判别分类方法的中心是由训练样本集提供的信息直接确定决策域的划分方法。信息直接确定决策域的划分方法。本章最重要的概念是分类器设计用一种训练与学习本章最重要的概念是分类器设计用一种训练与学习的过程来实现。机器自动识别事物的才干经过训练

2、的过程来实现。机器自动识别事物的才干经过训练学习过程来实现，其性能经过学习过程来提高，这学习过程来实现，其性能经过学习过程来提高，这是方式识别、人工神经元网络中最中心的内容。是方式识别、人工神经元网络中最中心的内容。第三章 非参数判别分类方法 学习这一章要进一步领会方式识别中确定准那么函学习这一章要进一步领会方式识别中确定准那么函数并实现优化的计算框架。数并实现优化的计算框架。由于决策域的分界面是用数学式子来描画的，如线由于决策域的分界面是用数学式子来描画的，如线性函数，或各种非线性函数等。因此确定分界面方性函数，或各种非线性函数等。因此确定分界面方程包括选择函数类型与确定最正确参数两个部分。

3、程包括选择函数类型与确定最正确参数两个部分。普通说来选择函数类型是由设计者确定的，但其参普通说来选择函数类型是由设计者确定的，但其参数确实定那么是经过一个学习过程来实现的，是一数确实定那么是经过一个学习过程来实现的，是一个叠代实现优化的过程。因此本章从最简单的函数个叠代实现优化的过程。因此本章从最简单的函数类型讲起，再扩展到非线性函数。类型讲起，再扩展到非线性函数。第三章 非参数判别分类方法 数学是方式识别中不可短少的工具，希望大家学习数学是方式识别中不可短少的工具，希望大家学习时，遇到的数学方面的内容要经过再学习、复习等时，遇到的数学方面的内容要经过再学习、复习等进一步掌握，如线性代数、矩阵

4、的特征值分解与特进一步掌握，如线性代数、矩阵的特征值分解与特征向量等概念的运用上起到很重要的作用。经过这征向量等概念的运用上起到很重要的作用。经过这门课学习，加深对这些数学工具的了解与运用熟练门课学习，加深对这些数学工具的了解与运用熟练程度是会终身受害的。对于数学推导了解程度的要程度是会终身受害的。对于数学推导了解程度的要求，对加强同窗分析问题处理问题的才干有益处。求，对加强同窗分析问题处理问题的才干有益处。第三章 非参数判别分类方法 经过本章学习掌握方式识别中最重要的非参数判别经过本章学习掌握方式识别中最重要的非参数判别分类法的原理。分类法的原理。学习目的学习目的 掌握机器自学习的原理，自学

5、习功能已不仅在方式掌握机器自学习的原理，自学习功能已不仅在方式识别中运用，目前经常用的机器学习这个词已涉及识别中运用，目前经常用的机器学习这个词已涉及更为广泛的内容。更为广泛的内容。学习线性分类器的三种典型算法，这三种算法各自学习线性分类器的三种典型算法，这三种算法各自构成体系，分别构成了传统方式识别、人工神经元构成体系，分别构成了传统方式识别、人工神经元网络以及统计学习实际。网络以及统计学习实际。用近邻法进展分类。用近邻法进展分类。经过相应数学工具的运用进一步提高运用数学的身手。经过相应数学工具的运用进一步提高运用数学的身手。第三章 非参数判别分类方法本章重点本章重点1、非参数判别分类器的根

6、本原理，与参数判别分类方法的、非参数判别分类器的根本原理，与参数判别分类方法的比较。比较。2、线性分类器的三种典型方法、线性分类器的三种典型方法以以Fisher准那么为代表准那么为代表的传统方式识别方法，以感知准那么函数为代表的机器的传统方式识别方法，以感知准那么函数为代表的机器自学习方法，以及支持向量机代表的统计学习实际。自学习方法，以及支持向量机代表的统计学习实际。3、近邻法的任务原理及其改良。、近邻法的任务原理及其改良。4、线性分类器扩展到非线性分类器，两类别分类方法与、线性分类器扩展到非线性分类器，两类别分类方法与多类别分类方法。多类别分类方法。第三章 非参数判别分类方法1、Fishe

7、r准那么函数，其中用到向量点积，带约束准那么函数，其中用到向量点积，带约束条件的拉格朗日乘子法以及矩阵的特征值、特征条件的拉格朗日乘子法以及矩阵的特征值、特征向量等数学工具。要求对这些数学工具较深了解。向量等数学工具。要求对这些数学工具较深了解。2、感知器准那么函数提出利用错误提供信息实现叠、感知器准那么函数提出利用错误提供信息实现叠代修正的学习原理。代修正的学习原理。3、支持向量机方法设计约束条件为不等式的极值优、支持向量机方法设计约束条件为不等式的极值优化问题。化问题。本章难点本章难点4、三种不同典型方法的优缺陷比较。、三种不同典型方法的优缺陷比较。5、近邻法的改良。、近邻法的改良。第三章

8、 非参数判别分类方法1、机器能否像人类一样经过例证教育认知事物，修、机器能否像人类一样经过例证教育认知事物，修正观念中的错误的成分正观念中的错误的成分?2、机器学习过程中有教师吗？谁是教师？、机器学习过程中有教师吗？谁是教师？3、什么叫线性分类器？按照基于最小错误率贝叶斯、什么叫线性分类器？按照基于最小错误率贝叶斯决策，什么条件下才干用线性分类器？决策，什么条件下才干用线性分类器？课前思索题课前思索题第三章 非参数判别分类方法3.1 引言 按贝叶斯决策实际设计分类器的步骤按贝叶斯决策实际设计分类器的步骤 非参数判别分类方法设计分类器的步骤非参数判别分类方法设计分类器的步骤第三章 非参数判别分类

9、方法非参数判别分类方法的两个过程非参数判别分类方法的两个过程 设计者确定运用什么典型的分类决策方法设计者确定运用什么典型的分类决策方法 利用训练样本集提供的信息确定这些函数中的参数利用训练样本集提供的信息确定这些函数中的参数第三章 非参数判别分类方法 线性判别函数的普通方式线性判别函数的普通方式 3.1.1 线性判别函数的根本概念 其中其中w 0是个常数，称为阈值权，是个常数，称为阈值权，x是维特征向量，是维特征向量，w称为权向量，分别表示为：称为权向量，分别表示为：12dxxXx12dwwww0()Tg Xw Xw第三章 非参数判别分类方法在线性判别函数条件下它对应在线性判别函数条件下它对应

10、d维空间的一个超平面。维空间的一个超平面。相应的决策规那相应的决策规那么么决策面方程决策面方程00Tw Xw第三章 非参数判别分类方法向量向量W的意义的意义假设在该决策平面上有两个特征向量假设在该决策平面上有两个特征向量X1与与X2，那么应有，那么应有1020TTw Xww Xw12()0TwXX上式阐明向量上式阐明向量W与该平面上任两点组成的向量与该平面上任两点组成的向量(X1-X2)正正交，因此交，因此W就是该超平面的法线向量。就是该超平面的法线向量。w0那么表达该决策面在特征空间中的位置，当那么表达该决策面在特征空间中的位置，当 时，时，该决策面过特征空间坐标系原点，而该决策面过特征空间

11、坐标系原点，而 时，时，那那么表示了坐标原点到该决策面的间隔。么表示了坐标原点到该决策面的间隔。00w 00w 0ww第三章 非参数判别分类方法pwXXrw00()()TTTppww wg XwXrww Xwrr www向量向量W的意义的意义()g Xrw第三章 非参数判别分类方法3.1.2 广义线性判别函数 线性判别函数是方式最为简单的判别函数，但是它不能用于稍线性判别函数是方式最为简单的判别函数，但是它不能用于稍复杂一些的情况，例如，欲设计这样一个一维样本的分类器，复杂一些的情况，例如，欲设计这样一个一维样本的分类器，使其性能为：使其性能为：相应的决策规那么为：相应的决策规那么为：设计一判

12、别函数设计一判别函数:)()(bxaxxg第三章 非参数判别分类方法广义线性判别函数广义线性判别函数)()(bxaxxg根本思想：根本思想：g(X)不再是不再是x的线性函数，而是一个二次函数，的线性函数，而是一个二次函数，此时经过选择一种映射此时经过选择一种映射XY，即将原样本特征向量，即将原样本特征向量X映射成映射成另一向量另一向量Y，从而把二次函数转换成线性函数。，从而把二次函数转换成线性函数。2210)(xcxccxg第三章 非参数判别分类方法那么判别函数那么判别函数g(x)又可表示成：又可表示成：iiiTyaYaxg31)(210210cccaaaa假设采用映射假设采用映射XY，使，使

13、2210)(xcxccxg23211xxyyyYg(x)为广义线性判别函数，为广义线性判别函数，a称为广义权向量。称为广义权向量。第三章 非参数判别分类方法其中其中YayaxwwxgTidiiidii110)(Wwwwwwad0210写成另一种方式写成另一种方式XxxxYd1121Y为增广样本向量，为增广样本向量，a为增广权向量。为增广权向量。第三章 非参数判别分类方法例：一个一维特征空间的分类器例：一个一维特征空间的分类器其决策面方程为：其决策面方程为：0 xc在一维空间中为一个点，经齐次简化后可得：在一维空间中为一个点，经齐次简化后可得：121yYyx 1ca第三章 非参数判别分类方法思索

14、思索假设在两维空间存在一条不过原点的直线假设在两维空间存在一条不过原点的直线 120axbxc采用增广向量方式：采用增广向量方式：112231xyYxyyaabc 问题：在添加一维的三维空间中，问题：在添加一维的三维空间中，aTY=0表示的是什么呢？表示的是什么呢？答：一个过原点的平面，方程为答：一个过原点的平面，方程为ay1+by2+cy3=0 第三章 非参数判别分类方法3.1.3 设计线性分类器的主要步骤 线性分类器设计义务是在给定样本集线性分类器设计义务是在给定样本集 条件下，条件下，确定线性判别函数的各项系数，确定线性判别函数的各项系数，w0,w1,wdw0,w1,wd以期对待测样本进

15、展分类时，能满足相应的准那么函数以期对待测样本进展分类时，能满足相应的准那么函数J J为最优为最优的要求。的要求。可见此技术的关键问题是确定所需的准那么函数，然后用最优可见此技术的关键问题是确定所需的准那么函数，然后用最优化技术确定准那么函数的极值解化技术确定准那么函数的极值解W W*及及W0W0*,或增广权向量或增广权向量 .第三章 非参数判别分类方法3.1.3 设计线性分类器的主要步骤 1 按需求确定一准那么函数按需求确定一准那么函数J。2确定准那么函数确定准那么函数J到达极值时到达极值时W*，w0*和和a*的详细数值，的详细数值，从而确定判别函数，完成分类器设计。从而确定判别函数，完成分

16、类器设计。得到线性判别函数：得到线性判别函数：*0*)(wXWxgTYaxgT*)(这种方法的详细过程可大致分为：这种方法的详细过程可大致分为：第三章 非参数判别分类方法3.2 Fisher线性判别Fisher线性判别函数是研讨线性判别函数中最有影响的方线性判别函数是研讨线性判别函数中最有影响的方法之一。对线性判别函数的研讨就是从法之一。对线性判别函数的研讨就是从R.A.Fisher在在1936年发表的论文开场的。年发表的论文开场的。第三章 非参数判别分类方法1.Fisher准那么函准那么函数数 根本思想根本思想设计线性分类器首先要确定准那么函数，然后再利用训练设计线性分类器首先要确定准那么函

17、数，然后再利用训练样本集确定该分类器的参数，以求使所确定的准那么到达样本集确定该分类器的参数，以求使所确定的准那么到达最正确。最正确。在运用线性分类器时，样本的分类由其判别函数值决议，在运用线性分类器时，样本的分类由其判别函数值决议，而每个样本的判别函数值是其各分量的线性加权和再加上而每个样本的判别函数值是其各分量的线性加权和再加上一阈值一阈值w0。假设向量假设向量W的幅度为单位长度，那么线性加权和又可看作各的幅度为单位长度，那么线性加权和又可看作各样本向量在向量样本向量在向量W上的投影。显然样本集中向量投影的分布上的投影。显然样本集中向量投影的分布情况与所选择的情况与所选择的W向量有关。向量

18、有关。第三章 非参数判别分类方法对线性方程的了解：二维空间中一条直线的任何一点到空对线性方程的了解：二维空间中一条直线的任何一点到空间某一单位向量的投影值一样，换句话说，该直线是到这间某一单位向量的投影值一样，换句话说，该直线是到这个向量投影值一样的点的集合。个向量投影值一样的点的集合。假设在二维空间中一条直线能将两类样本分开，或者错分假设在二维空间中一条直线能将两类样本分开，或者错分类很少，那么同一类别样本数据在该直线的单位法向量上类很少，那么同一类别样本数据在该直线的单位法向量上的投影的绝大多数都应该超越某一值。的投影的绝大多数都应该超越某一值。Fisher准那么的根本原理，即向量准那么的

19、根本原理，即向量W的方向选择应能使两类的方向选择应能使两类样本投影的均值之差尽能够大些，而使类内样本的离散程样本投影的均值之差尽能够大些，而使类内样本的离散程度尽能够小。度尽能够小。第三章 非参数判别分类方法样本在样本在d维维X空间的一些描画量空间的一些描画量1各类样本均值向量各类样本均值向量2样本类内离散度矩阵与总类内离散度矩阵样本类内离散度矩阵与总类内离散度矩阵 3样本类间离散度矩阵样本类间离散度矩阵 第三章 非参数判别分类方法样本在一维样本在一维Y空间的一些描画量空间的一些描画量1各类样本均值各类样本均值2样本类内离散度矩阵与总类内离散度矩阵样本类内离散度矩阵与总类内离散度矩阵 第三章

20、非参数判别分类方法Fisher准那么的函数方准那么的函数方式式根据根据Fisher选择投影方向选择投影方向W的原那么，使原样本向量在该方向上的原那么，使原样本向量在该方向上的投影能兼顾类间分布尽能够分开，类内样本投影尽能够密集的的投影能兼顾类间分布尽能够分开，类内样本投影尽能够密集的要求，因此，用以评价投影方向要求，因此，用以评价投影方向W的函数为：的函数为：进一步化为进一步化为W显函数的方式：显函数的方式：第三章 非参数判别分类方法同样同样 也可推出与也可推出与W的关系：的关系：Fisher准那么函数为：准那么函数为：2iS第三章 非参数判别分类方法2.最正确最正确W值确实定值确实定 最正确

21、最正确W值确实定实践上就是对准那么函数求取其取极大值确实定实践上就是对准那么函数求取其取极大值时的值时的W*设计一拉格朗日函数：设计一拉格朗日函数：其中其中为拉格朗日乘子，按拉格朗日算法对上式求对为拉格朗日乘子，按拉格朗日算法对上式求对W的的偏导数，且令其在偏导数，且令其在W=W*时为零，得：时为零，得：第三章 非参数判别分类方法实践上我们关怀的只是向量实践上我们关怀的只是向量W*的方向，其数值大小对分类的方向，其数值大小对分类器没有影响。因此在忽略了数值因子器没有影响。因此在忽略了数值因子R/后，可得后，可得:矩阵非奇特即该矩阵可逆，上式是典型的求矩阵矩阵非奇特即该矩阵可逆，上式是典型的求矩

22、阵 特征特征值问题。值问题。1wbS S其中其中 是一个数量，可用数值是一个数量，可用数值R表示，那么上表示，那么上式可写成：式可写成：*12()TmmW第三章 非参数判别分类方法最正确法线向最正确法线向量量 使使Fisher准那么函数达极大值的解，也就是按准那么函数达极大值的解，也就是按Fisher准那准那么将么将d维维X空间投影到一维空间投影到一维Y空间的最正确投影方向，该向空间的最正确投影方向，该向量量W*的各分量值是对原的各分量值是对原d维特征向量求加权和的权值。维特征向量求加权和的权值。该式与在两类正态分布且具有一样的协方差矩阵该式与在两类正态分布且具有一样的协方差矩阵时，按最时，按最小错误率的贝叶斯决策得到的结果是一致的。小错误率的贝叶斯决策得到的结果是一致的。阐明阐明Fisher准那么是合理的。准那么是合理的。第三章 非参数判别分类方法3.判别函数确实定判别函数确实定 判别函数中的另一项判别函数中的另一项w0尚未确定，普通可采用以下几种方尚未确定，普通可采用以下几种方法确定法确定w0如如:*0*)(wXWxgT 按以下规那么分按以下规那么分类类