广义线性分段线性模式空间和权空间

4/15/20241 广义线性判别函数出发点线性判别函数简单，容易实现；非线性判别函数复杂，不容易实现；若能将非线性判别函数转换为线性判别函数，则有利于模式分类的实现。14/15/20242 广义线性判别函数基本思想设有一个训练用的模式集x，在模式空间x中线性不可分，但在模式空间x*中线性可分，其中x*的各个分量是x的单值实函数，x*的维数k高于x的维数n，即若取x*=(f1(x),f2(x),.,fk(x),kn则分类界面在x*中是线性的，在x中是非线性的，此时只要将模式x进行非线性变换，使之变换后得到维数更高的模式x*，就可以用线性判别函数来进行分类。描述24/15/20243 广义线性判别函数广义线性判别函数的意义线性的判别函数fi(x)选用二次多项式函数x是二维的情况x是n维的情况fi(x)选用r次多项式函数，x是n维的情况例子d(x)的总项数说明d(x)的项数随r和n的增加会迅速增大，即使原来模式x的维数不高，若采用次数r较高的多项式来变换，也会使变换后的模式x*的维数很高，给分类带来很大困难。实际情况可只取r=2，或只选多项式的一部分，例如r=2时只取二次项，略去一次项，以减少x*的维数。34/15/20244 广义线性判别函数例子：一维样本空间-二维样本空间44/15/20245分段线性判别函数出发点线性判别函数在进行分类决策时是最简单有效的，但在实际应用中，常常会出现不能用线性判别函数直接进行分类的情况。采用广义线性判别函数的概念，可以通过增加维数来得到线性判别，但维数的大量增加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难，增加计算的复杂性。引入分段线性判别函数的判别过程，它比一般的线性判别函数的错误率小，但又比非线性判别函数简单。54/15/20246 分段线性判别函数图例：用判别函数分类可用一个二次判别函数来分类也可用一个分段线性判别函数来逼近这个二次曲线64/15/20247 分段线性判别函数分段线性判别函数的设计采用最小距离分类的方法最小距离分类74/15/20248 分段线性判别函数图例：分段线性分类设计84/15/20249 模式空间和权空间分类描述模式空间对一个线性方程w1x1+w2x2+w3x3=0，它在三维空间(x1 x2 x3)中是一个平面方程式，w=(w1 w2 w3)T是方程的系数。把w向量作为该平面的法线向量，则该线性方程决定的平面通过原点且与w垂直。94/15/202410 模式空间和权空间模式空间若x是二维的增广向量，此时x3=1，则在非增广的模式空间中即为x1,x2 二维坐标，判别函数是下列联立方程的解 w1x1+w2x2+w3=0 x3=1即为这两个平面相交的直线AB此时，w=(w1 w2)T为非增广的权向量，它与直线AB垂直；AB将平面分为正、负两侧，w离开直线的一侧为正，w射向直线的一侧为负。104/15/202411 模式空间和权空间模式空间(a)增广向量决定的平面(b)非增广向量决定的直线114/15/202412 模式空间和权空间权空间若将方程x1w1+x2w2+w3=0绘在权向量w=(w1 w2 w3)T的三维空间中，则x=(x1 x2 1)T为方程的系数。若以x向量作为法线向量，则该线性方程所决定的平面为通过原点且与法线向量垂直的平面，它同样将权空间划分为正、负两边。在系数x不变的条件下，若w值落在法线向量离开平面的一边，则wTx0，若w值落在法线向量射向平面的一边，则wTx 0。124/15/202413 模式空间和权空间权空间中判别界面的平面示意图13