监督分类的基本原理及算法

《监督分类的基本原理及算法》由会员分享，可在线阅读，更多相关《监督分类的基本原理及算法（41页珍藏版）》请在装配图网上搜索。

1、EMC监督分类的基本原理及算法监督分类的基本原理及算法讲解者：彭彬统计模式识别统计模式识别是研究每一个模式的各种测量数据的统计特统计模式识别是研究每一个模式的各种测量数据的统计特性，按照统计决策理论来进行分类。性，按照统计决策理论来进行分类。图像图像输入输入训练训练样本样本输入输入改进规则改进规则预处理预处理特征处理特征处理特征处理特征处理分类分类学习规则学习规则误差误差检验检验预处理预处理识别识别分析分析模式识别的大致过程模式识别的大致过程图中的上半部分是图中的上半部分是识别部分识别部分，即对未知图像进行分类；下，即对未知图像进行分类；下半部分是半部分是分析部分分析部分，即由已知判别的训练样

2、本求出判别函，即由已知判别的训练样本求出判别函数及判别规则，进而用来对未知类别的图像进行分类。右数及判别规则，进而用来对未知类别的图像进行分类。右下脚部分是下脚部分是自适应处理自适应处理（学习部分），当训练样本根据某（学习部分），当训练样本根据某些规则求出一些判别规则后，再对这些顺利样本逐个进行些规则求出一些判别规则后，再对这些顺利样本逐个进行检验，观察是否有误差。这样不断的改进，直到满足要求检验，观察是否有误差。这样不断的改进，直到满足要求为止。为止。从图中可以看出统计模式识别部分主要是从图中可以看出统计模式识别部分主要是特征处理特征处理和和分类分类俩部分。俩部分。统计模式识别特征处理：包括

3、特征处理：包括特征选择特征选择和和特征变换特征变换特征选择：指从原来的特征选择：指从原来的M个测量值集合中，按某一准则选择个测量值集合中，按某一准则选择出一个出一个N维（维（NM）的子集作为分类特征。要选取具有区分）的子集作为分类特征。要选取具有区分性，可靠性，独立性好的少量特征。（下面介绍俩种方法）性，可靠性，独立性好的少量特征。（下面介绍俩种方法）穷取法穷取法：从：从M个原始的测量值中选出个原始的测量值中选出N个特征，一共有个特征，一共有C 种种可能。对每一种选法用已知类别属性的样本进行试分类，测可能。对每一种选法用已知类别属性的样本进行试分类，测出其正确分类率，分类误差最小的一组特征是最

4、好的选择。出其正确分类率，分类误差最小的一组特征是最好的选择。最大最小类对距离法最大最小类对距离法：首先在：首先在K个类别中选出最难分离的一个类别中选出最难分离的一对类别，然后选择不同的特征子集，计算这一对类别的可分对类别，然后选择不同的特征子集，计算这一对类别的可分性，具有最大可分性的特征子集就是该方法选择的最佳特征性，具有最大可分性的特征子集就是该方法选择的最佳特征子集。子集。mn特征处理特征变换特征变换：是将原有的：是将原有的M个测量值集合通过某种变换，然后个测量值集合通过某种变换，然后产生产生N（ND （ X,G） 则 属 于 G2类 。费歇尔判别法费歇尔费歇尔(Fisher)准则：准

5、则：要使判别函数值能充分地区分开地理类型，就需要使判别函数值能充分地区分开地理类型，就需要使各类均值之间的差别最大要使各类均值之间的差别最大 （即使不同类之间（即使不同类之间的差别最大），而使各类内部的离差平方和为最的差别最大），而使各类内部的离差平方和为最小小 （即使同类间的差别最小）。（即使同类间的差别最小）。 换句话说，即要求类间（或组间）均值差与类内换句话说，即要求类间（或组间）均值差与类内（或组内）方差之比最大（或组内）方差之比最大 ，这样就能把地理类型，这样就能把地理类型区分得最清楚，这就是费歇尔准则的基本要点区分得最清楚，这就是费歇尔准则的基本要点 。图中：横坐标图中：横坐标X1

6、代表代表变量变量x1,纵坐标代表变纵坐标代表变量量x2，其中俩个，其中俩个区域分别表示区域分别表示A类类和和B类总体的等概率类总体的等概率点的轨迹。如果只用点的轨迹。如果只用X1和和X2来表示来表示A和和B类的类的的分布概率和密度，的分布概率和密度，则很难将俩个数据分则很难将俩个数据分清楚，因为清楚，因为A和和B类的类的数据在俩个坐标轴上数据在俩个坐标轴上都有较大的都有较大的部分重叠部分重叠。ABABX1X2 ABABY2Y1C费歇尔判别法只有将俩类的数据投影到只有将俩类的数据投影到直线直线Y1上，俩类重叠部分上，俩类重叠部分显著减少，直线显著减少，直线Y上所代上所代表的俩个变量的现象组合表的

7、俩个变量的现象组合，即可看做是线性判别函，即可看做是线性判别函数。数。C点可以看做是俩个点可以看做是俩个样本的判临界值，将一维样本的判临界值，将一维空间划分成俩个空间空间划分成俩个空间C可可以看做是以看做是A类和类和B类的判类的判别指标。别指标。ABABX1X2 ABABY2Y1C费歇尔判别法只有将俩类的数据投影到只有将俩类的数据投影到直线直线Y1上，俩类重叠部分上，俩类重叠部分显著减少，直线显著减少，直线Y上所代上所代表的俩个变量的现象组合表的俩个变量的现象组合，即可看做是线性判别函，即可看做是线性判别函数。数。C点可以看做是俩个点可以看做是俩个样本的判临界值，将一维样本的判临界值，将一维空

8、间划分成俩个空间空间划分成俩个空间C可可以看做是以看做是A类和类和B类的判类的判别指标。别指标。依费歇准则的要求，就要根据已知的地理特征值依费歇准则的要求，就要根据已知的地理特征值进行线性组合，构成一个线性判断函数进行线性组合，构成一个线性判断函数y即：即： y=c1*x1+c2*x2+cm*xm其中其中, c1,c2, cm 为待求的判别函数系数，它可为待求的判别函数系数，它可反映各要素或特征值的作用方向、分辨能力和贡反映各要素或特征值的作用方向、分辨能力和贡献率的大小。献率的大小。 只要确定了只要确定了ck(k=1,2,3)，判别函，判别函数数y也就确定了。也就确定了。Xk为已知各要素（变

9、量）的特为已知各要素（变量）的特征值。征值。为了使判别函数为了使判别函数(y)能充分反映出能充分反映出A、B两种地理两种地理类型的差别，就要使两类之间均值差类型的差别，就要使两类之间均值差费歇尔判别法尽可能大，而内部的离差平方和尽可能大，而内部的离差平方和 尽可能的尽可能的少。少。从而要使从而要使I尽可能的大。尽可能的大。费歇尔判别法可以一求极值的原理使可以一求极值的原理使I 取最大值，从而求出取最大值，从而求出Ck,进而算出：进而算出：当判别函数求出后，为判定某一地点的地理归属当判别函数求出后，为判定某一地点的地理归属问题，还需计算出判别指标值问题，还需计算出判别指标值Yc.判别临界值可用判

10、别临界值可用加权法求：加权法求：费歇尔判别法式中，Na为资料A类的组数，Nb为资料B的组数。费歇尔判别法最大似然法(贝叶斯)iiiiwwi12ki-1/2-2 iiP()P(X|).P()P()=,Wn+.+=;1P()= .k1P(X|)= 2exp - (X2wwwwnwnn nn nww为了使用最大似然法，必须预先求出是类别被观测到的概率，所以是可以预测的。如果我们没有更好的办法，可以用样品频率代替，即其中为已知分类数据中来自第 总体样品的数目，且或者我们可以令先验概率相等，即此时，可以认为先验概率不起作用。（ ）-1Tiii-)(X-)UU最大似然法ii1,2,n111mTn,i1,k

11、2i=1m1mmnkikjijijk=1iiiin.a a1U=naa1=(-)(-),i,j=1,2,3,mn-1P()P(X|).logP()+logP(X|)UXX Xuu uXauuxxwwww平均值 和斜方差矩阵 可从训练样本中得到。从 个训练样本其中：为了是似然度函数计算简化，常把 用其对数 而 来代替。最大似然法12212211122121121122=() ( |)() ( |)X=XwwwwTxxETEPP XdPP XdwwwwP E EwwwwPE 则 表 示 类 别 误 分 类 到 类 别 的 概 率 。E 则 表 示 类 别 误 分 类 到 类 别 的 概 率 。误

12、分 概 率 随 T的 位 置 而 变 化 ， P()P( |)P()P( | ）的 位 置 上 确 定 T时 ， 最 小 。1XwP( |)2XwP( |）11XwwP()P( |22XwwP()P( |）最大似然法最大似然分类最大似然法神经网络识别神经网络识别精度评价精度评价精度评价是对俩副图像进行比较，其中一精度评价是对俩副图像进行比较，其中一幅是要进行评价的幅是要进行评价的遥感分类图像遥感分类图像，另一幅，另一幅是假设是假设精确的参考图精确的参考图。误差矩阵与精度指标：误差矩阵与精度指标：误差矩阵误差矩阵（也称混淆矩阵）用来表示精度（也称混淆矩阵）用来表示精度评价的一种标准格式。误差矩阵

13、是评价的一种标准格式。误差矩阵是N行行N列列的矩阵，其中的矩阵，其中N代表列别的数量。代表列别的数量。j 1j11=/p ppppppijniijnijinckkkiP 其中， 是类型中第 类和类型第j列所占的组成成分。 为分类所得的第i类的总和； 为实际观测的第j类的总和；P ：样本总数。（1） ： 它是具有概率意义的一个统计量，表述的是对每一个随机样本，所分类数分类的据实测数据总结果与地面所体分类精度对应区域的实际类型相一致的概率。 精度评价ji/j/pp ppp piiiijjjuA（2） （对于第类） =它表示（如分类后产生的类型图）中任取一个随机样本，其所具有的类型有地面实际类型相同

14、的概率。（3） （对于第类） =它表示相对于地面获得的中的任一个随机样本，分类图上同一用户精度分类结果制图精度实际资料地点的分类结果与其一致的概率。精度评价（4）漏分误差（）漏分误差（ommission）：指对于地）：指对于地面观测的某种类型，在分类图上任取一样面观测的某种类型，在分类图上任取一样本，其被错划分为其他不同类型的概率，本，其被错划分为其他不同类型的概率，也就是实际的某一类地物实际上有多少被也就是实际的某一类地物实际上有多少被错误地分类到其他类别。错误地分类到其他类别。（5）错分误差（）错分误差（commission）：指对于）：指对于所分出的某一类型，任取一个样本，它与所分出的某

15、一类型，任取一个样本，它与实际地面观测类型不同的概率，也就是图实际地面观测类型不同的概率，也就是图像中被划分某一类地物实际上有多少应该像中被划分某一类地物实际上有多少应该是别的类别。是别的类别。 漏分误差和制图精度互补，而错分误差与漏分误差和制图精度互补，而错分误差与用户精度互补。用户精度互补。 当检查误差矩阵中各种数据时，其地图用当检查误差矩阵中各种数据时，其地图用户看到的是分类图中各个类别的可信度，而户看到的是分类图中各个类别的可信度，而制图分析者关心的是用于产生这张分类图的制图分析者关心的是用于产生这张分类图的方法的好坏。从用户角度，误差矩阵显示的方法的好坏。从用户角度，误差矩阵显示的是

16、用户精度，从制图者角度，其显示的制图是用户精度，从制图者角度，其显示的制图精度。计算俩者时，其主要的区别是精度计精度。计算俩者时，其主要的区别是精度计算时的基数。对制图精度，基数是参照图上算时的基数。对制图精度，基数是参照图上各类别的总量；而对用户精度，基数是被评各类别的总量；而对用户精度，基数是被评价图像上的各类别的总数量。价图像上的各类别的总数量。精度评价如下表：对居民区，其制图精度为如下表：对居民区，其制图精度为181/262，即即69.08%；而用户精度为；而用户精度为181/244.即即74.18%。用户精度指示的是这幅地图的可靠性。表。用户精度指示的是这幅地图的可靠性。表中表示被评

17、价图像中表明为居民区的像元中中表示被评价图像中表明为居民区的像元中，有，有74.18%对于于实际的居民区；而制图精对于于实际的居民区；而制图精度则告诉制图者在实际为居民区的地表，有度则告诉制图者在实际为居民区的地表，有69.08%被正确地分类到居民区这一类中。被正确地分类到居民区这一类中。精度评价 参参 考考 图图 像像 被评价的图像被评价的图像居民区居民区空地空地植被植被道路道路总和总和居民区居民区18111655262空地空地1013014植被植被483961148道路道路5186276总和总和2441617268500制图精度制图精度漏风误差漏风误差用户精度用户精度错分精度错分精度居民居

18、民区区181/262=69.08%30.92%181/244=74.18%25.82%空地空地1/14=7.14%92.86%1/16=6.25%93.75%植被植被96/148=64.96%35.14%96/172=55.81%44.19%道路道路62/76=81.58%18.54%62/68=91.18%8.82%Kappa分析：分析： 在对误差矩阵进行分析得出其总体精度在对误差矩阵进行分析得出其总体精度，用户和制图精度后，我们往往仍需要一，用户和制图精度后，我们往往仍需要一个更客观的指标来评价分类质量，比如俩个更客观的指标来评价分类质量，比如俩副图像之间的吻合度。利用总体精度，用副图像之

19、间的吻合度。利用总体精度，用户精度或制图精度的一个缺点是像元类别户精度或制图精度的一个缺点是像元类别的小变动可能会导致其百分比变化。运用的小变动可能会导致其百分比变化。运用这些指标的客观性依赖于采样样本以及方这些指标的客观性依赖于采样样本以及方法。法。 Kappa分析分析 采用另一种离散的多元技术采用另一种离散的多元技术，考虑矩阵的所有因素，用以克服上面的，考虑矩阵的所有因素，用以克服上面的缺点。它是一种测定俩副图像之间的吻合缺点。它是一种测定俩副图像之间的吻合度和精度的指标，其公式为度和精度的指标，其公式为:精度评价1121()()riirriiiiiirhatiiiiiiNNixx xKx

20、 xxxx式中：是误差矩阵中总列数（即总的类别数）；是误差矩阵中第行，第列上像元数量（即正确分类的数量）；分别是第i行和第i列的总像元数量；N是总的用于精度评价的像元数量。和精度评价之KAPPA分析2500*+ + +-*+ * +*+ *=500 -*+ * +*+ *=48.5%=hathatKK（ 181 1 96 62） （ 244 262 1614 172146 68 76）（ 244 262 1614 172146 68 76）（ N 500） 上 表 中 ： 的只 用 到 了 位 于 对 角 线 上 的像 元 总 数 量 ， 而则 考 虑 到 了 对 角 线 上 被 正 确分 类 的 像 元 ， 同 时 考 虑 了 不 在 对 角 线 上 的 各 种 漏分 和 错 分 误 差 。 我 们 在 一 般 的 评 价 中 ， 应 同 时 计算 以 上 各 种 指 标 ， 以 便总 精 度尽 可 能 的 得 到 更 多 的 精 度 信 息 。ABABX1X2 ABABY2Y1