多元统计分析-判别分析

《多元统计分析-判别分析》由会员分享，可在线阅读，更多相关《多元统计分析-判别分析（46页珍藏版）》请在装配图网上搜索。

1、数数 学学 建建 模模 培培 训训第第 十十 章章多元统计分析多元统计分析 第第 十十 章章多元统计分析多元统计分析 主主 讲讲：孙孙 中中 奎奎1 1问题引入问题引入2 2思路点思路点拨拨3 3判判别别分析方法分析方法4 4DNADNA序列分序列分类问题类问题的求解的求解5.5.参参考文考文献献目目 录录 首先，我首先，我们来们来考考虑虑一下一下20002000年年“网网易杯易杯”全全国国大大学学生生数学数学建模建模竞赛竞赛的的A A题题是是关关于于“DNADNA序列分序列分类类”的的问题问题 1 1问题问题引入引入 人类基因组中的人类基因组中的DNADNA全序列是由全序列是由4 4个碱个碱

2、基基A A，T T，C C，G G按一定顺序排成的长约按一定顺序排成的长约3030亿亿的序列，毫无疑问，这是一本记录着人类的序列，毫无疑问，这是一本记录着人类自身生老病死及遗传进化的全部信息的自身生老病死及遗传进化的全部信息的“天书天书”。但是，除了这四种碱基外，人。但是，除了这四种碱基外，人们对它所包含的内容知之甚少，如何破译们对它所包含的内容知之甚少，如何破译这部这部“天书天书”是二十一世纪最重要的任务是二十一世纪最重要的任务之一。在这个目标中，研究之一。在这个目标中，研究DNADNA全序列具全序列具有什么结构，由这有什么结构，由这4 4个字符排成的看似随机个字符排成的看似随机的序列中隐藏

3、着什么规律，又是解读这部的序列中隐藏着什么规律，又是解读这部天书的基础，是生物信息学天书的基础，是生物信息学（BioinformaticsBioinformatics）最重要的课题之一。）最重要的课题之一。虽然人类对这部虽然人类对这部“天书天书”知之甚少，但也知之甚少，但也发现了发现了DNADNA序列中的一些规律性和结构。序列中的一些规律性和结构。例如，在全序列中有一些是用于编码蛋白例如，在全序列中有一些是用于编码蛋白质的序列片段，即由这质的序列片段，即由这4 4个字符组成的个字符组成的6464种种不同的不同的3 3字符串，其中大多数用于编码构成字符串，其中大多数用于编码构成蛋白质的蛋白质的2

4、020种氨基酸。又例如，在不用于种氨基酸。又例如，在不用于编码蛋白质的序列片段中，编码蛋白质的序列片段中，A A和和T T的含量特的含量特别多些，于是以某些碱基特别丰富作为特别多些，于是以某些碱基特别丰富作为特征去研究征去研究DNADNA序列的结构也取得了一些结序列的结构也取得了一些结果。此外，利用统计的方法还发现序列的果。此外，利用统计的方法还发现序列的某些片段之间具有相关性，等等。这些发某些片段之间具有相关性，等等。这些发现让人们相信，现让人们相信，DNADNA序列中存在着局部的序列中存在着局部的和全局性的结构，充分发掘序列的结构对和全局性的结构，充分发掘序列的结构对理解理解DNADNA全

5、序列是十分有意义的。全序列是十分有意义的。作为研究作为研究DNADNA序列的结构的尝试，试对以下序列序列的结构的尝试，试对以下序列进行分类：进行分类：问题一：下面有问题一：下面有2020个已知类别的人工制造的序列个已知类别的人工制造的序列（见附件（见附件1 1），其中序列标号），其中序列标号110 110 为为A A类，类，11-2011-20为为B B类。请从中提取特征，构造分类方法，并用这类。请从中提取特征，构造分类方法，并用这些已知类别的序列，衡量你的方法是否足够好。些已知类别的序列，衡量你的方法是否足够好。然后用你认为满意的方法，对另外然后用你认为满意的方法，对另外2020个未标明类个

6、未标明类别的人工序列（标号别的人工序列（标号21402140）进行分类，把结果）进行分类，把结果用序号（按从小到大的顺序）标明它们的类别用序号（按从小到大的顺序）标明它们的类别（无法分类的不写入）：（无法分类的不写入）：A A类类 ；B B类类 。问题二：请对问题二：请对 182182个自然个自然DNADNA序序列（）进行分类。它们都较长。列（）进行分类。它们都较长。用你的分类方法对它们进行分类，用你的分类方法对它们进行分类，并给出分类结果。并给出分类结果。看了这道题，我们应当从何处入手呢，我们应该怎样进行分析呢2 2思路点拨思路点拨细读全题细读全题对未知事物进行分类对未知事物进行分类 问题的

7、问题的本本 质质对另外对另外2020个未标明类别个未标明类别的的DNADNA序列进行分类序列进行分类 根据根据所给所给的的2020个已个已知类知类别的别的DNADNA序列序列所提所提供的供的信息信息 对对182182个自然个自然DNADNA序列进行分类序列进行分类 如果将每一个如果将每一个DNADNA序列都看作样本，那序列都看作样本，那么该问题就进一步提炼成一个纯粹的数学么该问题就进一步提炼成一个纯粹的数学问题：设有两个总体（类）问题：设有两个总体（类）和和 ，其分布特征（来自各个总体的样本）已知，其分布特征（来自各个总体的样本）已知，对给定的新品对给定的新品 ，我们需要判断其属，我们需要判断

8、其属于哪个总体（类）。于哪个总体（类）。对于上面的数学问题，可以用很多成熟对于上面的数学问题，可以用很多成熟的方法来解决，例如：的方法来解决，例如：（1 1）BPBP神经网络；神经网络；（2 2）聚类分析；）聚类分析；（3 3）判别分析；等等。）判别分析；等等。1G2GX 如何选取方法是建模过程中需要解决的另外一个如何选取方法是建模过程中需要解决的另外一个问题：问题：BPBP神经网络是人工神经网络的一种，它通过对神经网络是人工神经网络的一种，它通过对训练样本的学习，提取样本的隐含信息，进而对新样训练样本的学习，提取样本的隐含信息，进而对新样本的类别进行预测。本的类别进行预测。BPBP神经网络可

9、以用以解决上面的神经网络可以用以解决上面的DNADNA序列分类问题，但是，如何提取特征、如何提高序列分类问题，但是，如何提取特征、如何提高网络的训练效率、如何提高网络的容错能力、如何建网络的训练效率、如何提高网络的容错能力、如何建立网络结构是能否成功解决立网络结构是能否成功解决DNADNA序列分类问题的关键序列分类问题的关键所在；聚类分析和判别分析都是多元统计分析中的经所在；聚类分析和判别分析都是多元统计分析中的经典方法，都可以用来将对象（或观测值）分成不同的典方法，都可以用来将对象（或观测值）分成不同的集合或类别，但是，聚类分析更侧重于集合或类别，但是，聚类分析更侧重于“探索探索”对象对象（

10、或观测值）的自然分组方式，而判别分析则侧重于（或观测值）的自然分组方式，而判别分析则侧重于将未知类别的对象（或观测值）将未知类别的对象（或观测值）“归结归结”（或者说，（或者说，分配）到已知类别中。显然，判别分析更适合用来解分配）到已知类别中。显然，判别分析更适合用来解决上面的决上面的DNADNA序列分类问题。序列分类问题。3 3判判别别分析方法分析方法 判别分析是用于判别样品所属类别的一种判别分析是用于判别样品所属类别的一种多元统计分析方法。判别分析问题都可以这样多元统计分析方法。判别分析问题都可以这样描述：设有描述：设有 个个 维的总体维的总体 ，其分布，其分布特征已知（如已知分布函数分别

11、为特征已知（如已知分布函数分别为 或者已知来自各个总体的样本），对给定的一或者已知来自各个总体的样本），对给定的一个新样品个新样品 ，我们需要判断其属于哪个总体。，我们需要判断其属于哪个总体。一般来说，根据判别规则的不同，可以得到不一般来说，根据判别规则的不同，可以得到不同的判别方法同的判别方法 ，例如，距离判别、贝叶斯，例如，距离判别、贝叶斯（BayesBayes）判别、费希尔（）判别、费希尔（FisherFisher）判别、逐步）判别、逐步判别、序贯判别等。这里，我们简单介绍三个判别、序贯判别等。这里，我们简单介绍三个常用的判别方法：距离判别、贝叶斯（常用的判别方法：距离判别、贝叶斯（Ba

12、yesBayes）判别和费希尔（判别和费希尔（FisherFisher）判别。）判别。km12,kG GG12(),(),()kFx F xF xX判判 别别 分分 析析 方方 法法2.2.贝贝叶斯（叶斯（BayesBayes）判）判别别3.3.费费希尔（希尔（FisherFisher）判）判别别 显显著性著性检验检验 3.1 3.1 距离判距离判别别 距离判别的基本思想：样品距离判别的基本思想：样品 X X离哪个总体的距离最近，就判断离哪个总体的距离最近，就判断 X X 属于哪个总体。属于哪个总体。这里的这里的“距离距离”是通常意义下的是通常意义下的距离（欧几里得距离：在距离（欧几里得距离：

13、在 m m 维欧几里维欧几里得空间得空间 R R 中，两点中，两点 与与 的欧几里得距离，也就的欧几里得距离，也就是通常我们所说的距离为是通常我们所说的距离为 ）吗？）吗？带着这个疑问，我们来考虑这样带着这个疑问，我们来考虑这样一个问题一个问题 ：TmxxxX),(21TmyyyY),(2122222112)()()(),(mmYXYXYXYXd21,GG),(21NX)6,(22NY 设有两个正态总体设有两个正态总体 ，和和 ，现在有一个新的样品位于现在有一个新的样品位于 A A 处（参见图处（参见图1 1）1d2d 从图中不难看出：从图中不难看出：，是否，是否 A A 处处的样品属于总体的

14、样品属于总体 呢？呢？21d d1G图图 1 1 显然不是，因为从概率的角度来看，显然不是，因为从概率的角度来看，总体总体 的样本比较分散，而总体的样本比较分散，而总体 的样的样本则非常集中，因此本则非常集中，因此 处的样品属于总处的样品属于总体体 的概率明显大于属于总体的概率明显大于属于总体 的概率，的概率，也就是说，也就是说，处的样品属于总体处的样品属于总体 的的“可可能性能性”明显大于属于总体明显大于属于总体 的的“可能可能性性”！这也说明了用欧几里得距离来度！这也说明了用欧几里得距离来度量样品到总体距离的局限性。因此，需量样品到总体距离的局限性。因此，需要引入新的距离概念要引入新的距离

15、概念这就是下面给这就是下面给出的马氏距离。出的马氏距离。2G1G2G1GA1G2GA2G定义定义1 1（马氏距离）：设总体（马氏距离）：设总体 G G 为为 mm 维总体维总体 （m m 个因素或指标），其均个因素或指标），其均值向量为值向量为 （这里（这里 T T 表表示转置），协方差阵为示转置），协方差阵为 ，则样品，则样品 到总体到总体 G G 的马氏距离定义为的马氏距离定义为Tm),(21mmij)(TmxxxX),(21)()(),(12XXGXdT3.1.1 3.1.1 两总体的距离判别两总体的距离判别 先考虑两个总体（先考虑两个总体（）的情况。设）的情况。设有两个总体有两个总体

16、和和 ,和和 分别是分别是 和和 的的协方差阵，协方差阵，和和 分别是分别是 和和 的均值。对的均值。对于新的样品于新的样品 ，需要判断它来自那个总体。，需要判断它来自那个总体。设来自设来自 （）的训练样本为）的训练样本为其中其中 表示来自哪个总体，表示来自哪个总体，表示来自总体表示来自总体 的样本量。的样本量。2k1G2G121G2G121G2GXiG2,1iTijmijijijxxxX),(212,1iinj,2,1 iG要判断新样品要判断新样品 来自哪个总体，一般的想法是分来自哪个总体，一般的想法是分别计算新样品到两个总体的马氏距离别计算新样品到两个总体的马氏距离 和和 ：如果如果 则判

17、定则判定 ；反之，如果反之，如果 则判定则判定 ：即即 （1 1）A.A.时的判别方法时的判别方法21X),(12GXd),(22GXd),(),(2212GXdGXd1GX),(),(2212GXdGXd2GX2211222212,(,)(,),(,)(,)X Gd XGd XGX Gd XGd XG if:if:其中其中 ，记记 为了得到更简单的判别规则，我们下面为了得到更简单的判别规则，我们下面计算新样品到两个总体的马氏距离计算新样品到两个总体的马氏距离 和和 的差的差221211112211121112211221(,)(,)()()()()2()2()()22()TTTTTTTdX

18、GdX GXXXXXXX ),(12GXd),(22GXd)(2121)(211)()(XXWT显然，判别规则（显然，判别规则（1 1）式等价于）式等价于 （2 2）通常，称通常，称 为判别系数向量称为判别系数向量称 为线性判别函数。为线性判别函数。注意判别准则（注意判别准则（1 1）式或者（）式或者（2 2）式将）式将 维空间维空间 划分成两部分：划分成两部分：和和 也即也即 。距离判别的实质就是：给出。距离判别的实质就是：给出空间空间 的一个划分的一个划分 和和 ，如果样品，如果样品 落入落入 之中，之中，则判定则判定 ；如果样品；如果样品 落入落入 之中，则判定之中，则判定 。12,()

19、0,()0X GW XX GW Xif:if:)(XWmmR 0)(|1XWXD 0)(|2XWXD21DDRmmR1D2DX1D1GXX2D2GX 当当 时，根据判别准则（时，根据判别准则（1 1）式，我们同）式，我们同样的给出判别函数样的给出判别函数 为为相应的判别规则为相应的判别规则为 （3 3）B.B.时的判别方法时的判别方法2121)(XW)()()()()(21221111XXXXXWTT12,()0,:()0XGW XXGif W Xif:在实际应用中，总体的均值和协方差阵一般在实际应用中，总体的均值和协方差阵一般是未知的，我们所知道的仅仅是一组样本或者观是未知的，我们所知道的仅

20、仅是一组样本或者观测值，在这种情况下，就需要利用数理统计的知测值，在这种情况下，就需要利用数理统计的知识，对识，对 进行估计。进行估计。利用已知样本，易得利用已知样本，易得 的无偏的无偏估计分别为估计分别为C.C.的估计的估计 2121,2121,2121,111111njjXnX212221njjXnX11111111)(11njTjjXXXXnS21222222)(11njTjjXXXXnS 对于多个总体的情况，可以类似于两个总体的对于多个总体的情况，可以类似于两个总体的处理过程，我们给出如下的步骤：处理过程，我们给出如下的步骤：第一步：计算样品第一步：计算样品 到每个总体的马氏距到每个总

21、体的马氏距离离 ；第二步：比较第二步：比较 的大小，将样品的大小，将样品 判为距离最小的那个总体。判为距离最小的那个总体。如果均值为：如果均值为：和协方差：和协方差：未知，可以类似两个总体的情形运用训练样本来进未知，可以类似两个总体的情形运用训练样本来进行估计。这里不再赘述。行估计。这里不再赘述。3.1.2 3.1.2 多多总总体的距离判体的距离判别别X),2,1)(2kiXdi),2,1)(2kiXdiX),2,1(kii),2,1(kii3.1.3 3.1.3 距离判别的不足距离判别的不足 距离判别方法简单实用，容易实现，并且距离判别方法简单实用，容易实现，并且结论的意义明确。但是，距离判

22、别没有考虑：结论的意义明确。但是，距离判别没有考虑：（1 1）各总体本身出现的可能性在距离判别）各总体本身出现的可能性在距离判别中没有考虑；中没有考虑；（2 2）错判造成的损失在距离判别中也没有）错判造成的损失在距离判别中也没有考虑。考虑。在很多情况下，不考虑上面的两种因素是在很多情况下，不考虑上面的两种因素是不合理的。贝叶斯（不合理的。贝叶斯（BayesBayes）判别方法克服了）判别方法克服了距离判别的不足。距离判别的不足。与前面距离判别方法不同的是：所谓贝与前面距离判别方法不同的是：所谓贝叶斯（叶斯（BayesBayes）判别，就是在考虑各总）判别，就是在考虑各总体的先验概率和错判损失的

23、情况下，给体的先验概率和错判损失的情况下，给出空间出空间 的一个划分：的一个划分：，使得运用此划分来判别归类时，所带来使得运用此划分来判别归类时，所带来的平均错判损失最小。的平均错判损失最小。3.2 3.2 贝贝叶斯判叶斯判别别mR,21kDDDD贝叶斯（贝叶斯（BayesBayes）判别问题的数学描述为：设有）判别问题的数学描述为：设有 个个 维的总体维的总体 ，其密度函数分别，其密度函数分别为为 ，若已知这若已知这 个总体各自出现的概率（先验概率）个总体各自出现的概率（先验概率）为为 （，且且 ），假设已知将本来属于总体），假设已知将本来属于总体 的样品错判为总体的样品错判为总体 所造成的

24、损失为所造成的损失为 。在这样的情形下，对于新的样品在这样的情形下，对于新的样品 ，需要判，需要判断它来自那个总体。断它来自那个总体。为了给出贝叶斯（为了给出贝叶斯（BayesBayes）判别准则，我们）判别准则，我们从下面几个方面来讨论：从下面几个方面来讨论：kmkGGG,21)(,),(),(21xfxfxfkk12,kqqq0iq11kiiqiGjG),2,1,)(|(kjiijLX 先验概率表示对各总体的先知认识，或者说，先验概率表示对各总体的先知认识，或者说，事先对所研究的问题所具有的认识。一般来说事先对所研究的问题所具有的认识。一般来说，先验概率并不容易获得，其更多的来自于长，先验

25、概率并不容易获得，其更多的来自于长期累积的经验。先验概率可以通过下面几种赋期累积的经验。先验概率可以通过下面几种赋值方法得到：值方法得到：基于经验或者历史资料进行估计；基于经验或者历史资料进行估计；利用训练样本中各种样品所占的比例利用训练样本中各种样品所占的比例 作为作为 的值。其中的值。其中 表示第表示第 类总体的样品数类总体的样品数，是总训练样本数，该方是总训练样本数，该方法要求训练样本是通过随机抽样得到的；法要求训练样本是通过随机抽样得到的；3.3.假定假定 。nniiqiniknnnn21kqqqk/121 这里用这里用 表示将本来属于总体表示将本来属于总体 的样品错判为的样品错判为总

26、体总体 的概率，即误判概率，显然，根据概率的定义，的概率，即误判概率，显然，根据概率的定义，易得：易得：（）（4 4）实际上，（实际上，（4 4）式的几何意义是很明显的，见图）式的几何意义是很明显的，见图2 2。)|(ijPiGjGjDidXXfijP)()|(ij 图图2 2表示的是两个正态总体的误判概率示意图。表示的是两个正态总体的误判概率示意图。误判概率的估计方法有以下几种：误判概率的估计方法有以下几种：（1 1）利用训练样本为检验集，用判别方法）利用训练样本为检验集，用判别方法对训练样本进行判断，统计误判的样本个数，对训练样本进行判断，统计误判的样本个数，计算误判样本占总样本的比例，并

27、作为误判概计算误判样本占总样本的比例，并作为误判概率的估计值；率的估计值；（2 2）当训练样本足够大时，从训练样本中）当训练样本足够大时，从训练样本中预留一部分作为检验集，并记录判错的比率，预留一部分作为检验集，并记录判错的比率，作为误判概率的估计值；作为误判概率的估计值；（3 3）运用舍一法：每次预留一个样本来检）运用舍一法：每次预留一个样本来检验，用剩下验，用剩下 的样本建立判别准则，循环检的样本建立判别准则，循环检验完所有训练样本，记录判错的比率，以此作验完所有训练样本，记录判错的比率，以此作为误判概率的估计值。为误判概率的估计值。1n 错判必然带来损失。现实中，错判的损错判必然带来损失

28、。现实中，错判的损失一般来说很难定量给出。但是可以运用赋失一般来说很难定量给出。但是可以运用赋值法来确定：值法来确定：（1 1）根据经验或者实际问题的特征人为根据经验或者实际问题的特征人为 确定；确定；（2 2）假设各种误判损失都相等。假设各种误判损失都相等。基于前面的讨论，运用概率知识：判别基于前面的讨论，运用概率知识：判别法法 将本来属于总体将本来属于总体 的样本错判给其它的样本错判给其它总体的平均损失为总体的平均损失为那么，关于先验概率的平均错判损失那么，关于先验概率的平均错判损失 为为 （5 5）如果能找到如果能找到 使得平均损失使得平均损失 达到最小，那么达到最小，那么 就称为贝叶斯

29、（就称为贝叶斯（BayesBayes）判别的解。判别的解。DiGkjiijLijPDr1)|()|()()(DgkjkiiikiiijLijPqDrqDg111)|()|()()(*D)(*Dg*D定理定理1 1：设有：设有 个总体：个总体：，已知，已知 的联合密度函数为的联合密度函数为 ，先验概率为，先验概率为 ，错判损失为，错判损失为 ，则贝，则贝叶斯（叶斯（BayesBayes）判别的解）判别的解为为 其中其中 （6 6）下面给出贝叶斯（下面给出贝叶斯（BayesBayes）判别的解的主要结论）判别的解的主要结论 ：kkGGG,21iG)(Xfi),2,1(kiqi)|(ijL,*2*1

30、*kDDDD),2,1(,2,1,),()(|*kikjijXhXhXDjiikiiijXfijLqXh1)()|()(3.3 3.3 费希尔判别费希尔判别 费希尔判别的基本思想：借助于方差分析费希尔判别的基本思想：借助于方差分析的思想，利用投影将的思想，利用投影将 元的数据投影到某一个方元的数据投影到某一个方向，使得投影后组与组之间的差异尽可能的大，向，使得投影后组与组之间的差异尽可能的大，然后根据一定的判别规则对新样本的类别进行判然后根据一定的判别规则对新样本的类别进行判断。断。首先构造一个线性判别函数首先构造一个线性判别函数 （7 7）可见上面的函数将可见上面的函数将 元的数据投影到了一

31、个方元的数据投影到了一个方向，系数向，系数 的确定原则是使的确定原则是使得总体间的差异最大，总体内部的离差最小。得总体间的差异最大，总体内部的离差最小。mmmTXaXaXaXAXU2211)(mTmaaaA),(21 设有设有 个个 元总体：元总体：，它们的均值，它们的均值为：为：；协方差为：；协方差为：。在在 的条件下，有的条件下，有 令令这里这里确定确定 ，使得，使得 个总体间的差异最大，总体内部个总体间的差异最大，总体内部的离差最小，则的离差最小，则 应该达到最大应该达到最大。kmkGGG,21),2,1(kii),2,1(kiiiGX iTTTAXEAXAE)()(ki,2,1AAAX

32、DAXADiTTT)()(ki,2,1AAAAeTkiiT1BAAAkAAAbTkiiiTkiTiT)(112kiik11kii1kBkiii1AkAABAAebATT)(为了确保为了确保 的唯一性，不妨设的唯一性，不妨设 。因此，问题。因此，问题转化为：在条件转化为：在条件 约束下，求约束下，求 使得使得 式达到最大式达到最大这是大家非常熟悉的条件极值的问题。这是大家非常熟悉的条件极值的问题。根据拉格朗日乘子法：根据拉格朗日乘子法：求解得求解得 （8 8）由方程（由方程（8 8）第一式知，）第一式知，是是 的特征根，的特征根，是是相应的特征向量。可以证明相应的特征向量。可以证明 （的大小可的

33、大小可以衡量判别函数以衡量判别函数 的判别效果，故称的判别效果，故称 为为判别效率）。设判别效率）。设 的非零特征根为的非零特征根为 ，相应的满足约束条件的特征向量为相应的满足约束条件的特征向量为 ，显然，显然，取取 时时 达到最大。达到最大。A1AAT1AATABAAT)1()(AABAAATT010)(2AAddABdAdTB1A)(A)(A)(XU)(AB1021rrlll,211lA 1)(A 假设系数假设系数 已经求出，那已经求出，那么线性判别函数么线性判别函数 就完全确定下来，对就完全确定下来，对于一个新的样品于一个新的样品 ，可以构造下面的判别，可以构造下面的判别规则：规则：（9

34、 9）TmaaaA),(21)(XUX1,|min|iTTTTijj kX GA X AA X A if:3.4 3.4 判别分析模型的显著性检验判别分析模型的显著性检验 建立了判别分析模型以后还需要对模型进行评建立了判别分析模型以后还需要对模型进行评价，这就需要对判别分析模型的显著性进行检验，主价，这就需要对判别分析模型的显著性进行检验，主要包括两个方面：判别效果的检验和各变量判别能力要包括两个方面：判别效果的检验和各变量判别能力的检验的检验11，22。所谓判别效果的检验就是检验。所谓判别效果的检验就是检验 k k 个个总体的均值是否有显著的差异，反映了采用判别分析总体的均值是否有显著的差异

35、，反映了采用判别分析模型的有效性问题；各变量判别能力的检验反映的是模型的有效性问题；各变量判别能力的检验反映的是各指标（因素）对判别分类所起的作用时候显著。具各指标（因素）对判别分类所起的作用时候显著。具体的检验方法因为过于复杂，这里不再赘述。体的检验方法因为过于复杂，这里不再赘述。需要说明的是，作为多元统计分析中的经典方需要说明的是，作为多元统计分析中的经典方法，判别分析在许多关于多元统计分析的教材中均有法，判别分析在许多关于多元统计分析的教材中均有详细而深刻的论述。详细而深刻的论述。4 4DNADNA序列分类问题的求解序列分类问题的求解 关于关于DNADNA序列分类问题的讨论和分析，我们在

36、第序列分类问题的讨论和分析，我们在第1 1部分和第部分和第2 2部分已经作了详细的分析和讨论。这里，部分已经作了详细的分析和讨论。这里，我们将根据多元统计分析的知识建立判别分析模型来我们将根据多元统计分析的知识建立判别分析模型来求解求解DNADNA序列的分类问题（这里只求解问题一）。序列的分类问题（这里只求解问题一）。首先，需要提取每条序列的所蕴含的特征首先，需要提取每条序列的所蕴含的特征因为将序列的全部信息都作为指标（因素）来建立判因为将序列的全部信息都作为指标（因素）来建立判别模型是不可能的。别模型是不可能的。DNA DNA序列中所蕴含的信息是非常丰富的，因此，如序列中所蕴含的信息是非常丰

37、富的，因此，如何提取特征、提取什么特征是一个非常困难的问题何提取特征、提取什么特征是一个非常困难的问题这个问题涉及到生物学的知识，此处将不深入展开这个问题涉及到生物学的知识，此处将不深入展开讨论。我们考虑采用序列中讨论。我们考虑采用序列中4 4个碱基个碱基A A，T T，C C，G G的含的含量百分比作为量百分比作为DNADNA序列的特征。序列的特征。为了便于讨论，我们用为了便于讨论，我们用 表示碱基表示碱基A A在序列中所占在序列中所占的百分比；的百分比；表示碱基表示碱基T T在序列中所占的百分比；在序列中所占的百分比；表表示碱基示碱基C C在序列中所占的百分比；在序列中所占的百分比；表示碱

38、基表示碱基G G在序列在序列中所占的百分比。因为，中所占的百分比。因为，+=1+=1，因此，因此 、和和 中只有三个变量是独立的，不失一般性，我们中只有三个变量是独立的，不失一般性，我们选取选取 、和和 为指标，以为指标，以 表示第表示第 个个DNADNA序列的特征向量，换句话说，序列的特征向量，换句话说，“完全完全”代表第代表第 个个DNADNA序列。序列。axtxcxgxaxtxcxgxaxtxcxgxaxtxcxTctaixxxX),(iTctaixxxX),(i 正如前面第正如前面第2 2部分中所分析的：在此部分中所分析的：在此DNADNA序列分类序列分类问题中，共有两个已知的总体（类

39、）问题中，共有两个已知的总体（类）（A A类）和类）和 （B B类），而且，训练样本共有类），而且，训练样本共有 个，其中，个，其中，前前1010个样本（记为个样本（记为 ）属于总体（类）属于总体（类）；后后 1010个样本（记为个样本（记为 ）属于总体）属于总体 （类）（类）。需要解决的问题是：对给定的新样品需要解决的问题是：对给定的新样品 ，我们，我们需要判断其属于哪个总体（类）。需要判断其属于哪个总体（类）。1G2G20n1021,XXX1G201211,XXX2GX 这里分别建立距离判别和费希尔（这里分别建立距离判别和费希尔（FisherFisher）判别）判别模型。模型。（1 1）距

40、离判别模型）距离判别模型在距离判别模型中，首先需要估计总体（类）在距离判别模型中，首先需要估计总体（类）和和 的均值的均值 和协方差阵和协方差阵 ，运用前，运用前面面3.1.13.1.1小节的公式，可以得到均值小节的公式，可以得到均值 和协方和协方差阵差阵 的无偏估计。的无偏估计。然后，计算样本然后，计算样本 到总体（类）到总体（类）和和 的马氏距离的马氏距离 ；根据判别准则（根据判别准则（1 1），可得：），可得：若若 ，则判定，则判定 为为A A类；类；若若 ，则判定，则判定 为为B B类。类。1G2G)2,1(ii)2,1(ii)2,1(ii)2,1(iiX1G2G)()(),(1111

41、12XXGXdT)()(),(212222XXGXdT),(),(2212GXdGXdX),(),(2212GXdGXdX（2 2）费希尔判别模型）费希尔判别模型 首先，确定判别函数首先，确定判别函数 利用费希尔利用费希尔(Fisher)(Fisher)判别准则，可判别准则，可以求出以求出 确定了判别函数，就可以根据费希尔确定了判别函数，就可以根据费希尔(Fisher)(Fisher)判别准则（判别准则（9 9）式，判断新的）式，判断新的DNADNA序列的类别问题了。序列的类别问题了。ctaxaxaxay3219377.0,087.0,3365.0321aaa 判别分析的计算机实现是非常简单的

42、，运用Matlab和SPSS等软件都可以进行判别分析。经过计算，结果如下：（1）距离判别：运用上面算法对已知类别的训练本进行判定，结果为：A类：1，2，3，5，6，7，8，9，10B类：4，11，12，13，14，15，16，17，18，19，20只有第4个样本发生了误判，故正确率为95%。运用上面算法对21-40进行分类，结果为A类：22，23，25，27，29，30，32，33，34，35，36，37B类：21，24，26，28，31，38，39，40（2 2）费希尔判别）费希尔判别 运用上面算法对已知类别的训练本进行判定，结运用上面算法对已知类别的训练本进行判定，结果为：果为：A A类：

43、类：1 1，2 2，3 3，5 5，6 6，7 7，8 8，9 9，1010 B B类：类：4 4，1111，1212，1313，1414，1515，1616，1717，1818，1919，2020 只有第只有第4 4个样本发生了误判，故正确率为个样本发生了误判，故正确率为95%95%。运用上面算法对运用上面算法对21-4021-40进行分类，结果为：进行分类，结果为：A A类：类：2222，2323，2525，2727，2929，3434，3535，3636，3737B B类：类：2121，2424，2626，2828，3030，3131，3232，3333，3838，3939，4040参考

44、文献参考文献1 1 高惠璇，应用多元统计分析，北京大学出版社，高惠璇，应用多元统计分析，北京大学出版社，20052005。2 2 张尧庭张尧庭,方开泰，多元统计分析引论，科学出版社，方开泰，多元统计分析引论，科学出版社，19821982。3 3 陈家鼎，孙山泽，李东风，数理统计学讲义，高等教陈家鼎，孙山泽，李东风，数理统计学讲义，高等教 育出版社，育出版社，19981998。4 4 梁之舜，邓集贤，杨维权等，概率论与数理统计（第梁之舜，邓集贤，杨维权等，概率论与数理统计（第 二版）（上），高等教育出版社，二版）（上），高等教育出版社，19981998。5 5 朱建平，应用多元统计分析，科学出版社，朱建平，应用多元统计分析，科学出版社，20062006。6 6 全国大学生数学建模竞赛优秀论文汇编（全国大学生数学建模竞赛优秀论文汇编（1999-1999-2000 2000），中国物价出版社，），中国物价出版社，20022002。