十四章节多元相关

《十四章节多元相关》由会员分享，可在线阅读，更多相关《十四章节多元相关（28页珍藏版）》请在装配图网上搜索。

1、第十四讲第十四讲 多元相关多元相关一、主成分分析一、主成分分析二、因子分析二、因子分析三、典型相关分析三、典型相关分析方法。所研究的问题是：设有某个方法。所研究的问题是：设有某个 维总体维总体一、主成分分析一、主成分分析主成分分析是一种将多个指标化为少数几个主成分分析是一种将多个指标化为少数几个指标以便揭示问题背后隐藏深层次原因的统计指标以便揭示问题背后隐藏深层次原因的统计p,G每个样品都测得每个样品都测得 个指标，而这个指标，而这 个指标往往互个指标往往互pp有影响。能否将这有影响。能否将这 个指标综合成很少几个综合个指标综合成很少几个综合性指标性指标(或特征或特征)，要求这几个综合既能尽可

2、能充，要求这几个综合既能尽可能充p分反映原来分反映原来 个指标的信息，且彼此间互不相个指标的信息，且彼此间互不相p关。关。（一）（一） 从从 个指标求主元的方法个指标求主元的方法p设设 为为 维随机向量，维随机向量，TpxxxX),(21 p,)( XE. 0)( VXD那么如何将这那么如何将这 个指个指p标综合成很少的几个指标标综合成很少的几个指标且要尽可能反映原来指标的作用，又彼此不相且要尽可能反映原来指标的作用，又彼此不相),(,21pkyyyk 关呢？一个自然的方法是寻找指标关呢？一个自然的方法是寻找指标pxxx,21线性组合线性组合(线性变换线性变换)。我们先来考虑第一个总。我们先来

3、考虑第一个总合指标合指标 ，1y令令ppTxaxaxaXay 22111其中其中 是待定的常向量。现在的任务是选取适是待定的常向量。现在的任务是选取适a当当 的使得的使得 最大限度地反映原来指标的作用，最大限度地反映原来指标的作用，a1y这就相当于要求这就相当于要求 要有尽可能大的方差，即选要有尽可能大的方差，即选1y取取 使得使得aVaaXaDyDTT )()(1尽可能地大。尽可能地大。说明说明 是是 的无界函数。的无界函数。然而不能通过加大向量然而不能通过加大向量 的长度使的长度使 的方差变的方差变a)(1yD因为对任意的常数因为对任意的常数 ，有，有0 c)()(2XaDcXcaDTT

4、因此如果对因此如果对 不加不加1 aaTa1y大，大，即只要即只要 变长变长 倍，相应的方差就扩大倍，相应的方差就扩大 倍，也倍，也c2ca限制，问题就会变得毫无意义。限制，问题就会变得毫无意义。a一个自然的限一个自然的限制是令制是令即要求即要求 是单位向量。是单位向量。a从而问题变为：在从而问题变为：在 的条件下，求使的条件下，求使1 aaT达到最大的达到最大的 。VaayDT )(1a定理定理19.1 设总体设总体 的均值和协方差阵分别为的均值和协方差阵分别为G ,Vpxxx,21是总体是总体 的的 个指标，令个指标，令GppTxaxaxaXay 2211其中其中 ，则使得，则使得 的方差

5、的方差1 aaTyVaayDT )(p和和达到最大的达到最大的 正好是矩阵正好是矩阵 的最大特征根的最大特征根 所所aV 对应的特征向量。对应的特征向量。证明证明用用Lagrange乘数法来证明。令乘数法来证明。令)1()( aaVaaaTT 则有则有. 1,22 aaaVaaT 令令,0, 0 a可得可得. 1, aaaVaT 这样就有这样就有, VaaT. 0)( aIV 由于由于, 0 a根据克莱姆法则知，上述齐次线性根据克莱姆法则知，上述齐次线性方程有非零解的充要条件是系数行列式为零，方程有非零解的充要条件是系数行列式为零，, 0| IV 即即这说明这说明 是矩阵是矩阵 的特征根，且由

6、的特征根，且由 可知可知 VaVa 是对应于是对应于 特征根特征根 的特征向量。的特征向量。a V又由又由 VaaT可知欲使可知欲使 的方差的方差 最大，只要取最大，只要取yVaayDT )( 为的最大特征根即可，这样为的最大特征根即可，这样 就是对应的单就是对应的单a位特征向量。位特征向量。由定理由定理19.1可知，第一个综合指标为可知，第一个综合指标为XyT11 其中其中 是的对应于矩阵是的对应于矩阵 最大特征值最大特征值 的单位的单位1 V1 特征向量，称特征向量，称 为为第一主成分第一主成分(或或第一主元第一主元)。1y若协方差矩阵若协方差矩阵 即是非负定的，由矩阵论即是非负定的，由矩

7、阵论, 0 V知它有知它有 个非负的特征根，不妨设为个非负的特征根，不妨设为ppkpkk , 0, 0121 且且 是对应的是对应的 个特征向量。个特征向量。pkk ,121 p自然自然 应为应为 的第二大特征根的第二大特征根 所对应的单位所对应的单位2 V2 特征向量，并称特征向量，并称 为为第二主成分第二主成分。2y类似地，第二个综合指标可以取为类似地，第二个综合指标可以取为)1(2222 TTXy重复以上过程，可得重复以上过程，可得 的第的第 个综合指标个综合指标Xk),1( kTkTkkXy 称为称为 的的第第 个主成分个主成分。Xk总之，我们可得到总之，我们可得到 个主成分个主成分k

8、, 2 , 1),1(kiXyiTiTii 且且kjijiyyCovji, 2 , 1, 0),( kiyDii, 2 , 1,)( 其中其中 是协方差阵是协方差阵 的的非零特征根非零特征根并并), 1(kii V有有, 021pkk 而而 是是), 1(kii 对应的对应的单位特征向量单位特征向量。 若用矩阵可表示如下若用矩阵可表示如下Xy 其中其中,),(21Tkyyyy Tk),(21 且且kTI 即矩阵即矩阵 是行正交矩阵。是行正交矩阵。 因此，所谓的主成分分析也可以看作是对因此，所谓的主成分分析也可以看作是对原来的原来的 个指标个指标 进行了一次正交变进行了一次正交变ppxxx,21

9、换换, 而得到而得到 个互不相关的综合指标，即主个互不相关的综合指标，即主k成分成分.,21kyyy这样关于寻找总体这样关于寻找总体 的综合指标的综合指标主成分主成分X的问题就转化为求的问题就转化为求 的协方差矩阵的协方差矩阵 的特征值的特征值XV和标准正交特征向量的问题，归纳为如下几个和标准正交特征向量的问题，归纳为如下几个步骤：步骤：1.求求 的协方差阵的协方差阵 的特征值，记为的特征值，记为XVpkpkk , 0, 0121 2.求求 对应的单位特征向量对应的单位特征向量i , 1,kii 且要求正交。且要求正交。3.获得第获得第 个主成分个主成分i., 1,kiXyTii 注：若注：若

10、 ，则可得到，则可得到 的的 个主成分；当个主成分；当0 VXp 有重特征值时，主成分不唯一。实际应用时有重特征值时，主成分不唯一。实际应用时V到底应取多少个主成分作为分析问题的综合指到底应取多少个主成分作为分析问题的综合指标的问题留在后面讨论。标的问题留在后面讨论。在实际应用时，经常会遇到在实际应用时，经常会遇到 个指标的量个指标的量p纲不尽相同或取值彼此差异很大的问题，处理纲不尽相同或取值彼此差异很大的问题，处理的一般方法是先将各指标进行标准化，即的一般方法是先将各指标进行标准化，即., 2 , 1,*pivxxiiiii 其中其中).(),(XDVXE 的协方差阵为的协方差阵为*x但应注

11、意这时但应注意这时,)(*RxD 即为相关矩阵即为相关矩阵 pppppprrrrrrrrrR212221211211其中其中pjivvxxCovrjjiijiij, 2 , 1,/ ),( 因此求因此求 的主成分就是求的主成分就是求 的特征值和相应的特征值和相应*xR的单位特征向量，然后可得的单位特征向量，然后可得 的分量的线性的分量的线性*x组合，即为所求的主成分。组合，即为所求的主成分。协方差阵协方差阵 和相关矩阵和相关矩阵 往往是未知的。这时往往是未知的。这时在实际问题中，所研究的总体在实际问题中，所研究的总体 的均值的均值VX, R需对总体进行抽样，设样本为需对总体进行抽样，设样本为.

12、, 2 , 1,),(21niXXXXTipiii 取取 和和 的估计分别为的估计分别为V, R niiXnX11 样本均值样本均值（二）（二） 样本主成分样本主成分,)(ppijrR pjisssrjjiiijij, 2 , 1, 样本相关矩阵样本相关矩阵设设 的特征值为的特征值为Vpkpkk , 0, 0121 对应的单位特征向量为对应的单位特征向量为 , 1,pii 则称则称)., 1(kiXyTii 为为 的第的第 个个样本主成分样本主成分。Xi niTiiXXXXnSnV1)(1111样本协方差阵样本协方差阵同样地，若记同样地，若记 的特征值为的特征值为Rpkpkk , 0, 012

13、1 对应的单位特征向量为对应的单位特征向量为 , 1,pii 则称则称), 2 , 1()(*kiXXWXzTiTii 为为 标准化变量的第标准化变量的第 个样本主成分个样本主成分，其中，其中Xi ppssW100111对于样本对于样本,21nXXX可以得到相应的主可以得到相应的主成分的样本成分的样本jTijiXy )(*XXWXzjTijTiji ., 1, 1kinj 为了区别起见，将这小节的主成分统称为为了区别起见，将这小节的主成分统称为样本主成分样本主成分；而上一小节的主成分统称为；而上一小节的主成分统称为总体总体主成分主成分。（二）（二）贡献率和主成分的解释贡献率和主成分的解释构造综

14、合指标的目的是想用尽可能少的主构造综合指标的目的是想用尽可能少的主成分成分)(,21pkyyyk 来代替原有的来代替原有的 个指标，个指标，p且能对原始资料所具有的意义做出合理的解释。且能对原始资料所具有的意义做出合理的解释。那么到底应该选择多少主成分才合理呢？下面那么到底应该选择多少主成分才合理呢？下面就来讨论总体主成分个数的选取问题，对样本就来讨论总体主成分个数的选取问题，对样本主成分也有类似的分析。主成分也有类似的分析。设设 维总体维总体 的协方差阵为的协方差阵为XpkVvVppij )(rank,)(X的第的第 个主成分为个主成分为i., 1,kiXyTii 由于这些主成分由于这些主成

15、分 时互不相关的，因时互不相关的，因kyyy,21此有此有kkyDyD 11)()(pkk 11)(tr V ppvv 11)()(1pxDxD 这说明这说明 的的“总方差总方差” (即个分量的方差之和即个分量的方差之和)X等于等于 个互不相关的随机变量个互不相关的随机变量 的方的方kkyyy,21差之和，其中差之和，其中 具有最大的方差具有最大的方差 ，1y1 次之且次之且有方差有方差2y,2 ,ky具有最小方差具有最小方差,k 这样主成这样主成分依次集中了分依次集中了 各分量的变化的主要部分，第各分量的变化的主要部分，第X一主成分一主成分 的方差最大，即是以变化最大的方的方差最大，即是以变

16、化最大的方1y向向量为系数所得到的线性函数作为向向量为系数所得到的线性函数作为,1y比值比值 kjjV111)(tr 表明了方差表明了方差 在在“全部方差全部方差”中所占的比重，中所占的比重，1 显显然这个比值越大，表明然这个比值越大，表明 这个变量这个变量“综合综合”原始原始1y资料资料 的能力越强。通常称这个比值的能力越强。通常称这个比值pxxx,21为第一主成分的为第一主成分的贡献率贡献率。类似地称。类似地称 kjjiiV1)(tr ), 2 , 1(ki 为第为第 个主成分的个主成分的贡献率贡献率。而称。而称 kjjmjjmV111)(tr ), 2(km i为前为前 个主成分的个主成

17、分的累计贡献率累计贡献率。m这就是说，贡献率约达，则对应的主成分这就是说，贡献率约达，则对应的主成分反映反映 的能力就越强，反之则弱。因此，在实的能力就越强，反之则弱。因此，在实X用常常略去那些贡献率小的主成分。经验指出：用常常略去那些贡献率小的主成分。经验指出：一般只要前一般只要前 个主成分的累计贡献率超过个主成分的累计贡献率超过85%m就足够了。这样就可以用前就足够了。这样就可以用前 个不相关的主成个不相关的主成m分分 的变化来刻画的变化来刻画 的的 个相关分量个相关分量myyy,21Xppxxx,21的变化，即就是说可以用低维指标的变化，即就是说可以用低维指标)(),(21pmyyyYT

18、m 来反映高维指标来反映高维指标TpxxxX),(21 的变化特性。的变化特性。例子参见例子参见P340.例例 某还海湾地区生物和地理环境之间的关系某还海湾地区生物和地理环境之间的关系分析，在某海湾地区设置了分析，在某海湾地区设置了274块地，调查了块地，调查了8个环境变量和个环境变量和7个物种。环境变量的选择是根据个物种。环境变量的选择是根据预备调查资料分析而确定的，变量名称和物种预备调查资料分析而确定的，变量名称和物种名称如表所示。由于量纲不同，现将它们进行名称如表所示。由于量纲不同，现将它们进行标准化。标准化。环境因子(%) 平 均标准差 物 种平 均(个/m2) 标准差250m颗粒1.

19、214.479Macoma balthica 2325 5996125-250颗粒20.3123.27Tellina tenuis 49.2 54462.5-125颗粒53.6721.36Hydrobia ulvae 374.2 101462.5颗粒24.7420.77Corophium volutator 540.5 1180燃烧损失1.5040.555Nereis diversicolor 63.5 116 Ca2.4010.704Arenicola marina 16.7 26 P0.0280.056Nephthys hom ergii 4.94 171x1y2x3x4x5x6x7x8x2y3y5y6y7y4y某海湾地区环境与物种关系调查因子表某海湾地区环境与物种关系调查因子表