主成分分析法的原理应用及计算步骤

《主成分分析法的原理应用及计算步骤》由会员分享，可在线阅读，更多相关《主成分分析法的原理应用及计算步骤（12页珍藏版）》请在装配图网上搜索。

1、一、概述在处理信息时，当两个变量之间有一定相关关系时， 可以解释为这两个变量 反映此课题的信息有一定的重叠，例如，高校科研状况评价中的立项课题数与项 目经费、经费支出等之间会存在较高的相关性；学生综合评价研究中的专业基 础课成绩与专业课成绩、获奖学金次数等之间也会存在较高的相关性。而变量 之间信息的高度重叠和高度相关会给统计方法的应用带来许多障碍。为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这 必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种 更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会 造成信息的大量丢失。主成分分析正式这样一种能

2、够有效降低变量维数，并已 得到广泛应用的分析方法。主成分分析以最少的信息丢失为前提，将众多的原有变量综合成较少几个综 合指标，通常综合指标（主成分） 有以下几个特点：主成分个数远远少于原有变量的个数原有变量综合成少数几个因子之后，因子将可以替代原有变量参与数据建 模，这将大大减少分析过程中的计算工作量。主成分能够反映原有变量的绝大部分信息因子并不是原有变量的简单取舍，而是原有变量重组后的结果，因此不会造 成原有变量信息的大量丢失，并能够代表原有变量的绝大部分信息。主成分之间应该互不相关通过主成分分析得出的新的综合指标 （主成分）之间互不相关，因子参与数 据建模能够有效地解决变量信息重叠、多重共

3、线性等给分析应用带来的诸多问 题。主成分具有命名解释性总之，主成分分析法是研究如何以最少的信息丢失将众多原有变量浓缩成 少数几个因子，如何使因子具有一定的命名解释性的多元统计分析方法。、基本原理主成分分析是数学上对数据降维的一种方法。 其基本思想是设法将原来众多 的具有一定相关性的指标XI, X2, ,， XP （比如p个指标），重新组合成一组较 少个数的互不相关的综合指标 Fm来代替原来指标。那么综合指标应该如何去提 取，使其既能最大程度的反映原变量 Xp所代表的信息，又能保证新指标之间保 持相互无关（信息不重叠）。设F1表示原变量的第一个线性组合所形成的主成分指标，即F1 =ailXl a

4、2lX2. aplXp,由数学知识可知，每一个主成分所提取的信息量可用其方差来度量，其方差Var（F1）越大，表示F1包含的信息越多。常常希望第 一主成分F1所含的信息量最大，因此在所有的线性组合中选取的 F1应该是XI, X2，,，XP的所有线性组合中方差最大的，故称 F1为第一主成分。如果第一主 成分不足以代表原来p个指标的信息，再考虑选取第二个主成分指标F2，为有效地反映原信息，F1已有的信息就不需要再出现在 F2中，即F2与F1要保持独 立、不相关，用数学语言表达就是其协方差Cov（F1, F2）=0，所以F2是与F1不相关的X1, X2, , , XP的所有线性组合中方差最大的，故称

5、 F2为第二主成分, 依此类推构造出的F1、F2、，、 Fm为原变量指标X1、X2, XP第一、第二、，、 第m个主成分。FiF2Fm二 1 1 * a 12 2 . ai p pa?11 * * a222 . a2p pam1 X 1 a m2 X 2a mp X p根据以上分析得知：Fi 与Fj互不相关，即Cov(Fi , Fj) = 0,并有Var(Fi)=ai 工ai，其 中工为X的协方差阵(2) F1 是X1, X2, , , Xp的一切线性组合(系数满足上述要求)中方差最大的，”,即Fm是与F1, F2, , ,Fm- 1都不相关的X1, X2, , , XP的所有线性组合中方差最

6、大者。F1,F2, , F(mc p)为构造的新变量指标，即原变量指标的第一、第 第m个主成分。由以上分析可见，主成分分析法的主要任务有两点：(1) 确定各主成分Fi (i=1 , 2, , , m)关于原变量Xj (j=1 , 2 , , , p)的表达式，即系数a ( i=1 , 2, , , m； j=1 , 2 , , , p)。从数学上可以证 明，原变量协方差矩阵的特征根是主成分的方差，所以前m个较大特征根就代表前m个较大的主成分方差值；原变量 协方差矩阵前m个较大的特征值-(这 样选取才能保证主成分的方差依次最大)所对应的特征向量就是相应主成分Fi表达式的系数ai ,为了加以限制，

7、系数ai启用的是对应的单位化的特征向量， 即有 a i ai = 1。(2) 计算主成分载荷，主成分载荷是反映主成分Fi与原变量Xj之间的相互 关联程度：P(ZkX)= .，kaki(i, =1,2,p； k =1,2,m)三、主成分分析法的计算步骤主成分分析的具体步骤如下：(1) 计算协方差矩阵计算样品数据的协方差矩阵：工=(Sij)p p,其中1 I_ # csij (Xki-Xi)(Xkj-Xj)i , j=1 , 求出工的特征值及相应的正交化单位特征向量ai, , , pn 1 k 士工的前m个较大的特征值1_2_, m0就是前m个主成分对应的方差，对应的单位特征向量主成分Fi为：a,

8、就是主成分Fi的关于原变量的系数，则原变量的第i个Fi = ai X主成分的方差（信息）贡献率用来反映信息量的大小，：为:m站= i / 7 ii -1（3）选择主成分最终要选择几个主成分，即F1,F2, ,Fm中m的确定是通过方差（信息）累计贡献率G（m）来确定mpG（m） -7 i /Y 儿ki _1k A当累积贡献率大于85%寸，就认为能足够反映原来变量的信息了，对应的 m 就是抽取的前m个主成分。（4）计算主成分载荷主成分载荷是反映主成分 Fi与原变量Xj之间的相互关联程度，原来变量 Xj（j=1，2，,， p ）在诸主成分 Fi（i=1，2，,， m）上的荷载 lij （ i=1，

9、2，,， m j=1 ，2，,， p）0：l （Z i ,X j） = . ，i （i = 1,2，m; j = 1,2，,p）在SPSS软件中主成分分析后的分析结果中，“成分矩阵”反应的就是主成分 载荷矩阵。（5）计算主成分得分计算样品在m个主成分上的得分：Fi anX! a2iX2a pi X p i = 1，2，,， m实际应用时，指标的量纲往往不同，所以在主成分计算之前应先消除量纲的影响。消除数据的量纲有很多方法，常用方法是将原始数据标准化，即做如下数据变换：*xij -XjXijSji = 1,2,，n ; j = 1,2,，P1 n其中：Xjxj，s2n1亍(Xij2X j)n i

10、 二n - 1 i根据数学公式知道，任何随机变量对其作标准化变换后，其协方差与其相关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。另一方面，根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数， 亦即, 标准化后的变量的协方差矩阵就是原变量的相关系数矩阵 。也就是说，在标准 化前后变量的相关系数矩阵不变化。根据以上论述，为消除量纲的影响，将变量标准化后再计算其协方差矩阵， 就是直接计算原变量的相关系数矩阵，所以主成分分析的实际常用计算步骤是： 计算相关系数矩阵求出相关系数矩阵的特征值.及相应的正交化单位特征向量ai选择主成分计算主成分得分总结：原指标相关系数矩阵相应的特征

11、值i为主成分方差的贡献，方差的p贡献率为:i越大，说明相应的主成分反映综合信息的能力越强，i =1可根据i的大小来提取主成分。每一个主成分的组合系数(原变量在该主成分 上的载荷)ai就是相应特征值i所对应的单位特征向量。主成分分析法的计算步骤1、原始指标数据的标准化采集p维随机向量x =(Xi,X2,.,Xp)T)n个样品Xi= (Xi1,Xi2,Xip)，i = 1,2,，n p，构造样本阵，对样本阵元进行如下标准化变换：Zij =,i =j = 1,2,s坊刀書1 Hjj 9 羽113对一勺尸其中n j宛一 1，得标准化阵z。2、对标准化阵Z求相关系数矩阵7丁 73、 解样本相关矩阵 R的

12、特征方程 |忌二三可 p个特征根,确定主成分 85按乙j=l入j确定m值，使信息的利用率达85%以上，对每个入,j=l,2,.,m,解方程组Rb = jb得单位特征向量匕。4、将标准化后的指标变量转换为主成分Uij =述771记原变量指标为X1, X2, , , Xp，设它们降维处理后的综合指标，即新变量为 z 1, Z2, Z3, Zmw p)，则乙=lii Xi+ Ii2X2 + +IipXpZ2= * Xi+d22X2 + 1 2 p XpZm =mi Xi+ J2X2 + +lmp Xp系数I j的确定原则： Zi与乙(i工j ； i , j=1 , 2, , , m)相互无关； Zi

13、是Xi, X2, , , Xp的一切线性组合中方差最大者，Z2是与乙不相关的Xi,X2 , Xp的所有线性组合中方差最大者； Z m是与Zi, Z2, , , Z叶i都不相关的Xi, X2, Xp ,的所有线性组合中方差最大者。新变量指标Zi , Z2, , , Zm分别称为原变量指标Xi , X2 , , , Xp的第1 ,第2 , 第m主成分。从以上的分析可以看出，主成分分析的实质就是确定原来变量Xj (j=i ,2 , , , p)在诸主成分乙(i=i , 2 , , , m)上的荷载I j ( i=i , 2 , , , m j=i , 2 , , , p)。从数学上可以证明，它们分别

14、是相关矩阵m个较大的特征值所对应的特征向 量。二、主成分分析的计算步骤i、计算相关系数矩阵| riiri2ri p |r2ir22r2 pR =-Si匚2 rppriji (i , j =i , 2 , , , p)为原变量Xi与xj的相关系数，rj =rji，其计算公式为n (Xki -Xi)(Xkj - Xj)k =1rijnn(Xki -Xi/、(Xkj -Xj/2、计算特征值与特征向量解特征方程 ” -R，常用雅可比法(Jacobi )求出特征值，并使其按大小顺序排列2 -/.p _0 ；p 分别求出对应于特征值i的特征向量edi = 4,2,L, p)，要求e i=1，即a e：1

15、j丄其中eij表示向量ei的第j个分量。3、计算主成分贡献率及累计贡献率 i(i=1,2,L,p)贡献率：akk丄iZ打. k 1累计贡献率：盲一(i =1,2, L ,p)kk A一般取累计贡献率达 85%-958的特征值，1, 2,L , m所对应的第1、第2、，、第m(p)个主成分。4、计算主成分载荷lij 二 p(Zi,Xj)二ieij(i, j = 1,2,L , p)5、各主成分得分ZiiZ21Z =Z12Z22Z1 mZ2mZn1Zn2Z nm、主成分分析法在SPSS中的操作1、指标数据选取、收集与录入(表1) 1 竹士 IQ卜百卅洼济典抠ahjgdp4( it工业懦加饥讷三产业

16、划加值产祀瓷旳投瓷口忌蒲5458.213000】4*833137622258.41315.9529.02258.412i73997in車.10550.0n&431390.0炖25J351 022SS.71070.731S192ni10.2b*IJt6076.6950214M.72092 61161.fi597. L1903459302.3天津20.683.9822,89W.Q7017361.9P41.41155ITU江办1122 6353.33962320.01141JS215J3B4.7643J上齡54EJ.S4O&2786.221f5JZ2755 81970_177932035 2320.

17、5709.0新江767001C5708002356.53065.02296.6Ll0.62S77.52M.2畑g届ifJ63Z.013510663 01M7.11U9.0964.539T,9I663J17J72729-东11770.C15050W23.94224.64793.63022.91.275.5son*1S43.712W0广西243?r2506291 4367.fi995,?542J15Z7L025.515 J18672、Analyze f Data Reduction f Factor Analysis ，弹出 Factor Analysis对话框：iarb - |.n. 1BMW

18、dB11叭g ifWBj工业顾a阳11和三产立的福【1片雀设投密即1血梅MT會WF SestonVaiaHePast* ：Rewt LancdHefc1 1LJgeiorpi 昭；EntractoARclitigii.pi -p-. 7-b-r： 2 Factar Analyze 对话框与 Descnprires 子:时话 Ife旦 epgjosd 虫酸Hiug曹liarifcmce levelsKMO arK- EarlfaH* W吐 of 了油歹时*3、把指标数据选入 Variables 框，Descriptives: Correlation Matrix框组中选中Coefficients

19、, 然后点击 Continue,返回Factor Analysis 对话框，单 击OK注意：SPSS在调用Factor Analyze过程进行分析时，SPSS会自动对原始数据进行标准化处理，所以在得到计算结果后的变量都是指经过标准化处理后的变量，但SPSS并不直接给出标准化后的数据，如需要得到标准化数据，则需调用Descriptives过程进行计算。ft J州.X：条数少FFKbtrix也rtial EipamahwKEn珊on Snnfw 哺 prapw! LcacbnCcfiJlLtltllTotalOtVinSfiCfClinuldni! %Tdal0 cf VanaoCTpr17.Z2

20、D72,20572-2057 22072 20572J2D52UB1234484JS1L.23512 M6S4 551j0 81 /a/uo91 31940.547予密弼術5u.oaiOS5499 WO6OD310.21199J5O丁0 0L201199的Q呂0.0020,0 IS99宓890.0010 012WO Odd10U.WM0 000100 900:- b扯Total rifuicc E?qphuicdBorn 2 mcotiiK m-nettd60929商我用| .总袒0 6370 0&I-0.125Cl 7050,7140-7170 6340 8161 0000 88地丹利吒人0

21、.SM02730S980.9IS0.34Q.S480.92O.8S21.000从表3可知GDP与工业增加值，第三产业增加值、固定资产投资、基本建设 投资、社会消费品零售总额、地方财政收入这几个指标存在着极其显著的关系 ， 与海关出口总额存在着显著关系。可见许多变量之间直接的相关性比较强，证明 他们存在信息上的重叠。主成分个数提取原则为主成分对应的特征值大于 1的前m个主成分。特征值在 某种程度上可以被看成是表示主成分影响力度大小的指标，如果特征值小于1, 说明该主成分的解释力度还不如直接引入一个原变量的平均解释力度大，因此一般可以用特征值大于1作为纳入标准。通过表4（方差分解主成分提取分析）可

22、 知,提取2个主成分,即m=2,从表5（初始因子载荷矩阵）可知GDP 工业增加 值、第三产业增加值、固定资产投资、基本建设投资、社会消费品零售总额、海 关出口总额、地方财政收入在第一主成分上有较高载荷，说明第一主成分基本反映了这些指标的信息；人均GDP和农业增加值指标在第二主成分上有较高载荷， 说明第二主成分基本反映了人均GDP和农业增加值两个指标的信息。所以提取两 个主成分是可以基本反映全部指标的信息，所以决定用两个新变量来代替原来 的十个变量。但这两个新变量的表达还不能从输出窗口中直接得到，因为“ ComponentMatrix ”是指初始因子载荷矩阵,每一个载荷量表示主成分与对应 变量的

23、相关系数。用表5（主成分载荷矩阵）中的数据除以主成分相对应的特征值开平方根便 得到两个主成分中每个指标所对应的系数。将初始因子载荷矩阵中的两列数据输 入（可用复制粘贴的方法）到数据编辑窗口（为变量B1、B2）,然后利用“ Transform Compute Variable ” , 在Compute Variable 对话框中输入“ A仁B1/SQR（7.22）”注：第二主成分SQ后的括号中填1.235,即可得到特征向量A（见表6）。同理，可得到特征向量 A将得到的特征向量与标准化后的数据相 乘，然后就可以得出主成分表达式注：因本例只是为了说明如何在SPSS进行 主成分分析，故在此不对提取的主

24、成分进行命名，有兴趣的读者可自行命名。Fi =0J53ZXt +0.Q42ZX *0.041ZX +0.364ZX； + 0.367Z毘 +0.3667 +0352ZX. +0.364仝 +0.298ZX, + 0,3 5 5ZXioF: =0.1乃7 -O.741ZX2 +0.6097 -0.004ZX, +Q.Q63ZX, -0.061ZXo Q22ZX； .lfSZXa -0.046ZX,0.115ZX旳表 6 Compute Variable 对话 tSyjei T 寸说k?Itnienr Epre- 甘伽 BUW +j ： -1 WI .f 1:丽L1J-.lEwiown;1 JJ

25、. 叭 Bi n i iWWJE_Bj 喪 lz j，_ _1, r , | ASyif*l!IJ .1 *! 1 ARfUhtfrqr|/it II 0!第 TANjnMiTOHpti-J:一 砂陨剜肛#闸二 1二刨 -2nd tx蹩册叫Lu加QKPiSate：:1 Pi anii r-_-xU畑；标准化： 通过Analyze Descriptive Statistics Descriptives对话框来实现：弹出Descriptives 对话框后,把XXo选入Variables 框，在Save standardized values as variables前的方框打上钩, 点击“ OK

26、, 经标准化的数据会自动填入数据窗口中，并以Z开头命名。裘 7 nescriptives 对话框旳. 一Hnil; GDP* 心1GME3-衣必临剂曲f J a工竝增加E 1-北】Et*fe Re :尊1仕一.篁jj沪壽三严业崛励, E!丘魚严幽护匸*H&to |OptriCTiEk以每个主成分所对应的特征值占所提取主成分总的特征值之和的比例作为 权重计算主成分综合模型，即用第一主成分F1中每个指标所对应的系数乘上第 一主成分F1所对应的贡献率再除以所提取两个主成分的两个贡献率之和，然后 加上第二主成分F2中每个指标所对应的系数乘上第二主成分 F2所对应的贡献 率再除以所提取两个主成分的两个贡

27、献率之和，即可得到综合得分模型：FO.327ZX： 0.072ZX+C.054ZX310ZX出）活23芬十0304ZX6+0.297ZX；40J34ZXe+0.248ZXe+0.286ZKK,根据主成分综合模型即可计算综合主成分值，并对其按综合主成分值进行排序，即可对各地区进行综合评价比较，结果见表8表8 综合主成分值城卅第一主成卧F主成分f2排肴综件土成分F排名厂.朕5.2310.1164.481江城2.2520.3351.96山1字1.9630.5021.753肠江1 164,0.19S0.9640.3052.3610-0.095辽宁-L2461.961-0,786河北-L3570.414

28、L1O7-L978-0.077-1.70犬泮-3.049-1.019-2.749r科-3.2910.413-2.75!具体检验还需进一步探讨与学习U1称为第一主成分，U2称为第二主成分，,Up称为第P主成分。5、对m个主成分进行综合评价对m个主成分进行加权求和，即得最终评价值，权数为每个主成分的方差贡献率。一、主成分分析基本原理概念：主成分分析是把原来多个变量划为少数几个综合指标的一种统计分析 方法。从数学角度来看，这是一种降维处理技术。思路：一个研究对象，往往是多要素的复杂系统。变量太多无疑会增加分析问题的难度和复杂性，利用原变量之间的相关关系，用较少的新变量代替原来较 多的变量，并使这些少数变量尽可能多的保留原来较多的变量所反应的信息，这样问题就简单化了。原理：假定有n个样本，每个样本共有p个变量，构成一个nxp阶的数据 矩阵，X11X12* * * * * * * * * X1 p |X21X22X2px =：-Xn1Xn2Xnp