从数据到结论(人民大学吴喜之教授)10典型相关课件

《从数据到结论(人民大学吴喜之教授)10典型相关课件》由会员分享，可在线阅读，更多相关《从数据到结论(人民大学吴喜之教授)10典型相关课件（30页珍藏版）》请在装配图网上搜索。

1、典型相关分析两组变量的相关问题两组变量的相关问题 我们知道如何衡量两个变量之间是否相关我们知道如何衡量两个变量之间是否相关的问题；这是一个简单的公式就可以解决的问题；这是一个简单的公式就可以解决的问题（的问题（Pearson相关系数、相关系数、Kendalls t t、Spearman 秩相关系数秩相关系数。如果我们有两组变量，如何能够表明它们如果我们有两组变量，如何能够表明它们之间的关系呢？之间的关系呢？例子（数据例子（数据tv.sav)业内人士和观众对于一些电视节目的观点业内人士和观众对于一些电视节目的观点有什么样的关系呢？有什么样的关系呢？数据数据tv.sav是不同的人是不同的人群对群对

2、30个电视节目所作的平均评分。个电视节目所作的平均评分。观众评分来自低学历观众评分来自低学历(led)、高学历、高学历(hed)和和网络网络(net)调查三种，它们形成调查三种，它们形成第一组变量第一组变量；而业内人士分评分来自包括演员和导演在而业内人士分评分来自包括演员和导演在内的艺术家内的艺术家(arti)、发行、发行(com)与业内各部门与业内各部门主管主管(man)三种，形成三种，形成第二组变量第二组变量。人们对。人们对这样两组变量之间的关系感到兴趣。这样两组变量之间的关系感到兴趣。例子（数据例子（数据tv.sav)业内人士和观众对于一些电视节目的观点业内人士和观众对于一些电视节目的观

3、点有什么样的关系呢？有什么样的关系呢？数据数据tv.sav是不同的人是不同的人群对群对30个电视节目所作的平均评分。个电视节目所作的平均评分。观众评分来自低学历观众评分来自低学历(led)、高学历、高学历(hed)和和网络网络(net)调查三种，它们形成调查三种，它们形成第一组变量第一组变量；而业内人士分评分来自包括演员和导演在而业内人士分评分来自包括演员和导演在内的艺术家内的艺术家(arti)、发行、发行(com)与业内各部门与业内各部门主管主管(man)三种，形成三种，形成第二组变量第二组变量。人们对。人们对这样两组变量之间的关系感到兴趣。这样两组变量之间的关系感到兴趣。寻找代表寻找代表

4、如直接对这六个变量的相关进行两两分析，很难得如直接对这六个变量的相关进行两两分析，很难得到关于这两组变量之间关系的一个清楚的印象。到关于这两组变量之间关系的一个清楚的印象。希望能够把多个变量与多个变量之间的相关化为希望能够把多个变量与多个变量之间的相关化为两两个个变量之间的相关。变量之间的相关。现在的问题是为每一组变量现在的问题是为每一组变量选取一个综合变量作为选取一个综合变量作为代表；代表；而一组变量最简单的综合形式就是该组变量的而一组变量最简单的综合形式就是该组变量的线性线性组合组合。由于一组变量可以有无数种线性组合（线性组合由由于一组变量可以有无数种线性组合（线性组合由相应的系数确定），

5、因此必须找到相应的系数确定），因此必须找到既有意义又可以既有意义又可以确定的线性组合。确定的线性组合。典型相关分析典型相关分析(canonical correlation analysis)就是要就是要找到这两组变量线性组合的系数使得这两个由线性找到这两组变量线性组合的系数使得这两个由线性组合生成的变量（和其他线性组合相比）之间的组合生成的变量（和其他线性组合相比）之间的相相关系数最大。关系数最大。典型变量典型变量 假定两组变量为假定两组变量为X1,X2,Xp和和Y1,Y2,Yq，那，那么，问题就在于要寻找系数么，问题就在于要寻找系数a1,a2,ap和和b1,b2,bq，和使得新的综合变量（亦

6、称为典，和使得新的综合变量（亦称为典型变量型变量(canonical variable)）11221 122ppqqVa Xa Xa XWbYb Yb Y 之间的相关关系最大。这种相关关系是用典之间的相关关系最大。这种相关关系是用典型相关系数（型相关系数（canonical correlation coefficient）来衡量的。来衡量的。典型相关系数典型相关系数 这里所涉及的主要的数学工具还是矩阵的特征值和这里所涉及的主要的数学工具还是矩阵的特征值和特征向量问题。而所得的特征值与特征向量问题。而所得的特征值与V和和W的典型相的典型相关系数有直接联系。关系数有直接联系。由于特征值问题的特点，

7、实际上找到的是多组典型由于特征值问题的特点，实际上找到的是多组典型变量变量(V1,W1),(V2,W2),，其中，其中V1和和W1最相关，而最相关，而V2和和W2次之等等，次之等等，而且而且V1,V2,V3,之间及而且之间及而且W1,W2,W3,之间互不之间互不相关。这样又出现了选择多少组典型变量相关。这样又出现了选择多少组典型变量(V,W)的的问题了。实际上，只要选择特征值累积总贡献占主问题了。实际上，只要选择特征值累积总贡献占主要部分的那些即可。要部分的那些即可。软件还会输出一些检验结果；于是只要选择显著的软件还会输出一些检验结果；于是只要选择显著的那些那些(V,W)。对实际问题，还要看选

8、取的对实际问题，还要看选取的(V,W)是否有意义，是是否有意义，是否能够说明问题才行。至于得到否能够说明问题才行。至于得到(V,W)的计算，则的计算，则很简单，下面就很简单，下面就tv.sav数据进行分析。数学原理？数据进行分析。数学原理？计算结果计算结果 第一个表为判断这两组变量相关性的若干检第一个表为判断这两组变量相关性的若干检验，包括验，包括Pillai迹检验，迹检验，Hotelling-Lawley迹检迹检验，验，Wilks l l检验和检验和Roy的最大根检验；它们的最大根检验；它们都是有两个自由度的都是有两个自由度的F检验。该表给出了每个检验。该表给出了每个检验的检验的F值，两个自

9、由度和值，两个自由度和p值（均为值（均为0.000）。）。计算结果计算结果 下面一个表给出了特征根下面一个表给出了特征根(Eigenvalue)，特征根所占，特征根所占的百分比的百分比(Pct)和累积百分比和累积百分比(Cum.Pct)和典型相关和典型相关系数系数(Canon Cor)及其平方及其平方(Sq.Cor)。看来，头两对。看来，头两对典型变量典型变量(V,W)的累积特征根已经占了总量的的累积特征根已经占了总量的99.427%。它们的典型相关系数也都在。它们的典型相关系数也都在0.95之上。之上。计算结果计算结果 对于众多的计算机输出挑出一些来介绍。下面表对于众多的计算机输出挑出一些来

10、介绍。下面表格给出的是第一组变量相应于上面三个特征根的格给出的是第一组变量相应于上面三个特征根的三个典型变量三个典型变量V1、V2和和V3的系数，即典型系数的系数，即典型系数(canonical coefficient)。注意，。注意，SPSS把第一组变把第一组变量称为因变量量称为因变量(dependent variables)，而把第二，而把第二组称为协变量组称为协变量(covariates)；显然，这两组变量是；显然，这两组变量是完全对称的。这种命名仅仅是为了叙述方便。完全对称的。这种命名仅仅是为了叙述方便。这些系数以两种方式给出；一种是没有标准化的这些系数以两种方式给出；一种是没有标准化

11、的原始变量的线性组合的典型系数原始变量的线性组合的典型系数(raw canonical coefficient)，一种是，一种是标准化标准化之后的典型系数之后的典型系数(standardized canonical coefficient)。标准化的典。标准化的典型系数直观上对典型变量的构成给人以更加清楚型系数直观上对典型变量的构成给人以更加清楚的印象。的印象。可以看出，头一个典型变量可以看出，头一个典型变量V1相应于前相应于前面第一个（也是最重要的）特征值，主面第一个（也是最重要的）特征值，主要代表高学历变量要代表高学历变量hed；而相应于前面；而相应于前面第二个（次要的）特征值的第二个典型

12、第二个（次要的）特征值的第二个典型变量变量V2主要代表低学历变量主要代表低学历变量led和部分的和部分的网民变量网民变量net，但高学历变量在这里起负，但高学历变量在这里起负面作用。面作用。计算结果计算结果 类似地，也可以得到被称为协变量类似地，也可以得到被称为协变量(covariate)的标准化的第二组变量的相应于头三个特征的标准化的第二组变量的相应于头三个特征值得三个典型变量值得三个典型变量W1、W2和和W2的系数：的系数：。例子结论例子结论 从这两个表中可以看出，从这两个表中可以看出，V1主要和变量主要和变量hed相相关，关，而而V2主要和主要和led及及net相关；相关；W1主要和变主

13、要和变量量arti及及man相关，相关，而而W2主要和主要和com相关；这相关；这和它们的典型系数是一致的。和它们的典型系数是一致的。由于由于V1和和W1最相关，这说明最相关，这说明V1所代表的高学所代表的高学历观众和历观众和W1所主要代表的艺术家所主要代表的艺术家(arti)及各部及各部门经理门经理(man)观点相关；而由于观点相关；而由于V2和和W2也相也相关，这说明关，这说明V2所代表的低学历所代表的低学历(led)及以年轻及以年轻人为主的网民人为主的网民(net)观众和观众和W2所主要代表的看所主要代表的看重经济效益的发行人重经济效益的发行人(com)观点相关，但远远观点相关，但远远不

14、如不如V1和和W1的相关那么显著（根据特征值的的相关那么显著（根据特征值的贡献率）。贡献率）。SPSS的的实现实现 对例对例tv.sav，首先打开例，首先打开例14.1的的SPSS数据数据tv.sav，通过通过FileNewSyntax打开一个空白文件（默打开一个空白文件（默认文件名为认文件名为Syntax1.sps），再在其中键入下面命），再在其中键入下面命令行：令行：MANOVA led hed net WITH arti com man/DISCRIM ALL ALPHA(1)/PRINT=SIG(EIGEN DIM).再点击一个向右的三角形图标再点击一个向右的三角形图标(运行目前程序，

15、运行目前程序，Run current)，就可以得到所需结果了。，就可以得到所需结果了。还可以把还可以把Syntax1.sps另以其他名字（比如另以其他名字（比如tv.sps）存入一个文件夹。下次使用时就可以通过存入一个文件夹。下次使用时就可以通过FileOpenSyntax来打开这个文件了。来打开这个文件了。SPSS的的实现实现 注意注意1：典型相关分析是本书内容中唯一不能用：典型相关分析是本书内容中唯一不能用SPSS的的点击鼠标的点击鼠标的“傻瓜傻瓜”方式，而必须用写入程序行来运行方式，而必须用写入程序行来运行的模型。读者不必要再去研究语法的细节，只要能够举的模型。读者不必要再去研究语法的细

16、节，只要能够举一反三，套用这个例子的程序即可。当然，如果读者愿一反三，套用这个例子的程序即可。当然，如果读者愿意学习意学习SPSS的语法，则在处理数据时，肯定会更方便。的语法，则在处理数据时，肯定会更方便。注意注意2：一些：一些SPSS的输出很长，这时输出窗口截去了一的输出很长，这时输出窗口截去了一些内容没有显示（这有些随意性）。这时输出窗口些内容没有显示（这有些随意性）。这时输出窗口(SPSS Viewer)中结果的左下角有一个红色的三角型。中结果的左下角有一个红色的三角型。如果想要看全部内容，可以先点击鼠标左键，选中输出如果想要看全部内容，可以先点击鼠标左键，选中输出结果，然后从点右键得到

17、的菜单中选择结果，然后从点右键得到的菜单中选择Export，就可以，就可以把全部结果（包括截去的部分）存入一个把全部结果（包括截去的部分）存入一个htm形式的文形式的文件了供研究和打印之用。件了供研究和打印之用。相关分析相关分析(Correlation Analysis)两个变量时两个变量时,用线性相关系数用线性相关系数研究两研究两个变量之间的线性相关性个变量之间的线性相关性:22(,)(,)()()()()()()iiixyiiiiCov X YCorr X YVar X Var Yxxyyrxxyy典型相关分析典型相关分析 目的目的:研究多个变量之间的相关性研究多个变量之间的相关性 方法方

18、法:利用主成分思想利用主成分思想,可以把多个可以把多个变量与多个变量之间的相关化为两变量与多个变量之间的相关化为两个变量之间的相关个变量之间的相关.即找一组系数即找一组系数(向量向量)l和和m,使新变量使新变量U=lX(1)和和V=mX(2)有最大可能的相关关系有最大可能的相关关系.数学数学:设两组随机变量设两组随机变量而而(1)(2)XXX1112(1)(2)111212(,.,),(,.,),ppppXXXXXXppp pp的协方差阵的协方差阵S S0,均值向量均值向量m m=0,S S的剖分为的剖分为:11122122SSS SS对于前面的新变量对于前面的新变量U=lX(1)和和V=mX

19、(2)Var(U)=Var(lX(1)=lS S11lVar(V)=Var(mX(2)=mS S22mCov(U,V)=lS S12m,r rUV=lS S12m/(lS S11l)(mS S22m)我们试图在约束条件我们试图在约束条件Var(U)=1,Var(V)=1下寻求下寻求l和和m使使r rUV=Cov(U,V)=lS S12m达到最大达到最大.这是这是Lagrange乘数法求下面乘数法求下面f f的极大值的极大值经过求偏导数和解方程经过求偏导数和解方程,得到得到lnln=lS S12m=Cov(U,V),及及2211111112222122211112,(,)All BmmABll

20、S S S S S S S S121122(1)(1)22lmllmmlnfSSS因此因此l l2 2既是既是A又是又是B的特征值的特征值,而相应的特征而相应的特征向量为向量为l,m可得到可得到p1对线性组合对线性组合Ui=l(i)X(1),Vi=m(i)X(2),称称每一对变量为每一对变量为典型变量典型变量.其极大值其极大值称为称为第一典型相关系数第一典型相关系数.一般只取前几个影响一般只取前几个影响大的典型变量和典型相关系数来分析大的典型变量和典型相关系数来分析.111()()222(1)(1)120;,;,pppllmmlllA和和B的特征根有如下性质的特征根有如下性质:(1)A和和B有

21、相同有相同的非零特征根的非零特征根,(2)其数目为其数目为p1.A和和B的特征的特征根非负根非负.(3)A和和B的特征根均在的特征根均在0和和1之间之间.我们表示这些称为我们表示这些称为典型相关系数典型相关系数的非零特的非零特征值和相应的特征向量为征值和相应的特征向量为1 11U Vrl典型变量的性质典型变量的性质:(1)X(1)和和X(2)中的一切典型变量都不相关中的一切典型变量都不相关.(2)X(1)和和X(2)的同一对典型变量的同一对典型变量Ui和和Vi之间的之间的相关系数为相关系数为l li,不同对的不同对的Ui和和Vj(ij)之间不之间不相关相关.样本情况样本情况,只要把只要把S S

22、用样本协差阵或样本相关阵用样本协差阵或样本相关阵R代替代替.下面回到我们的例子。下面回到我们的例子。典型相关系数的显著性检验典型相关系数的显著性检验:首先看首先看X(1)和和X(2)是否相关是否相关,如不相关如不相关,就不必讨论就不必讨论.如果如果12(1)(2)(1)(2)012(,)(,).:(,)0ppXXXNHCov XXmS S这是为检验第这是为检验第1个典型相关系数的显著性个典型相关系数的显著性检验统计量为检验统计量为121(1)piil 其中其中 为为 的特征根的特征根.1111122221AR R R R2il2001212,ln()(1)11(1).2under HQmp p

23、when nmnpp 如果如果H0为检验第为检验第r(r F 1 0.919412 0.898444 2.93 0.0223 2 0.418649 0.276633 0.49 0.7453 0.113366 .0.13 0.7257 表表2 标准化典型变量的系数标准化典型变量的系数 Satisfaction1 Satisfaction2 Satisfaction3Career 0.3028 -0.5416 1.0408Supervisor S 0.7854 0.1305 -0.9085Finance 0.0538 0.9754 0.3329 Characteristics1 Characteristics2 Characteristics3 Variety -0.1108 0.8095 0.9071Feedback 0.5520 -0.7722 0.4194Autonomy 0.8403 0.1020 -0.8297（1 你认为应该选取几对典型变量？有几对典型相关系数是显著的？试写出你选取的典型变量的表达式（由标准化后的变量表示），并且解释你选取的典型变量的含义