人民大学应用统计专硕多元统计分析部分总结解析

《人民大学应用统计专硕多元统计分析部分总结解析》由会员分享，可在线阅读，更多相关《人民大学应用统计专硕多元统计分析部分总结解析（9页珍藏版）》请在装配图网上搜索。

1、多元统讣分析上成分分析一. 主成分分析概念 主成分分析是指通过考察变量间的相关性，找到少数儿个主成分代表多个变量的 一种多元统计方法。主成分分析是通过考察变量之间的相关性找到少数儿个主成分来代表原来大多 数的变量，同时使它们尽可能保留原始变量的信息。这些主成分之间彼此不相关， 数量远远少于原始变量的个数，从而达到降维的口的（两个变量存在着相关关系， 这意味着两个变量提供的信息有重叠，如果把两个变量用一个新变量来表示，同 时这一新变量乂尽可能包含原来的两个变量的信息，这就是降维的过程）。如果 想把现有的变量变成少数儿个新的变量（新的变量儿乎带有原来所有变量的信息） 来进入后续的分析，可以使用主成

2、分分析。二. 怎样选取主成分?载荷：各主成分和原来变量的线性相关系数。系数越大说明主成分对该变量的代 表性越强。统讣上降维的处理过程是将原始的变量进行线性组合作为新的变量（主成分）， 原来有多少变量就有多少主成分。我们不能选择所有的主成分这样达不到降维的 LI的，选择的标准是所选择的主成分所代表的主轴长度之和应该占主轴总长度之 和的大部分。所选的第一个主成分应该是主轴最长的（方差最大的，主成分所代表的原始变量 的信息用方差来表示），如果第一个主成分不足以代表原来变量的信息在考虑第 二个。主成分之间互不相关且方差递减。标准：1.选择的主成分的方差之和占全部方差的80%以上即可；2.此外还可以考

3、庖特淀根的大小，如果特征根小于1,就不再选作主成分了，因为该主成分的解 释力度还不如直接用原始变量的解释力度大；3碎石图，从碎石图中我们可以看 岀主轴长度（特征根）的变化趋势，一般情况下，选择碎石图中主轴变化趋势出 现拐点的前儿个主成分作为原始变量的代表。原始变量之间相关程度越高降维的效果越好，所选着的主成分也就越少。如果原 始变量之间不怎么相关不如用它们本身。三. 主成分建模的步骤特征根：乂称方差，反应主成分对原始变量影响程度的一个量，表示引入改主成 分后可以在多大程度上解释原始变量的信息。主成分方差贡献率：某个特征根占总特征根总和的比例称为主成分方差贡献率。1. 对原有的变量进行标准化处理

4、，以消除变量水平和量纲的影响。2. 根据标准化后的数据讣算相关系数矩阵。如果变量之间存在着较强的相关系 数说明适合做主成分分析。3. 求出相关系数矩阵的特征根，即主轴或方差，及对应的单位特征向量。从各 主成分的方差贡献率和累积方差贡献率来选择主成分。4. 确定主成分，并对主成分的含义做出适当的解释。对主成分进行解释主要根 据主成分的因子载荷矩阵。通过因子载荷可以看出主成分分别主要代表哪些 原始变量。但是主成分的这种解释模棱两可主要原因是因子载荷含义不清楚。因子分析一. 因子分析含义因子分析是通过对变量之间关系的研究，找出能综合原始变量的少数儿个因子代 表多个原始变量的一种多元统计方法。二. 主

5、成分分析和因子分析的联系和区别联系：都是找出少数儿个新的变量来代表原始变量，从而达到降维的LI的。区别：1.主成分中的主成分个数与原始变量的个数相同，有儿个变量就有儿个主 成分而因子分析则需要事先确定要找儿个因子，然后将原始变量综合和为少数的 儿个因子以再现原始变量与因子之间的关系。2.主成分是因子分析的一个特例， 因子分析是主成分分析的推广和拓展。3 因子分析的计算较主成分分析更加复杂。4. 因子分析在实际中广泛应用，而主成分分析通常只作为大型数据分析的中间步 骤，不再单独使用，但它的思想对我们有很大的启迪。三. 因子分析模型因子载荷：载荷为变量与因子之间的线性相关系数，反应变量与因子之间的

6、相关 程度。公因子：山于因子出现在每个原始变量与因子的线性组合中因此也成为公因子。变量共同度量：它是公因子对特定的变量的方差贡献率。（讣算方法为一个线性 组合中相关系数的平方和）：共同度量越大说明公因子对原始变量的解释能力越 强。公因子的方差贡献率：指的是某个因子对变量所提供的方差总和，反映了某个因 子的相对重要程度。方差贡献率越大表明该公因子对变量的贡献越大。因子分析模型把每个变量看成是个因子的线性组合。考察变量的信息能够被k个 公因子所解释的程度。四. 因子分析的步骤 因子分析的步骤分为数据检验，因子提取，因子的命名和解释，计算因子得分并 进行综合评价。1. 数据检验数据检验用语判断手头上

7、的数据是否适合作因子分析。因子分析的U的是把原始 变量降维，如果原始变量是独立的意味着每个变量的作用都是不可替代的，也就 无法降维了。条件一：用于因子分析的变量必须是相关的。方法一：计算变量之间的相关系数矩阵，并观察各相关系数。一般来说若相关矩 阵的大部分相关系数小于0.3,就不适合作因子分析方法二：可以作KM0检验和Bartlett球度检验来判断；Bartlett检验是以变量 的相关系数矩阵为基础，如果相关系数矩阵是单位阵，则变量是独立的，也就无 法进行因子分析了。KM0检验用语检验变量间的偏相关性，取值范围在0-1之间， 如果统计量取值接近于1,变量间的偏相关性越强，因子分析的效果就越好。

8、一 般来说，KM0统计量在0. 7以上时因子分析的效果好；0. 5以下效果很差。条件二：从样本量上来看，因子分析要求样本的个数足够多。一般要求样本的个 数至少是变量的5倍以上同时样本总数据量也不能太少，理论要求应该在100 个以上。2. 因子提取因子提取是根据原始变量提取出少数儿个因子，使得少数儿个因子能够反应原始 变量的绝大部分信息。，从而达到降维的目的。因子的提取方法：主成分法；根据因子的方差贡献率来选择。一般悄况下贡献率 达到80%以上的前儿个因子可以作为最后的公因子。实际应用中，因子的提取要 结合具体问题而定，在某种程度上取决于研究者自身的知识和经验。3. 因子的命名和解释 因子命名：

9、考察因子究竟反映了原始变量的那些信息（代表了哪些原始变量）正交旋转：是指坐标轴始终保持垂直90度旋转，这样新生成的因子仍可保持不 相关。斜交旋转：坐标轴的夹角可以是任意的，因此新生成的因子不能保证不相关。 对因子命名和解释之前需要对因子载荷进行因子旋转，以便旋转之后因子的意义 更加明显，能够得到更加合理的解释。进行因子旋转，就是要使因子载荷矩阵中 因子载荷的平方值向0和1两个方向分化，使大的载荷更大，小的载荷更小。方 法有正交旋转和斜交旋转。4. 计算因子得分因子分析模型建立后，还有一个重要的作用是应用因子分析模型去评价每个样品 在整个模型中的地位，即进行综合评价。例如地区经济发展的因子分析模

10、型建立 后，我们希望知道每个地区经济发展的情况，把区域经济划分归类，哪些地区发 展较快，哪些中等发达，哪些较慢等。这时需要将公共因子用变量的线性组合来 表示，也即由地区经济的各项指标值来估计它的因子得分。五. 因子分析的具体步骤1. 将原始数据标准化，以消除变量间在数量级和量纲上的不同。2. 求标准化数据的相关矩阵，判断数据是否适合用因子分析来进行分析。3. 求相关矩阵的特征值和特征向量；4. 计算方差贡献率与累积方差贡献率；从共同度量表中确定因子是否可以充分 解释原始变量5. 确定因子：设Fl, F2,，Fp为p个因子，其中前m个因子包含的数据信 息总量（即其累积贡献率）不低于80%时，可取

11、前m个因子来反映原评价指 标；6. 因子旋转：若所得的m个因子无法确定或其实际意义不是很明显，这时需将 因子进行旋转以获得较为明显的实际含义。7. 用原指标的线性组合来求各因子得分：釆用回归估计法，Bartlett估计法或 Thomson估计法计算因子得分。8. 综合得分以各因子的方差贡献率为权，山各因子的线性组合得到综合评价指 标函数。9. 得分排序：利用综合得分可以得到得分名次聚类分析一. 聚类分析的概念在一些分类中，事先并不知道有多少类别，安全按照反映对象特征的数据把对象 进行分类，这在统计上称为聚类分析；有的则是在事先有了某种分类标准之后, 判定一个新的研究对象应该归属到哪一类别，这在

12、统计上称为判别分析。聚类就是把对象分成不同的类别，这些类不是事先定的，而是直接根据数据的特 征确定的。对象可以是所观察的多个样本，也可以是针对多个样本的多个变量。如果是根据变量对所观察的样本进行分类称为Q类聚类；如果是根据样本对多个 变量进行分类则称为R类聚类。聚类是把相似的东西放在一起，从而使得类别内部的差异尽可能的小，而类别之 间的差异尽可能大。聚类中的相似是指对象之间关系或距离的远近。根据样本观测数据测度变量之间 的相似性（r类聚类）可以用相似系数，计算方法有夹角余弦，变量间的相关系 数越大说明它们越相近。根据变量来测度样本之间（q类聚类）的相似程度则使 用距离。二. 相似性的度量 聚类

13、分析中用“距离”或“相似系数”来度量对象之间的相似性。1. 样本之间的距离度量样本点间距离的计算方法：平方欧氏距离变量间相似系数的计算方法：夹角余弦，pearson相关系数。2 类间距离的度量常用的方法是离差平方和法。最短距离法：用两个类别中各样本点之间最短的距离表示两个类别之间的距离。 最长距离法：用两个类别中各样本点之间最长的距离表示两个类别之间的距离。 重心法：用两个类别的重心之间的距离表示两个类别之间的距离。组间平均距离：用两个类别各样本点之间的距离的平均表示两个类别之间的距离。 离差平方和：先将所有的两个类别中的点当作一个类别讣算离差平方和，再分别 计算各类别的离差平方和。用总的离差

14、平方和减去各离差平方和。三. 聚类方法1. 层次聚类层次聚类分为合并法和分解法。合并法：1将每个样本作为一类。2.按照某种方法度量样本之间的距离，并将 距离最近的两个样本合并为一个类别。3.计算新产生的类别和其他类别之间的 距离，并将距离最近的两个类别分为一类。4一直重复进行分类指导类别数为 b所有类别都合并成为一类。分解法：将所有样本作为一个大类，然后度量对象之间的距离或者相似系数，然 后将距离最远或相似系数最小的对象分离出去，然后形成两大类。再度量类别中 剩余对象之间的距离或相似系数，并将最远的分离出去，不断重复过程，直到所 有的对象都自成一类为止。合并法和分解法事先不确定分的组数，需要根

15、据聚类的树状图以及需要来决定最 后要分儿组。再得到分类结果后，需要分析个类别中所属样本的变量特征，以判断所分的类别 是否合理。通过对各类别所属地区的描述统讣分析，可以检验所分的类别是否合 理。如果个类别差异显著意味着所分的类别基本上是合理的。此外还可以使用方 差分析来检验各不同类别相同变量之间是否有显著差异。2. K-均值聚类K-均值聚类的含义是“K”即事先指定要分的类别个数，而均值”则是指聚类 的重心。计算量较层次聚类法小，效率高也称为快速聚类法。K-均值聚类法不是把所有可能的聚类结果都列出来，而是要求研究者先指定要划 分的类别个数，然后确定各聚类中心，在计算各样本到聚类中心的距离，最后按

16、距离远近进行分类。具体步骤：1 首先如果原始变量取值差异较大，应先将原始数据进行标准化，以避免数量 级和量纲上的差异。2. 确定要分的类别数LI。这需要硏究者自己确定。在实际应用中往往需要研究 者根据实际问题反复尝试，得到不同分类并进行比较，最后得到要分的类别 数量。3. 确定k个类别的初始聚类中心。这一步要求在用于聚类的全部样本中，选择 k个样本作为k个类别的初始聚类中心。与确定类别数H样，原始聚类中 心的确定也需要研究者根据实际问题和经验来综合考虑，选择的原则是中心 点距离其他点尽可能远。4. 根据确定的k个初始聚类中心，依次计算每个样本点到k个聚类中心的欧式 距离，并根据距离最近的原则将

17、所有的样本分到事先确定的k个类别中。5. 根据所分成的k个类别，计算出各类别中每个变量的均值，并以均值点作为 新的k个类别中心。根据新的中心位置，重新计算每个样本到新中心的距离， 并重新进彳亍分类。6. 重复笫四步，直到满足终止聚类的条件为止。终止聚类的条件包括：1.迭代 次数达到研究者事先指定的最大迭代次数。2 新确定的聚类中心点与上一 次聚类形成的中心点的最大偏移量小于指定的量。7. 对所分类别的每个变量之间进行方差分析判断所分的类别是否合理。四. 注意事项从数据要求上1. 参与分类的变量首先应符合要求，也就是选择与口标相关的变量。2.各变量 的去职不应有数量级上的过大差异，否则对分类结果

18、产生较大影响。一般需要进 行标准化处理。3 各变量之间不应该有强的相关关系。从聚类方法的选择上1. 首先看数据，如果参与分类的变量是连续变量，层次聚类法，k均值聚类法 以及两步聚类法都是适用的；如果变量中包括离散变量（讣数变量），则需要对 离散变量进行连续处理，否则应该使用两步骤聚类法；当数据量较少时三种方法 都可以选用，当数据较多时，应考虑选用其他两种。2. 其次要看分类对象。如果对样本进行分类三种方法都是可用的；如果是对变量 进行分类则应该选择层次聚类法。3. 注意对分类结果的检验。两种聚类方法的不同：1层次聚类的分类是不确定的，k均值聚类事先确定类别 数LK 2计算量以及效率上3具体的聚

19、类步骤上。典型相关分析 一典型相关分析解决的问题及其思想应用范围I典型相关分析是研究两组变量之间整体相关程度的多元分析方法。它是将每一组 变量作为一个整体进行研究，而不是分析每一组变量内部的各个变量。所研究的 两组变量可以是一组变量为自变量，而另一组变量为因变量，也可以处于同等地 位，但典型相关分析要求两组变量都至少是间隔尺度的。思想典型相关分析借用主成分分析降维的思想，分别对两组变量提取主成分（原因在 于使新生成的新的综合变量能代表原始变量大部分信息，同时与另一组变量生成 的新的综合变量的相关程度最大；这样一组新的综合变量称为第一对典型相关变 量，典型相关变量（不是一对）之间的简单相关系数称

20、为典型相关系数，典型相 关变量反映了 X, y之间的线性相关情况）使两组变量提取的主成分之间的相关程度达到最大，而同一组内部提取的主成分 之间互不相关。用两组分别提取的主成分的相关性来描述两组变量整体的线性相关关系。可以通过少数典型相关变量的研究代替原来两组变量之间的相关关系研究，从而 抓住为题的本质。可以通过典型相关分析找出儿对主要的典型相关变量，根据典 型相关变量相关程度及各典型相关变量线性组合中原变量相关系数的大小，结合 对所研究实际问题的定性分析，尽可能给出较为深刻的分析结果。典型权重：传统的解释典型函数的方法包括观察每个原始变量在它的典型变量中 的典型权jg的符号和大小。有较大的典型

21、权重则说明原始变量对它的典型变量贡 献较大，反之则相反。原始变量的典型权重有相反的符号，说明变量之间存在一 种反向关系，反之则存在正向关系。典型载荷：也称为典型结构相关系数，是原始变量和它的典型变量间的简单线性 相关系数。典型载荷反映原始变量与典型变量的共同方差，它的解释类似于因子 载荷，也就是每个原始变量对典型函数的相对贡献。典型交义载荷：讣算典型交义载荷包括使每个原始因变量与自变量典型变量直接 相关，提供了一个更直接地测量因变量组与自变量组关系的指标。判别分析一.判别分析解决的问题判别分析的主要U的是识别一个个体所属类别。在被解释变量是属性变量而解释 变量是度量变量时判别分析是合适的统计分

22、析方法。判别分析的基本要求是：分组类型在两组以上；每组案例的规模必须至少在一个 以上:解释变量必须是可测的。第一个判别变量不能是其他判别变量的线性组合。 各组变量的协方差矩阵相等。各判别变量遵从多元正态分布。距离判别：其基本思想是有训练样品得出每个分类的重心坐标，然后对新样品求 出它们离各个类别重心的距离远近，从而归入离得最近的类。最常用的距离是马 氏距离，偶尔也采用欧式距离。距离判别的特点是直观、简单，适合于对自变量 均为连续变量的情况下进行分类，且它对变量的分布类型无严格要求，特别是并 不严格要求总体协方差阵相等。Bayes判别：Bayes判别就是根据总体的先验概率，使误判的平均损失达到最

23、小 二进行的判别。其最大优势是可以用于多组判别问题。但是适用此方法必须满足 三个假设条件，即各种变量必须服从多元正态分布、各组协方差矩阵必须相等、 各组变量均值均有显著性差异。Fisher判别：该方法的基本思想是投影，即将原来在R维空间的自变量组合投 影到维度较低的D维空间去，然后在D维空间中再进行分类。投影的原则是使得 每一类的差异尽可能小，而不同类间投影的离差尽可能大。Fisher判别的优势 在于对分布、方差等都没有任何限制，应用范围比较广。另外，用该判别方法建 立的判别方差可以直接用手匸计算的方法进行新样品的判别，这在许多时候是非 常方便的。1.独立性检验三个系数各自的特点a. p相关系数（P系数的取值范围是0-1之间，且p的绝对值越大，说明变量X与Y的相关程 度越高。但是当列联表的行数或者列数大于2时，（p系数将随着列或行的变大而 增大，且（P值没有上限。这时用（P系数测定两个变量之间的相关程度就不够清晰， 可以采取列联相关系数。b. 列联相关系数列联相关系数始终小于1,但是根据不同的行或列计算的列联系数不变比较, 除非两个列联表中行数和列数一致。这是列联系数的局限性。但是计算简单，且 对总体的分布没有任何要求。c. V相关系数