多元统计分析方法

《多元统计分析方法》由会员分享，可在线阅读，更多相关《多元统计分析方法（17页珍藏版）》请在装配图网上搜索。

1、多元统计分析概述目录一、 引言3二、多元统计分析方法的研究对象和主要内容31。 多元统计分析方法的研究对象32。 多元统计分析方法的主要内容3三、 各种多元统计分析方法 31 。回归分析 32。判别分析 63。聚类分析 84。 主成分分析105。因子分析 106。对应分析方法 117。典型相关分析 11四、多元统计分析方法的一般步骤12五、多元统计分析方法在各个自然领域中的应用12六、总结13参考文献 14 谢辞 15一、引言统计分布是用来刻画随机变量特征及规律的重要手段，是进行统计分布的基 础和提高。多元统计分析方法则是建立在多元统计分布基础上的一类处理多元统 计数据方法的总称 ,是统计学中

2、的具有丰富理论成果和众多应用方法的重要分 支。在本文中，我们将对多元统计分析方法做一个大体的描述，并通过一部分实 例来进一步了解多元统计分析方法的具体实现过程。二、多元统计分析方法的研究对象和主要内容（一）多元统计分析方法的研究对象由于大量实际问题都涉及到多个变量 ,这些变量又是随机变量，所以要讨论 多个随机变量的统计规律性。多元统计分析就是讨论多个随机变量理论和统计方 法的总称.其内容包括一元统计学中某些方法的直接推广，也包括多个随即便量 特有的一些问题，多元统计分析是一类范围很广的理论和方法。现实生活中，受多个随机变量共同作用和影响的现象大量存在。统计分析中, 有两种方法可同时对多个随机变

3、量的观测数据进行有效的分析和研究。一种方法 是把多个随机变量分开分析，一次处理一个随机变量,分别进行研究。 但是，这 样处理忽略了变量之间可能存在的相关性，因此,一般丢失的信息太多,分析的结 果不能客观全面的反映整个问题，而且往往也不容易取得好的研究结论。另一种 方法是同时对多个随机变量进行研究分析，此即多元统计方法。通过对多个随即 便量观测数据的分析，来研究随机变量总的特征、规律以及随机变量之间的相互 关系。所以,多元统计分析是研究多个随机变量之间相互依赖关系及内在统计规 律的一门统计学科.（二）多元统计分析方法的主要内容近年来,随着统计理论研究的不断深入 ,多元统计分析方法的内容一直在丰

4、富。其中，主要内容包括多元正态总体参数估计、假设检验和常用的多元统计方 法.多元正态总体参数估计、假设检验是多元统计推断的核心和基础,而常用的多 元统计分析方法则是具体应用.从形式上，常用多元统计分析方法可划分为两类：一类属于单变量常用的统计方法在多元随机变量情况下的推广和应用，如多 元回归分析,典型相关分析等；另一类是对多元变量本身进行研究所形成的一些特殊方法。如主成分分析， 因子分析,聚类分析,判别分析，对应分析等。三、各种多元统计分析方法具体来说,常用的多元统计分析方法主要包括：多元回归分析、聚类分析、 判别分析、主成分分析、因子分析、对应分析、典型相关分析等。下面我们对各 种多元统计分

5、析方法就行分别描述，（一） 回归分析回归分析是最灵活最常用的统计分析方法之一，它用于分析一个因变量与一 个或多个自变量之间的关系。特别是用于：（1）定量的描述和解释相互关系；（2） 估测或预测因变量的值。回归分析方法是在众多的相关变量中，根据实际问题考察其中一个或多个变 量与其余变量的依赖关系。如果只要考察一个变量与其余多个变量之间的相互依赖关系，我们称为多元回归问题。若要同时考察多个因变量与多个自变量之间的相互依赖关系，我们称为多因变量的多元回归问题.多元回归分析是研究因变量Y与m个自变量x, x，x的相关关系，而 1 2 m且总是假设因变量Y为随机变量，而x, x，x为一般变量。1 2 m

6、 下面我们来看一下多元线性回归模型的建立。假定因变量Y与x, x，x线性相关。收集到的n组数据1 2 m(y,x ,x，x ) (t=1,2, n)满足以下回归模型:t t1 t2tmy =P + B x + P x +s (t=l,2,n)o * 1 11* m tm t、7E(8 )=0,Var(8 )2,Cov(8.,8 .)=0(i丰j)或8 N(Oq2),相互独立(t=1,2,n).tti jtx11x、1mC=xn1x丿nmP0r1,8 =881:2-1p -m-8 -ny则所建回归模型的矩阵形式为Y=Cp+8,E = 0 , D R 21 ,(8 )n (8 )n Y=Cp+s,

7、8 N (Oq 21 ),nn并称它们为经典多元回归模型，其中Y是可观测的随机向量，8是不可观测的随 机向量,C是已知矩阵，P，o2是未知参数，并设nm,且rank (C) =m+1。在经典回归分析中，我们讨论模型中参数P= (P , P，,P )和o 2的估计和检01m验问题。近代回归分析中讨论变量筛选、估计的改进 ,以及对模型中的一些假设 进行诊断等问题。我国国内生产总值与基本建设投资额的大小有密切关系，研究发现两变量之 间存在线性关系。根据甘肃省 19902003 年的国内生产总值与基本建设投资额 数据，研究它们的数量规律性，探讨甘肃省基本建设投资额与国内生产总值的数量关系，原始数据见下

8、表.年份GDP （亿元）基本建设投资（亿元）1990242。829.041991271.3933。961992317。 7939.221993372。 2442.891994451。 6658.191995553。 3562。621996714.18101.421997781.34121。 741998869.75157.141999931.98187。 492000983。 36208.2820011072.51228.6320021161。 43263。 0620031304。 6307。3利用excel进行分析，具体输出以下数据,平方和自由度方差F 检验值回归1553189.711553

9、189。7残差59475.667124956.3056313。3765001离差1612665.413复 相 关 系 数R =。981386594345333剩 余 标 准 差 SY =70.4010340269248 回归方差与剩余方差之比 F =313.376500123223 各个自变量的 t 检验值17。70244334t 检验的自由度 N P-1 =12F 检验的自由度 第一自由度=1，第二自由度=12各个自变量的偏回归平方和1553189.7 各个自变量的偏相关系数0。981386594 由输出结果，得以下结论：回归方程为 y=232.70+3.68 x1其中,负相关系数为R2 =

10、0。9814,说明回归方程拟合优度较高。而回归系数的t=17.7024，查t分布表t （12） 2.1788,小于t值，因此回归系数显著。查F0.025分布表，F (112)二4.75，由下表知，F=313。37654。75，因此回归方程也显0.05著。平方和自由度方差F检验值回归1553189。 711553189.7残差59475.667124956。 3056313.3765001离差1612665。 413(二)判别分析判别分析是多元统计分析中用于判别样品所属类型的一种统计分析方法 ，是 一种在已知研究对象用某种方法已经分成与若干类的情况下，确定新的样品属于 哪一类的多元统计分析方法。

11、判别方法处理问题时，通常通常要给出用来衡量新样品与各已知组别的接近 程度的指数，即判别函数，同时也指定一种判别准则，借以判别新样品的归属。 所谓判别准则是用于衡量新样品与各已知组别接近程度的理论依据和方法准则。 常用的有，距离准则、Fisher准则、贝叶斯准则等。距离判别的基本思想是：样 品和那个总体距离最近，就判断它属于哪个总体。距离判别也称直观判别。已知有两个类G和G，比如G是设备A生产的产品，G是设备B生产的1 2 1 2同类产品.设备A的产品质量高(如考察指标为耐磨度X),其平均耐磨度卩(1)=80, 反映设备精度的方差6=0.25；设备B的产品质量稍差，其平均耐磨度卩=75,12反映

12、设备精度的方差e=4.今有一产品X，测得耐磨度x =78,试判断该产品是哪2 0 0一台设备生产的？下面考虑一种相对于分散性的距离。记 X与G或G的相对平均距离为 012d2(x )或 d2(x )，则有：d2(x ) = (xo 卩)2 二(78 80)2 =16，102010G 20.251d2(x )=20(x 卩)2 0G 2(78 75)24.00=2。25。因为d (x )=1。54= d (x )，按这种距离准则应判X为设备B生产的。2 0 1 0 0一般的，我们假设总体G的分布为N(卩(DQ2),总体G的分布为N(卩Q2)，1 1 2 2则利用相对距离的定义，可以找出分界点比和

13、卩(不妨设卩卩(1)，G G ),* 1 2(x 卩(1)2卩(1Q+卩G3 x =21G +Gdef和 x=卩(1)G 卩G2 1G Gdef此例中，士 =79，卩=81.6667。而按这种距离最近法则的判别法为:*判XwG,当（X 卩）2（X 卩X即胃xq）21O 2o 2*12判XwG，当（x_卩）2 （x 卩）2（即x*或Xy）I2O 2O 2*12为了区分小麦品种的两种不同的分蘖类型，用x ,x ,x三个指标求其判别函123数。经验样品中，第一类取11（主茎型）个样品，第二类（分蘖型）取 12个样品， 数据如下表所示。x1x2x3判别归类x1x2x3判别归类10。713。8012。0

14、0111.004。2515.162第20。783。8612。171第21.003.4316。252-31.002.105.701二31.003。7011.402类40.701。705。901类41。003。 8012。 402(50。301。806.101(51。004。0013.602主60。603。4010。201分61。004.0012.802茎71.003.6010.201蘖71.004.2013.402型80.503。5010.501型81.004.3014。002)90。505.0011。501)91。005.7015。802100.714.0011。251101。004。70 2

15、0.402111。004。5012。002111。004.o6014。 00 2121。004.5614。602x（1）i0。 70913.38739。 7746x0.98 4.2714。 4842由表计算得XX(2)= (0.2742,0.882,-4.7096)T ,=(0.8462,3。 8287,12。 1293)0.56240.18210.8355-1=0.282115.516032.3014 ,0.835532.3014126.23741.7978-0.0169-0.0076_-0.01690.1381-0.0352,-0.0076-0.03520.0170o (X)二 2(X X

16、 )tS -1(X - X)S-1 二 21L-1 二 21xxL = L(1)+ L(2)xx xx=21 (0.4425,0.0486, 0.0468)2x 0.84621x 一3.82862x 一 12.12953用e(X)对经验样本的23个样品进行判别有如下结果：第一类的11个样本中有10 个判别为第一类，一个判别为第二类;第二类的 12 个样品全部判别为第二类,符合率为22/23=96%。例如，第一类第一个样品X二(0.71,3.80,12.00”，则1O(X(1)=0.68190，则XeG (第一类)。又如，第一类的第11个样品 1 1 1X(i)= (1.00,4.50,12.0

17、0)t，o (X(1) =-0.30830,故 X e G (第二类)。11 11 11 2将o(X )投入使用，可判别小麦品种的分蘖类型，如测得某小麦品种x二1，1x二3.43,x二16.25,则由o(X) =-2.91280判别该品种为分蘖型。23(三) 聚类分析 聚类分析是将样品或变量按照它们在性质上的亲疏程度进行分类的多元统 计分析方法。聚类分析时，用来描述样品或变量的亲疏程度通常有来两个途径， 一是把每个样品或变量看成是多维空间上的一个点，在多维坐标中,定一点与点， 类和类之间的距离，用点与点间距离来描述样品或变量之间的亲疏程度：另一个 是计算样品或变量的相似系数,用相似系数来描述样

18、品或变量之间的亲属程度。聚类分析是实用多元统计分析的一个新的分支，聚类分析的功能是建立一种 分类方法，他将一批样品或变量，按照它们在性质上的亲疏、相似程度进行分类。聚类分析的内容十分丰富，按其聚类的方法可分为以下几种：(1) 系统聚类法：开始每个对象自成一类,然后每次将最相似的两类合并，合 并后重新计算新类与其他类的距离或相近性测度。这一过程可用一张谱系聚类图 描述.(2) 调优法(动态聚类法)：首先对n个对象初步分类，然后根据分类的损 失函数尽可能小的原则对其进行调整，直到分类合理为止。(3) 最优分割法(有序样品聚类法)：开始将所有样品看做一类，然后根据某 种最优准则将它们分割为二类、三类

19、，一直分割到所需的 K 类为止。这种方法 适用于有序样品的分类问题，也称为有序样品的聚类法。(4) 模糊聚类法：利用模糊集理论来处理分类问题，它对经济领域中具有模 糊特征两态数据或多态数据具有明显的分类效果.(5) 图论聚类法：利用图论中最小支撑树的理论来处理分类问题，创造了独 具风格的方法.(6) 聚类预报法：利用聚类方法处理预报问题，在多元统计分析中 ,可以用来 做预报的方法很多,如回归分析和判别分析。但对一些异常数据，如气象中的灾 害性天气的预报，使用回归分析或判别分析处理的效果都不好，而聚类预报弥补 了这一不足，只是一个值得重视的方法.聚类分析根据对象的不同又分为R型和Q型两大类，R型

20、是对变量(指标) 进行分类，Q型是对样品进行分类.R 型聚类分析的目的有以下几方面：(1) 可以了解变量间及变量组合间的亲疏关系；(2) 对变量进行分类；(3) 根据分类结果及它们之间的关系，在每一类中选择有代表性的变量作为重 要变量，利用少数几个重要变量进一步作分析计算，如进行回归分析或 Q 型聚 类分析等。Q 型聚类分析的目的主要是对样品进行分类。分类的结果是直观的, 且比传统 的分类方法更细致、全面、合理。当然使用不同的分类方法通常有不同的分类结 果.对任何观测数据都没有唯一“正确”的分类方法。实际应用中，常采用不同 的分类方法，对数据进行分析计算，一边对分类提供具体意见 ,并由实际工作

21、者 决定所需要的分类数及分类情况.下面是聚类分析的一个简单例子。有五个样品，每个只测量了一个指标，分 别为 1，2，6，8，11,我们用最短距离法将它们分类。(2)由D知类间最小距离为1,于是将G和G合并成G ,并计算G和其他(0) 1 2 6 6(5)最后将 G 和 G 合并为 G ，这时五个样品聚为一类。6 8 9(四) 主成分分析 主成分分析是采取一种数学降维的方法,找出几个综合变量来代替原来众多 的变量,是这些综合变量尽可能的代表原来变量的信息，而且彼此之间互不相关。 这种把多个变化量化为少数几个互相无关的综合变量的统计分析方法就叫做主 成分分析或主分量分析。主成分分析所要做的就是设法

22、将原来众多具有一定相关性的变量，重新组合 为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是 将原来的变量做线性组合，作为新的综合变量,但是这种组合如果不加以限制， 则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为F,自然希望它尽可能多的反映原来变量信息，这里信息用方差来测量，1即希望Var(F)越大，表示F包含信息越多。因此在所有线性组合中所选取的F应1 1 1该是方差最大的，故称F为第一主成分。如果第一主成分不足以代表原来p个变1量的信息，再考虑选取F即第二个线性组合,为了有效地反映原来信息，F已有的 21信息就不需要再出现在F中，用数学语言

23、表达就是要求Cov(F,F )=0，称F为第2 1 2 2二主成分，以此类推可以构造出第三、四第p个主成分。(五) 因子分析 因子分析是主成分分析的推广和发展，它是由研究原始数据相关矩阵的内部依赖关系出发，把一些具有错综复杂关系多个变量（或样品）综合为少数几个因 子,并给出原始变量与综合因子之间相关关系的一种多元统计分析方法。它也属 于多元分析中数据降维的一种统计方法.因子分析是通过变量（或样品）的相关系数矩阵内部结构的研究，找出存在 于所有变量（或样品）中具有共性的因素，并综合为少数几个新变量，把原始变 量表示成少数几个综合变量的线性组合 ,以再现原始变量与综合变量之间的相关 关系。其中，这

24、里的少数几个综合变量一般是不可观测指标，通常称为公公因子。因子分析常用的两种类型：一种是R型因子分析，即对变量进行因子分析： 另一种叫做Q型因子分析,即对样品进行的因子分析。（六）对应分析方法 对应分析又称为相应分析 ,是一种目的在于揭示和样品之间或者定性量资料 中变量与其类别之间的相互关系的多元统计分析方法。对应分析的关键是利用一种数据变换,使含有p个变量n个样品的原始数据矩阵， 变换成为一个过渡矩阵乙并通过矩阵Z将R型因子分析和Q型因子分析有机 的结合起来。具体地说，首先给出进行R型因子分析时变量点的协差阵A= ZZ和 进行Q型因子分析时样品点的协差阵B= ZZ/，由于ZZ和ZZ/有相同的

25、非零特征 根，记为九 X .% 0mmin（p,n）12m,依据证明，如果A的特征根X对应的特征向量为u ,则B的特征根X对应的i i i特征向量就是ZU仝V，根据这个结论就可以很方便的借助R型因子分析而得到i iQ型因子分析的结果。因为求出A的特征根和特征向量后很容易地写出变量点 协差阵对应的因子载荷矩阵，记为F。则F=ii JXu X21 1uX 122uX-222uX p 2 2uX1m 二uX2 m 1这样，利用关系式ZU仝V也很容易地写出样品点协差阵B对应的因子载荷ii阵，记为G.则G=v X21 1Jv、X22 2I Vn1vn2从结果的展示上，由于A和B具有相同的非零特征根，而这

26、些特征根正是公 共因子的方差，因此可以用相同的因子轴同时表示变量点和样品点，即把变量点 和样品点同时反映在具有相同坐标轴的因子平面上，以便显示出变量点和样品点 之间的相互关系,并且可以一并考虑进行分类分析。（七）典型相关分析 在经济问题中，不仅经常需要考察两个变量之间的相关程度，而且还经常需 要考察多个变量与多个变量之间即两组变量之间的相关系。典型相关分析就是研 究两组变量之间相关程度的一种多元统计分析方法。典型相关分析是研究两组变量之间相关关系的一种统计分析方法。为了研究 两组变量X ,X，X和Y, Y，Y之间的相关关系，采用类似于主成分分析的方 12p12q法，在两组变量中,分别选取若干有

27、代表性的变量组成有代表性的综合指数，通 过研究这两组变量之间的相关关系，来代替这两组变量之间的相关关系，这些综 合指数称为典型变量。此外,多元统计分析方法还有方差分析、偏最小二乘回归分析、逻辑分析、 联合分析等，我们就不做一一介绍了。四、多元统计分析方法的一般步骤与一般统计分析方法一样，多元统计分析方法也要经过建立模型、进行参数 估计、假设检验以及预测控制等步骤。以经济统计为例，具体步骤是：1、根据经济理论进行定性分析，设计理论模型；2、对实际经济活动的现象抽取样本，并取得样本统计资料；3、对描述样本的指标利用多元统计分析方法进行统计分析，选择最佳的统计 指标；4 根据最佳指标的样本数据，估计

28、参数，建立数量模型模型；五、多元统计分析方法在各个自然领域中的应用多元统计分析是解决实际问题的有效的数据处理方法 ,其应用范围非常广 泛。多元统计分析方法可以应用于地质科学、气象科学、医疗卫生、体育、语言 学、考古学、教育学、心理学以及经济学、管理学等各个方面。下面我们以经济 学和管理学为例，了解一下多元分析方法在其中的作用和应用的场合与领域：1、简化数据结构。对多个变量进行降维处理,选择数目较小的变量子集合。在商业经济中，为 了能够全面刻画所研究对象的数量特征，往往要调查多方面的统计数据。数据维 数越多,反映问题越全面，但同时也给数据分析带来困难。这是句要用降维的方 法将很复杂的数据综合成商

29、业指数形式，处理方法主要有主成 分分析、因子分析和对应分析等.2、对研究对象进行分类与判别. 比如根据各地区的经济发展水平、经济发展特征对我国各地区的经济发展类型进行划分，需要通过反映各地区经济情况的多项数据测算各地区经济发展的相 似度,并以对各地经济类型此进行划分和归类。用来处理这一问题的多元统计方 法主要是聚类分析、判别分析等。3、建立经济模型。 经济模型一般是指把经济变量之间的依存关系通过通过数学表达形式加以模拟。例如根据我国几十年来财政收入与国民收入、工农业总值、人口、就业人 口、固定投资等相关因素,利用回归方法建立预测模型，对今后的财政收入进行 预测。4、研究经济现象之间的相互关系。

30、当我们研究两组变量之间的相关程度时,只用简单直线相关系数是不够的， 在多元统计分析中，用典型相关分析可以处理两组变量之间的相关程度的分析和 测算。有一点需要特殊说明，由于现实问题的复杂性和每种多元分析方法特殊的应 用场合和自身的局限性，所以在处理问题时有必要将各种多元分析方法结合运 用。六、总结经过20 世纪的空前发展，数学的基本理论更加深入和完善，而计算机技术 的发展使得数学的应用更加广泛和直接，多元统计分析方法已经广泛的应用到社 会科学和自然科学的许多领域,尤其在经济方面根是发挥了巨大的作用。通过本 文的描述可以使大家简单了解多元统计分析方法，从而更好的掌握和运用多元分 析方法。任何定量分

31、析方法在研究现实问题时只是揭示了这种问题表面的数量规 律，所以在应用多元统计分析时，我们必须注意定量分析与定性分析相结合。只 有两者的有机结合才能得出深刻的符合实际的结论.参考文献张尧庭，方开泰等著多元统计分析引论北京：科学出版社,1982 高惠璇应用多元统计分析北京：北京大学出版社，20051 周光亚等多元统计方法长春:吉林大学出版社,1988。12 于秀林等编著多元统计分析北京:中国统计出版社，1999 王学仁，王松桂编译实用多元统计分析上海：上海科学技术出版社,1990 Richard A Johnson ， Dean W Wichern Applied MultiVariate Sta

32、tistical Analysis4th EditionEnglewood Cliffs,N J：PrenticeHall，Inc,1998何晓群，现代统计分析方法与应用M。北京：中国人民大学出版社，1998王学民编著应用多元统计分析第二版上海上海财经大学出版社,1999谢辞在此论文完成之际我首先要衷心感谢我的导师齐海涛老师 .本学位论文是 在齐老师的精心指导下完成的。齐老师时刻关心我找我知识的情况及论文的进 展，帮助我开阔思路、精心点拨、热忱鼓励。每当我遇到问题、毫无头绪时，与 考试的讨论总能让我豁然开朗:老师思考问题的方法、观察问题的角度，给了我 很大启发。齐老师渊博的知识理论、深邃的思维方式都给我留下了深刻的印象, 永远是我学习的榜样。其次还要感谢大学四年中的每一位老师对我的指导和帮助 .向各位老师表 示我衷心的感谢和敬意。同时还要感谢大学中和我一起走过来的同学和朋友们 ,是你们的支持使我 获得了许许多多的快乐和温馨.在感谢你们的同时祝愿你们在以后的生活学习工 作中过得幸福快乐。最后,我要感谢我的父母，感谢他们二十多年来的养育之恩。在我的大学生 活即将结束之际，我真心的祝福他们健康长寿，事事顺心.