主成分分析、因子分析、聚类分析

主成分分析设题目中m个有一定相关关系的变量表示原始指标，记为?，?,.,?，样本数为n,则观测样本数矩阵为:-乂17B入12淙X=X217B入22X2m3a+a_Xn1V入n2Xnm为了用原始指标的线性组合表示主成分，将原始数据进行标准化处理:xik-xkX*二XikSki=1，2，,，n；k=1，2，,，m1n式中：Xk'Xk；nySk1n"Z2计算相关系数矩阵。式中：j<(Xki-xkd1222m21my2mmmnz厂心j=1，2，,，mnnJ777(Xki-Xi)2'(Xkj-Xj)2kz!kd(Xki-Xi)(Xkj-Xj)用雅可比方法解相关系数矩阵的特征方程7-R=°，得到矩阵R的m个非负特征值，并求得对应于特征值i的特征向量，并按从大到小的顺序排列:'1一2-一，m-0>Cik-(Ci1,Ci2,Cim)i1，2，,，m。由特征向量组成m个新指标：G2X2GmXmC22X2C2mXmzC1X1Z2C21X1由线性代数的知识我们可知主成分的如下特征:各特征向量之间互不相关，那么主成分也是互不相关的。全部m个成分所反映的n例样本的总信息等于m个原变量的总信息第j个主成分的贡献率是-pi=1,2/,p。k4前面P个成分的累计贡献率是I'kk4P二.'"kk4各特征值及主成分贡献率如下表所示:主成分特征值贡献率（）累积贡献率（）乙Z2乙Z4Z5Z6选取累计贡献率已经达到85%以上的特征值？=,?=,?=,作为主成分。计算各变量X1,X2,X9在各主成分上的载荷得到主成分载荷矩阵如下表所示：ZiZ2乙主成分对Xj的总方差贡献率（）X1X2X3X4X5X6X7因子分析计算原始数据的相关矩阵，若相关矩阵的大部分系数都小于0.3，则不适合进行因子分析。我们只选择有较强相关性的变量作为因子分析的原始变量。将p个可观测变量？?=1,2,.,?标准化得到新变量?=1,2,.,?以消除变量间在数量级和量纲上的不同。将标准化后的变量表示成m+p个不可观测的随机量?=1,2,?,?=1,2,?的线性组合，即：?=?+?+?+?+?+?=1,2,?,（1）其中？?？=1,2,?）对X的每个分量都起作用，称为公共因子，它们的含义要根据具体问题来解释，?/=1,2,.,?仅与变量？?有关，称为特殊因子，系数?=1,2,.,?=1,2,?称为因子载荷，?=（?称为载荷矩阵。为得到载荷矩阵在这里用主成分法，先求出标准化数据的相关矩阵如下:121229+2m=L7m1ym2Vmm一1R二121m式中：耳nijnX-X八合二k=1nz1心一j=12nnv(Xki-Xj)2'(Xkj-Xj)2k：1k=1计算得特征根与各因子的贡献见下表:公共因子特征值贡献率（%）累积贡献率（）F1F2F3F4前m个因子包含的数据信息总量（即其累积贡献率）为*%>80%，故选择?，?，?为主因子，并计算其特征值对应的特征向量，得到因子载荷矩阵。若所得的m个因子无法确定实际含义义或含义不清，为获得较为明确的实际含义，根据因子载荷阵不唯一的性质，用方差最大法或正交旋转法，或四次方最大法，或等量最大法对因子载荷阵进行旋转，从而简化因子载荷阵的结构，使载荷矩阵每列或行的元素平方值向0和1两级分化。用原指标的线性组合，在这里用用回归估计法或Bartlett估计法，或Thomson估计法来求各因子得分因子分析表如下表所示：因子载荷估计旋转因子载荷估计旋转后因子得分共同度?2一?-一-?1?因子1因子1X1X2X3X4X5可解释方差(特征值)以各因子的方差贡献率为权，由各因子的线性组合得到综合评价指标函数如下：(WiFiW2F2WmFm)F二(WiW2.wm)此处？为旋转前或旋转后因子的方差贡献率。聚类分析【聚类分析和模糊聚类步骤类似，在这里只总结了“动态聚类法-？均值法”】选择？个样品作为初始凝聚点，或者将所有样品分成？个初始类:?0，?0这?个初始类的重心（均值）分别为：.，将其作为初始凝聚点。对除凝聚点之外的所有样品逐个归类，将每个样品归入凝聚点离它最近的那个类（通常采用欧氏距离），该类的凝聚点更新为这一类目前的均值，直至所有样品都归了类。得到新的分类和各重心如下表所示：样品、.均值G=.=.重复上述归类步骤，直至所有的样品都不能再分配为止.