主成分分析从一维到多维

《主成分分析从一维到多维》由会员分享，可在线阅读，更多相关《主成分分析从一维到多维（67页珍藏版）》请在装配图网上搜索。

1、主成分分析（主成分分析（PCAPCA）从一维到多维从一维到多维报告人：赵才荣博士后提纲?引言引言?主成分分析（主成分分析（PCAPCA）?二维主成分分析（二维主成分分析（2DPCA2DPCA）?多维主成分分析（多维主成分分析（MPCAMPCA）?总结总结引言：高维数据基因数据基因数据人脸图像数据人脸图像数据数字手写体数据数字手写体数据其他数据其他数据降维降维从从3维到2维如何挖掘高维数据中隐藏的知识高维数据的降维技高维数据的降维技术术高维数据高维数据?内蕴知识内蕴知识Y?d线性鉴别分析（LDA）流形学习（ML）主成分分析（PCA）线性降维技术数学模型Original datareduced d

2、ataLinear transformationX?pA?A?:XY?A X?p?dT dTd?px,x,.,x12n主成分分析（PCA）参考文献参考文献1 L.Sirovich and M.Kirby,“Low-Dimensional Procedure for Characterization of Human Faces,”J.Optical Soc.Am.,vol.4,pp.519-524,1987.2 M.Kirby and L.Sirovich,“Application of the KL Procedure for the Characterization of Human Fa

3、ces,”IEEE Trans.Pattern Analysis and Machine Intelligence,vol.12,no.1,pp.103-108,Jan.1990.3 M.Turk and A.Pentland,“Eigenfaces for Recognition,”J.Cognitive Neuroscience,vol.3,no.1,pp.71-86,1991.主成分分析的概念主成分分析主成分分析(Principal Component Analysis,(Principal Component Analysis,简称简称PCA)PCA)是将多个变量通过线性变换以选出较少

4、个数重要变量（主成分）的一种多元统计分析方法。确定主成分权重系数的过程就可以看作是主成分分析的过程基本数学概念假设有n个D维的样本：n1n2L(xx)?xx=i?n?1i?1，则：?均值?方差?标准差1TS?(x xx)(k?x)k?n?1k?1S?Lxxx1nx?xini?1?协方差矩阵/散布矩阵n12TT2var z?E(z?z)?aa1111xi?1xni?1?T1nTT?ax?xx?xa?aSa1ii111ni?1?协方差矩阵的主对角线上的元素是各个维度上的方差协方差矩阵的主对角线上的元素是各个维度上的方差(即能量即能量)，其他元素是两两维度间的协方差，其他元素是两两维度间的协方差(即

5、相关性即相关性)。主成分分析目标主成分分析目标:寻找最能够代表原始数据分布特寻找最能够代表原始数据分布特性的投影方向。性的投影方向。nXxx?,x?12 np?nT1S?x?x x?xiini?1ma xaS a1散布散布T矩阵矩阵：s.t.a1a1?1T1?PCA目目标函数：标函数：主成分分析计算机理主成分分析计算机理AssumeForm the matrix:1TS?XXnx?0thena1主成分分析计算机理主成分分析计算机理a a?1varz1To find that maximizes subject toT11TTL?a1Sa1?(a1a1?1)?L?Sa1?a1?0?a1?(S?I

6、p)a1?0Let be a Lagrange multiplieratherefore1a2?1.is an eigenvector of Scorresponding to the largest eigenvalue主成分分析计算机理主成分分析计算机理TTo find the next coefficient vector maximizing 22a a?1c o v z,z?02 1subject toand toco v,zz?aS a?aaTT211211 2uncorrelatedvar z2First note that L?a S a?(a a?1)?a aT22?T22?

7、T21T21then let and be Lagrange multipliers,and maximizeL?a Sa?(a a?1)?a aT22?T22?主成分分析计算机理主成分分析计算机理?L?Sa?a?a?0?0221?a2?S a?a and?aS a22T22a2主成分分析计算机理主成分分析计算机理?2We find that is also an eigenvector of S Twhose eigenvalue is the second largest.k k k kv a r z?a S a?In general X?X2F?The kth largest eigen

8、value of S is the variance of the kth PC.主成分分析主成分分析:寻找在最小均方误差意义下最能够代寻找在最小均方误差意义下最能够代表原始数据的投影方向。表原始数据的投影方向。最大散度：最大散度：Sa?a?a Sa重构误差:?Tm i n?A()A X s u b j e c t t o A A?Ip?dXdA?FT2Tmaxs.t.AATSATA?Id结论结论1 1、求重构误差最小的投影方向等价于等价于求散度最大的投影方向结论结论2 2、主成分分析的本质本质就是对角化协方差矩阵就是对角化协方差矩阵主成分分析的物理意义PCAx21 1、降噪，、降噪，消除维度

9、间的相关性，恢复主要维度应有能量2 2、去冗余，、去冗余，即去掉多余维度，压缩数据中包含的信息。主成分分析的几何解释：平移、旋转坐标轴x1DF2?F1平移、旋转坐标轴的目的是使样本数据在主轴方向的离散程度最大，且不同轴之间具有不相关性。示例x y.6 1 6 6 0.6 1 5 4?0?C o v?0.6 1 5 4 0.7 1 6 6?示例TV a r(x)?(x?x)(x?x)/(n?1)?0.6 1 6 6x?1.8100Var(y)?(y?y)(y?y)/(n?1)?0.7166Cov(x,y)?(x?x)(y?y)/(n?1)?0.6154-0.7352 0.6779?ei _vec

10、t or =?0.6779 0.7352?TTy?1.9100%matlab codeD=load(pca.txt);var_x=sum(D(:,1)-mean(D(:,1).2)/(length(D(:,1)-1);var_y=sum(D(:,2)-mean(D(:,2).2)/(length(D(:,2)-1);cov_xy=sum(D(:,2)-mean(D(:,2).*(D(:,1)-mean(D(:,1)/(length(D(:,2)-1);%the above three lines equal to:cov(D)示例ei_vector,ei_value=eig(cov(D)0.0

11、491 0?ei_value?0 1.2840?具体应用:图像压缩d=1d=16d=2d=32d=4d=64d=8d=100原始图像原始图像具体应用:人脸识别人脸识别考 虑 到的S Sw本 征 值表?示 第 j 个 分 量 的 平 均 方 差，可 以 用jc c1*+c c2*+c cd*ajTS Sbja Jx(j)?,j?1,d?j表 征 变 换 后 的 特 征 xj?aTjx x 的 分 类 性 能，其 中是Sb类 条 件均 值 向 量 的 离 散 度 矩 阵（类 间 离 散 度 矩 阵）+(I)思考?基于信息重构的最佳表示?对于分类问题是否最优？是否可以提取带有判别信息的主成分信息？?

12、能否设计直接面向图像矩阵和高维矩阵（比如彩色图像，监控视频）的主成分分析方法？主成分分析提取判别信息主成分分析提取判别信息1 1、引入各个分量的分类性能、引入各个分量的分类性能J(xjJ(xj)J(x)(?J x)?J(x)?J(x)12dD2 2、将、将J(xj)J(xj)重新排队重新排队Sx确定由前d个特征分量来表征对象的显著性二维主成分分析（2DPCA）参考文献参考文献1 Yang J,Zhang D,Frangi A F,et al.Two-dimensionalPCA:anewapproachtoappearance-basedfacerepresentation and recog

13、nitionJ.Pattern Analysis andMachine Intelligence,IEEE Transactions on,2004,26(1):131-137.2 Yang J,Yang J.Y.,“From Image Vector to Matrix:AStraightforward Image Projection TechniqueIMPCAvs.PCA,”Pattern Recognition,vol.35,no.9,pp.1997-1999,2002.2020/7/1329二维主成分分析（二维主成分分析（2DPCA2DPCA）?X是n 维列向量维列向量，A是mxn

14、的图像矩阵，Y是线性变换后的m维投影向量。JX()=t rS(x)?定义Y的协方差矩阵Y=AX的迹为总散度：S后的向量Y分得最开。x?最大化该准则，就找到了最优的投影方向X使得投影2020/7/1330?EEE(?)(AA?表示为：)X?t r(SXAAx)TTG?E(A?E A)(A?E A)t?记TSE(Y?EY)(Y?EY)x?T?EAX?E(AX)AX?E(AX)T?E(A?EA)X (A?EA)XTGPattern Recognition Lab 501t31?A称作图像协方差（散度）矩阵。从定义可以看出它是非负定的nn维矩阵。假设有M张训练图像，第j1(AAAA?)(?)Gt张图像

15、表示为G?M?，所有训练图像的均值记作jMTtjjj?1?准则化为JX()?X G XtAT2020/7/1332?最大化上式的X称作最优投影轴。最优投影轴是的最大特征值对应的特征向量。通常一个最优投影轴是不够的，因此选对应特征值最大的取前d个相互正交的单位特征向量作为最优投影轴。?a r g m a x J()X?X1,Xd?T0,i?jj,?1,d?i j?XXXX?12020/7/1333TX,1T,XdTF?X G XX?(X?1)t?F?2 GX?2?X?0?XtG X?XtJX()?XGtXT342020/7/13特征提取?2DPCA的最优投影向量Y?A X,k?1,2,d用来做特

16、征提取。kk对于给定的样本图像A，有Y,1,Yd?Y,Y称 作样本图像A的主成分?得到的投影特征向量B1d（向量）。(i)(i)(i)1,YY?主成分向量形成md的矩阵BYi?2,d称作样本图像A的特征矩阵或特征图像。2020/7/1335分类方法?采用最近邻分类。任意两个图像的特征矩阵?BY,Y,Y和i?离定义为：(i)1(i)2(i)d(i)(i)d(B,B)?Y?Y?ijkkk?1d2之间的距d(,BB)?mind(,BB)ljj?给定测试样本B，如果则分类结果是Y。?A XkkB?，并且B?k，lk2020/7/1336基于基于2DPCA的图像重构的图像重构?主成分向量是TA?VU?Y

17、X?kkTk?1d?Y,Y令，V1d，那么X,XU?X,X 1d1d?A U是正交的，所以图像A的?由于V重构图像为：A?Y XkkTk?令，它的大小和图像A一致，称作图像A的重构子图。当dn时，是完全重构；当dn时，是近似重构。2020/7/1337实验人脸库人数图像数训练测试集集200200图像大小主要变化ORLAR40104092112Pose6555120132Varied5040Over TimeFacial ExpressionsLighting ConditionsFacial ExpressionsLighting ConditionsYale151115Leave-one-o

18、ut100802020/7/13382020/7/1339ORL2020/7/13402020/7/13412020/7/13422020/7/13432020/7/1344AR2020/7/13452020/7/13462020/7/13472020/7/13482020/7/1349Yale2020/7/1350Sample images for one object of the Yale dataset 2DPCA 与PCA的关系结论：结论：2DPCA是将一幅图像的每一行当成一个样本，进是将一幅图像的每一行当成一个样本，进行行PCA的运算。的运算。2020/7/1352?2DPCA与P

19、CA（Eigenfaces）比较?优点：提取特征的方法简单、直接?实验对比中显示识别率高?提取特征的计算效率高?缺点：?表示图像时需要的系数多，因此需要更多的存储空间?分类所需的计算时间稍多?2020/7/1353?为什么2DPCA的性能优于PCA?对于小样本数据（比如人脸识别）来说，2DPCA更加稳定。因为它的图像协方差矩阵比较小。2DPCA比PCA能更加精确的刻画图像的协方差矩阵2020/7/1354多维主成分分析（MPCA）2020/7/1355参考文献参考文献1 Lu H,Plataniotis K N,Venetsanopoulos A N.MPCA:Multilinear prin

20、cipal component analysis of tensorobjectsJ.Neural Networks,IEEE Transactions on,2008,19(1):18-39.2 Lu H,Plataniotis K N,Venetsanopoulos A N.GaitRecognition through MPCA plus LDA,in Proc.BiometricsSymposium2006(BSYM2006),Baltimore,US,September 2006.2020/7/13561-mode unfoldingMultilinear projection张量散

21、度矩阵张量散度矩阵优化函数优化函数This is no known optimal solution which allows for the simultaneous optimization of N projection matrices!Since the projection to an Nth-order tensor subspaceconsists of N projections to N vector subspaces,Noptimizationsub-problemscanbesolvedbymaximizingthescatterinthen-modevectorsu

22、bspace.算法实现算法实现实验USF HumanID“Gait challenge”data setsIdentification performanceProbeA(GAL)B(GBR)C(GBL)D(CAR)E(CBR)F(CAL)G(CBL)AveragePI(%)at Rank 1BaselineMPCA79946656292430104276662736151948PI(%)at Rank 5BaselineMPCA9699817661554633648381645253486864NoImage总结MPCAMPCA是更为范化的主成分分析，是更为范化的主成分分析，PCAPCA和和2DPCA2DPCA是是MPCAMPCA的特例。的特例。线性鉴别分析（线性鉴别分析（LDALDA）是否也存在一样的范化）是否也存在一样的范化形式？在多维的情况，是否能够存在主成分形式？在多维的情况，是否能够存在主成分分析与线性鉴别分析融合的方法？分析与线性鉴别分析融合的方法？谢谢大家谢谢大家