人脸识别文献综述

《人脸识别文献综述》由会员分享，可在线阅读，更多相关《人脸识别文献综述（13页珍藏版）》请在装配图网上搜索。

1、文献综述1 引言在计算机视觉和模式识别领域，人脸识别技术(Face Recognition Technology,简称FRT)是极具挑战性的课题之一。近年来，随着相关技术的飞速发展和实际需求的日益增长，它已 逐渐引起越来越多研究人员的关注。人脸识别在许多领域有实际的和潜在的应用，在诸如证 件检验、银行系统、军队安全、安全检查等方面都有相当广阔的应用前景。人脸识别技术用 于司法领域，作为辅助手段，进行身份验证，罪犯识别等;用于商业领域，如银行信用卡的 身份识别、安全识别系统等等。正是由于人脸识别有着广阔的应用前景，它才越来越成为当 前模式识别和人工智能领域的一个研究热点。虽然人类能够毫不费力的识

2、别出人脸及其表情，但是人脸的机器自动识别仍然是一个高 难度的课题。它牵涉到模式识别、图像处理及生理、心理等方面的诸多知识。与指纹、视网 膜、虹膜、基因、声音等其他人体生物特征识别系统相比，人脸识别系统更加友好、直接， 使用者也没有心理障碍。并且通过人脸的表情/姿态分析，还能获得其他识别系统难以获得 的一些信息。自动人脸识别可以表述为：对给定场景的静态或视频序列图像，利用人脸数据库验证、 比对或指认校验场景中存在的人像，同时可以利用其他的间接信息，比如人种、年龄、性别、 面部表情、语音等，以减小搜索范围提高识别效率。自上世纪90 年代以来，人脸识别研究 得到了长足发展，国内外许多知名的理工大学及

3、TT公司都成立了专门的人脸识别研究组， 相关的研究综述见文献1-3。本文对近年来自动人脸识别研究进行了综述，分别从人脸识别涉及的理论，人脸检测与 定位相关算法及人脸识别核心算法等方面进行了分类整理，并对具有典型意义的方法进行了 较为详尽的分析对比。此外，本文还分析介绍了当前人脸识别的优势与困难。2 人脸识别相关理论图像是人们出生以来体验最丰富最重要的部分，图像可以以各种各样的形式出现，我们 只有意识到不同种类图像的区别，才能更好的理解图像。要建立一套完整的人脸识别系统 (Face Recognetion System，简称FRS)，必然要综合运用以下几大学科领域的知识：2.1 数字图像处理技术

4、数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机 对其进行处理的过程，数字图像处理最早出现于20世纪 50 年代，当时的电子计算机己经发 展到一定水平，人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大 约形成于 20世纪 60 年代初期。与人类对视觉机理研究的历史相比，数字图像处理是一门相 对年轻的学科，但在其短短的历史中，它却以不同程度的成功使用于几乎所有与成像有关的 领域。目前，数字图像处理技术己被广泛应用于办公自动化、工业机器人、地理数据处理、医 学数据处理、地球资源遥感、交互式计算机辅助设计等领域，尤其在机器视觉应用系统中成 为关键技术之一

5、。一般的图像都是模拟图像，对于模拟图像只能采用模拟处理方式进行处理， 计算机不能接受和处理模拟信号，只有将连续的模拟信号变换为离散的数字信号，或者说将 模拟图像变换为数字图像才能接受。数字图像处理就是对给定的数字图像进行某些变换的过 程。对含有噪声的图像，要除去噪声、滤去干扰，提高信噪比；对信息微弱的图像要进行灰 度变换等增强处理；对已经退化的模糊图像要进行各种复原的处理；对失真的图像要进行几 何校正等变换。除此之外，图像的合成，图像的边缘提取与分割，图像的编码、压缩与传输， 图像的分析等技术也属于图像处理的内容。由此可见，图像处理就是为了达到改善图像的质 量，将图像变换成便于人们观察和适于机

6、器识别的目的4。2.2 神经网络人工神经网络是一门以对大脑的生理研究成果为基础，以用机器模拟大脑的某些生理与 机制，实现某方面功能为目的的学科6。研究神经网络，特别是神经学习的机理，对认识和 促进人自身发展有特殊的意义。神经网络有许多具有非线性映射能力的神经元组成，神经元之间通过权系数连接。网络 的信息分布式就存在连接系数中，使网络具有很高的容错性和鲁棒性。神经网络技术已经被 有效地用到组合优化、图像处理、模式识别、自动控制等方面。基于神经网络技术的人脸识 别方法是人脸识别研究领域中的一大重要分支。2.3 模式识别模式识别7，就是通过计算机用数学技术方法来研究模式的自动处理和判读。这门学科 使

7、用计算机的方法实现人的模式识别能力，即对各种事物或现象进行分析、描述、判别和识 别。在人脸识别中，如果是个人识别，则每一个人就是一个模式，预先存在数据库里的图像 就是样本；如果是性别识别、种族识别或年龄识别，则不同的性别、种族或年龄就构成一个 模式；如果是表情识别，则不同的表情就是一个模式。人脸识别重在讨论个人识别，人脸识 别的最终目的就是利用人脸图像确定待识别的人究竟与数据库里的哪个人是同一个人，这是 一个“是谁”的问题；或要判断这个人与库里的某个人是不是同一个人，这是一个“认识或 不认识”的问题。图像识别是指对视觉图像目标按其物理特征进行分类，属于模式识别的范畴。图像识别 系统的基本结构如

8、图1 所示。图 1 图像识别系统的基本结构2.4 计算机视觉在客观世界中，人类通过视觉识别文字和周围环境，感知外界信息。人们 75%的信息 量都来自视觉，因此让计算机或机器人具有视觉，是人工智能的重要环节，也是人类多年以 来的梦想。在信号处理理论与高性能计算机出现后，这种希望正在逐步实现。用计算机实现 对视觉信息的处理形成了一门新兴的学科计算机视觉。计算机视觉是一门用计算机来实现人的视觉功能，实现客观三维世界的识别的学科。计 算机视觉的最终目标是模拟人类的视觉能力，理解并解释周围的世界，其研究的一个关键内 容是图像的识别。3 人脸检测与定位人脸检测与定位是自动人脸识别系统首先需要解决的关键问题

9、，也即检测图像中是否有 人脸存在，若有，则将其从背景中分割出来并确定其在图像中的位置。在某些可以控制拍摄 条件的场合，如警察拍摄罪犯照片时将人脸限定在标尺内，此时的人脸定位由于己经具备了 人脸位置的先验知识而相对比较简单；证件照(身份证、护照等)由于背景相对简单，定位 也比较容易。但在通常情况的实际应用中，人脸在图像中的位置预先未能得知，人脸检测与 定位将受到以下因素的制约：(1) 人脸在图像中的位置、角度和尺度不同以及光照的变化； (2) 发型、眼镜、胡须以及人脸的表情变化等；(3) 图像中的噪声影响。因此从某种程度上 说，人脸检测与定位甚至比人脸模式的识别更为关键。按照人脸检测技术的发展历

10、程，本文 依据采用的主要技术方法将人脸检测分为以下四种类型:基于特征检测的方法、基于肤色检 测的方法、基于模板匹配的方法、基于外观统计学习的方法。3.1 基于特征检测的方法基于特征的人脸检测方法依据人脸的面部几何特征、纹理特征、肤色特征进行人脸和非人脸的判别，见下表：表 1 基于特征的人脸检测与关键特征定位算法人脸特征主要算法主要参考文献边缘、轮廓边缘检测算子；椭圆拟合等8,9器官特征形态学运算；自适应域值；局部特征检 测；模板匹配；概率决策等10,11纹理特征（肤 色、头发、胡须等）灰度共生矩阵（二阶纹理统计特征）； 神经网络分类器；自组织映射网络等12,133.2 基于肤色检测的方法利用人

11、脸肤色信息进行人脸检测曾经一度成为人脸检测领域的研究热点，涌现了大量的 学术文献，Lee等a最早利用人脸肤色信息进行人脸定位；Sabers利用肤色、人脸形状及 几何对称信息实现人脸检测和面部特征的抽取；Jones利用大量的样本图像对肤色检测问 题进行了分析，并建立了人脸肤色的统计模型用于人脸检测，收到了较好的检测效果； Terrillon使用高斯模型和混合高斯模型在不同色度空间建立肤色模型进行人脸检测，并 进行了对比分析，结果发现混合高斯模型比一般高斯模型具有更好的泛化能力；Hadids基 于Skin-Locus建立肤色模型，提取彩色人脸区域实现人脸检测，但需要在固定成像参数下 才保证有良好的

12、性能，鲁棒性有待提高；Martinkauppii9对Skin-Locus理论进行了细致分 析，发现人脸肤色在各种光照条件下可以用两个二次或者多次多项式进行拟合；Comanieiu2。 采用 Mean-Shift 算法进行局部搜索实现人脸的检测与跟踪，该算法提高了人脸的检测速度， 对遮挡和光照的鲁棒性较好，但对于复杂背景和多个人脸目标的检测不够鲁棒；Hsu21 采用 光照补偿的办法克服光照问题，从一定程度上解决了偏色、复杂背景和多人脸目标的检测问 题，对人脸的位置、尺度、旋转、姿态和表情等变化具有较好的鲁棒性；Sobottka和Pitas 结合肤色（HSV）和人脸的形状信息来定位人脸和进行面部特

13、征的提取；Terrillon23 等利用高 斯模型对肤色象素进行聚类，并采用神经网络对二值图像的几何距进行学习实现人脸检测； Garcia和Tziritas24采用量化肤色区域合并结合小波分析实现人脸检测。总的说来，基于肤色检测的方法鲁棒性的提高依赖于肤色模型的质量，在背景相对简单 的情况下可以获得良好的检测效果;但在复杂背景中，尤其是背景中存在较多的类肤色区域 时，检测质量将急剧下降。而且，肤色模型在不同人种之间会存在较大的差异，因而很难建 立一个通用性很强的人脸肤色统计模型。因此，基于肤色检测的人脸检测方法的应用受到一 定限制。3.3 基于模板匹配的方法基于模板匹配的方法首先需要人工定义一

14、组标准或参数化的人脸模式（通常为正面）， 称之为模板。对于给定输入图像，通过计算其与标准模板的相关系数并根据相关系数判断是 否为人脸，详见表2。这种人脸检测方法实现简单，但是由于人脸尺度、姿态和形状的不确 定性，基于模板的人脸检测方法通常达不到很高的准确率。表 2 基于模板匹配的人脸检测方法模板种类主要算法主要参考文献固定模板人脸子模板（眼睛、鼻子）梯度图像；相关匹配等25,26人脸形状模板边缘检测；相关匹配等27,28分块比例模板29重心模板Laplancian边缘检测；相关匹配等30变形模板弹性模型能量函数度量31Snakes能量函数度量32PDM模型ASM搜索333.4 基于统计学习的方

15、法与上述方法不同，基于统计学习的方法主要采用大量的人脸与非人脸样本对检测分类器 进行训练，将人脸检测转化为二类模式分类问题。Propp等人是最早采用神经网络34 进行人脸检测的学者之一，他们通过构造一个4层（两 个隐藏层）神经网络实现人脸检测，但没有相关检测性能的报道；后人在他们的基础上通过 优化神经网络结构提出了时延神经网络（TDNN），自组织映射神经网络（SOM）、卷积神经 网络（CNN）、概率决策神经网络（PDBNN）。Feraud等人通过构造自协商神经网络（SNNN） 厲进行非线性主元分析，可以检测正面到左右60度旋转的人脸，他们的方法后来被Listen 和 Multrak 采用。Su

16、ng、Rowley、Lin&Kung 等36采用 K-mean 聚类算法在特征空间建立“人脸”和“非 人脸”族，采用自举(bootstrap)方法首先建立一个仅使用人脸样本和少量非人脸样本训练 的初始神经网络分类器对一组图像进行训练，将误检的非人脸样本加入非人脸样本库；然后 训练新的分类器，如此不断迭代，直到收集到足够多的非人脸样本，这种方法后来被许多学 者所采用。Carleson、Yang等37人提出的 SNoW (Sparse Network of Winnows)学习方法，对检测 不同特征、表情、姿态和光照条件下的人脸收到了较好的效果。其实质就是采用Winnow算 法进行权值更新的稀疏神

17、经网络；H.Schneiderman38提出的基于后验概率估计的方法，先对 样本进行小波变换，然后对这些特征进行统计，通过统计计算训练样本的直方图求得人脸与 非人脸的概率分布实现人脸检测。不同于传统基于经验风险最小化的分类器，如贝叶斯分类器、神经网络分类器等，支持 向量机分类器(SVM)以基于结构风险最小化原理最小化泛化误差，通过构造最优分类超 平面实现模式分类。在这一领域，Osuna等人最早提出采用SVM分类器进行人脸检测，并 提出了针对大规模数据集的SVM训练算法。实验结果显示基于SVM的人脸检测速度比早 先Sung等人提出的神经网络人脸检测快足足30倍。Nefian39等人采用隐马尔可夫

18、模型(Hidden Markov Models简称HMM)检测人脸HMM 是一种双重的随机过程，采用节点表示状态，有向边表示状态之间的转移。因此适合描述信 号统计特性。Nefian等通过检测区域中的每个子区域，采用K-L变换系数作为观测矢量， 通过B-W和维特比算法获得HMM的模型参数，依据区域观测序列的输出概率判决是否为 人脸。3.5 AdaBoost 算法训练器康柏研究院的Viola】40】在2001国际计算机学术年会上发表的论文标志着人脸检测技术 开始走向实用。他们通过综合AdaBoost41，42,43和Cascade算法实现了实时人脸检测，使得人 脸检测开始迈向实用化的道路。而且首次

19、引入了 “积分图像”(Integal Image)的概念，大大 加快了检测过程中特征的计算速度。利用Adaboost学习算法提高一个简单分类器(弱分类器) 的性能，理论上最终形成的强分类器的训练错误率接近零，而且推广性好。 Viola 在他的实 验中定义了 180000种矩形特征，通过实验选择一小部分特征形成一个有效的分类器。继 Viola 等提出用于人脸检测的 AdaBoost 算法之后，许多学者对他们的算法进行了继 承和发展。首先，Lienlxart等人提出了新的旋转Haar-Like特征，可以用于旋转人脸的快速 检测，同时提出了一些其他的 Boosting 法：如 Discrete Ad

20、aBoost, Real AdaBoost, Gentle AdaBoost 等。Froba 在 AdaBoost 算法基础上提出了基于灰度图像的正面和平面内旋转人脸实时检测 系统，在EOM ( Edge Orientation Matching)的基础上进行扩展，引入SNoW算法进行校验， 得到一个更为鲁棒的系统。国内的李子清在 AdaBoost 算法基础上提出了 FloatBoost 算法，实现多视角人脸检测， 通过从粗到精、从简单到复杂的金字塔型的人脸检测；与传统的Adaboost算法相比，能在 提高人脸检测速度的同时提高检测精度。Liu 提出 了基于 Kullback-Leibler

21、Boosting ( KLB)算法的分类器，解决了传统 AdaBoost 算法存在的弱分类器的最优组合以及最优分类器和特征的选择问题。 Viola 本人也对 AdaBoost算法进行了改进，提出了不对称AdaBoost算法，用于快速图像检索和人脸检测。 总的说来，基于 Boosting 和 Cascade 算法的系统在速度方面具有很大的优越性，通过 Haar-Like 特征训练一些弱分类器，再组合成一个强分类器。如何在提高检测精度的同时不 降低检测速度，可以从以下方面综合考虑：采用更优的特征描述方法，综合AdaBoost和强 分类器。3.6 多种方法的结合人脸检测与精确定位是一个颇具挑战性的研

22、究课题，一些效果较好的人脸检测系统并不 只是采用上述的某种方法，而是将多种方法有机地融合。主流的方法大多是基于统计学习的， 因此受学习样本的影响较大，不同样本集合对算法的性能也有一定影响。复杂背景中正面人 脸检测已经有了比较好的结果，多姿态人脸检测仍然是目前的研究重点，虽然取得了一些进 展，但如何利用人脸的深度信息解决姿态和光照问题还有待进一步研究。4 人脸的识别方法识别人脸主要依据那些在不同个体之间存在较大差异而对于同一个人则比较稳定的特 征。具体的特征形式随识别方法的不同而不同。早期研究较多的静态人脸识别方法有基于几 何特征的人脸识别方法和基于相关匹配的人脸识别方法。目前，静止图像的人脸识

23、别方法主 要有三个研究方向：一是基于统计的识别方法，包括特征脸(Eigenface)方法44和隐马尔 科夫模型(Hidden Markov Model) 45方法；二是基于连接机制的识别方法，包括一般的神 经网络方法46和弹性图匹配47(Elastic Graph Matching)方法；三是其他一些综合方法或处 理非二维灰度图像的方法。4.1 基于几何特征的人脸识别方法常采用的几何特征48有人脸的五官如眼睛、鼻子、嘴巴等的局部形状特征，脸型特征 以及五官在脸上分布的几何特征。提取特征时往往要用到人脸结构的一些先验知识。在这种 基于几何特征的识别中，识别总归为特征矢量之间的匹配，基于欧氏距离的

24、判决是最常用的 识别方法。识别所采用的几何特征是以人脸器官的形状和几何关系为基础的特征矢量，其分 量通常包括人脸指定两点间的欧式距离、曲率、角度等。基于几何特征的识别方法具有如下优点：符合人类识别人脸的机理，易于理解；对每幅 图像只需存储一个特征矢量，存储量小；对光照变化不太敏感。这种方法同样存在如下问题： 从图像中抽取稳定的特征比较困难，特别是特征受到遮挡时这种情况更为明显；对强烈的表 情变化和姿态变化的鲁棒性较差；一般几何特征只描述了部件的基本形状与结构关系，忽略 了局部细微特征，造成部分信息丢失，更适合于粗分类。 4.2基于模板匹配的人脸识别方法模板匹配法4950是一种经典的模式识别方法

25、，这种方法大多是用归一化互相关直接计 算两幅图像之间的匹配程度。由于这种方法要求两幅图像上的目标要有相同的尺度取向和光 照条件，所以预处理要做尺度归一化和灰度归一化的工作。最简单的人脸模板是将人脸看成一个椭圆，检测人脸也就是检测图像中的椭圆。另一种 方法是将人脸用一组独立的小模板表示，如眼睛模板、嘴巴模板、鼻子模板、眉毛模板和下 巴模板等。但这些模板的获得必须利用各个特征的轮廓，而传统的基于边缘提取的方法很难 获得较高的连续边缘。即使获得了可靠度高的边缘，也很难从中自动提取所需的特征量。为 此，用弹性模板方法提取特征显示出其独到的优越性。弹性模板由一组根据特征形状的先验 知识设计的可调参数所定

26、义。为了求出这组参数，需要利用图像的边缘、峰值、谷值和强度 信息及特征形状的先验知识设计合适的能量函数。参数向能量减小方向调整，当能量达到最 小时，这组参数对应的模板形状最符合特征形状。4.3 特征脸方法特征脸(Eigenface) 51方法是从主成分分析(Principal Component Analysis ,PCA) 53 导出的一种人脸识别和描述技术。PCA实质上是K-L展开的网络递推实现，K-L变换是图 像压缩中的一种最优正交变换，其生成矩阵一般为训练样本的总体散布矩阵。特征脸方法就 是将包含人脸的图像区域看作是一种随机向量，因此可以采用K-L变换获得其正交K-L基 底，对应其中较

27、大特征值的基底具有与人脸相似的形状，因此又称之为特征脸。利用这些基 底的线性组合可以描述、表达和逼近人脸图像，因此可以进行人脸识别和合成。识别过程就 是将人脸图像映射到由特征脸张成的子空间上，比较其与已知人脸在特征脸空间中的位置。近年来，据此发展了多种对特征脸的改进方法，如双子空间法、相形歧义分析方法、Fisher脸方法等。另一方面,Albert等将PCA与人脸拓扑关系结合起来提出TPCA( topological principal component analysis)方法，识别率较单一的PCA类方法有所提高。此外，与K-L 变换的思想比较接近，但不是从统计角度出发的。另一种变换是奇异值分

28、解(SVD)的方法， 即将图像矩阵的奇异值作为模式的特征矢量。4.4 隐马尔科夫模型隐马尔科夫模型(Hidden Markov Model，HMM) d是用于描述信号统计特性的一组统 计模型。HMM使用马尔科夫链来模拟信号统计特性的变化，而这种变化又是间接地通过观 察序列来描述的，因此，隐马尔科夫过程是一个双重的随机过程。在HMM中，节点表示状 态，有向边表示状态之间的转移，一个状态可以具有特征空间中的任意特征，对同一特征， 不同状态表现出这一特征的概率不同。由于HMM是一个统计模型，对于同一特征序列，可 能会对应于许多状态序列，特征序列与状态序列之间的对应关系是非确定的。这种模型对于 状态序

29、列来说是隐的，故称为隐马尔科夫模型。HMM有三个主要问题：评估、估计及解码。我们关心的是前两个问题，评估用于解决 识别问题，一般采取比较有效的向前-向后”法;估计用来产生用于识别的各个单元的HMM, 采取Baum-Welch方法。4.5 基于神经网络的方法利用神经网络，人们就不需要为人脸识别清晰地定义特征。 Kohonen 将自组织映射 (self-organizing map，缩写SOM)网络应用于人脸回忆。即使当输入图像带有强烈噪声或 有部分丢失，准确的回忆能力仍然可以获得。Lawrence etal53使用了一个混合的神经网络系 统，主要包括了一个改进的五层SOM网络和CNN网络(Con

30、volutional neural networks)， 其中CNN具有局部权值共享的拓扑结构。这种结构与基于接收区域(receptive fields)的生 物网络有更多的相似点，并且提高了对局部变形的忍耐性。多层感知机神经网络(Multi-layer perceptron neural networks)和径向基函数网络(radial basis function networks)也已经被用于 人脸识别。4.6 弹性匹配方法弹性图匹配方法545是一种基于动态链接结构(Dynamic Link Architecture ,DLA)的方 法。它将人脸用格状的稀疏图表示，图中的节点用图像位置的

31、Gabor小波分解得到的特征向 量标记，图的边用连接节点的距离向量标记。匹配时，首先寻找与输入图像最相似的模型图, 再对图中的每个节点位置进行最佳匹配，这样产生一个变形图，其节点逼近模型图的对应点 的位置。Wiskott等人使用弹性图匹配方法，以FERET图像库做实验，准确率达到97.3%。 弹性图匹配方法对光照、位移、旋转及尺度变化都不敏感，是一种优于特征脸方法的人脸识 别方法。此方法的主要缺点是对每个存储的人脸需计算其模型图，计算量大，存储量大。为 此, Wiskott在原有方法的基础上提出聚束图匹配，部分克服了这些缺点。在聚束图中，所有 节点都已经定位在相应目标上。对于大量数据库,这样可

32、以大大减少识别时间，另外,利用聚 束图还能够匹配不同人的最相似特征。因此可以获得关于未知人的性别、胡须和眼镜等相关 信息。Lee等提出了一种基于弹性图动态链接模型的方法，既取得较高的识别速度，也获得 了较理想的识别率，在一定程度上克服了以往方法总是在速度与识别率之间进行折中的缺 点。4.7 其它人脸识别方法以上几种典型的人脸识别方法，每种方法各有其优缺点，因此可以把多种方法综合起来， 或同时利用不同种类的特征。要从大量人脸数据库中进行识别，单靠扩展单一种类的特征数 目是不够的，而要扩展与原特征集正交的其它种类特征。 Jia 等在正面人脸几何特征的基础 上，将侧面轮廓特征、眼睛形状特征以及人脸轮

33、廓特征也加入特征矢量，获得了较采用单一 正面人脸几何特征为特征矢量方法更高的识别率。Lai等结合小波变换与傅立叶变换提出与 平移、缩放、平面内旋转无关的光谱脸人脸表征方法。目前人脸识别研究的对象基本上都是针对二维灰度图像，除此之外，还有深度人脸图像 识别和红外人脸图像识别方法。深度图像包含了人脸的深度信息， Gordon 针对深度图像提 出了一种基于模板的用图像数据的曲率作描述子的识别方法。他使用一个旋转的激光扫描系 统获得人脸深度图像，获得的曲面数据以柱坐标形式存储，然后根据曲面上各点法向最大和 最小曲率的振幅和相位值定位眼睛、鼻子和两侧脸部区域红外人脸图像(也叫温谱图)对每 个人来说都是唯

34、一的。所以可以利用温谱图识别人脸。另外在黑暗中也能捕捉红外光，因此 用红外人脸图像在黑暗中也能进行识别。对于多CCD摄像机系统，可以得到多视点人脸图像，从而可以获得人脸的立体模型， 含有三维信息的特征能有效解决人脸在光照伪装或年龄变化等情况下的识别问题。5 人脸识别系统的优势与关键技术难题人脸是三维非刚性体，利用人脸生物特征的自动人脸识别系统与基于其他人体生物特征 的识别系统相比，既具有其独特的优势，也存在一些困难。5.1 人脸识别的优势自动人脸识别的技术优势主要表现在：(1) 非接触式数据采集 人脸图像可以通过标准视频或热成像技术非接触式采集，因而不会对用户造成生理上的 伤害，具有非直接侵犯

35、性。(2) 可隐蔽性强 用于捕获人脸图像的成像设备可以隐蔽安装，特别适合解决重大安全问题、罪犯监控、 过滤敏感人物(间谍、恐怖分子)及实施抓捕，是其它基于指纹、虹膜、视网膜、掌纹等生物 特征的识别技术所无法比拟的。(3) 方便、快捷及便于事后追踪 自动人脸识别系统通过非接触方式捕获人脸图像，因而无需用户过多干预。且能够在事 件发生的同时记录当事人面像，从而确保系统具有良好的事后追踪能力。(4) 可交互性强 人类可以轻而易举地识别不同个体在不同时期不同状态下的人脸，而指纹、虹膜、视网膜等其他生物特征常人很难识别。因此与授权用户的交互和主动配合可以从很大程度上提高 人脸识别系统的可靠性和可用性。5

36、.2 人脸识别系统若干关键技术问题现所研究的一些人脸识别系统大多在约束环境下工作，如果注册原型图像和系统工作条 件基本一致并且用户主动配合，尚能够达到令人满意的效果。但真正实用的人脸识别系统需 要在大规模人脸库、工作环境非可控和用户不配合(罪犯监控与搜捕)等非约束环境下工作， 虽然通过采用图像预处理技术(亮度均衡和姿态学习等)能从一定程度上得以补偿，但大的 光照和姿态变化仍然使得系统的稳定性急剧下降，即使是目前性能最好的人脸识别商业系统 识别率也不到 80%而误识率却高达 10%以上，基本无法满足实际应用的需求。 FERET 和 FRVTS 对人脸识别核心算法的评测至少揭示了面临的两个主要挑战

37、：光照和姿态变化。此 外，人脸局部遮挡、人脸老化、成像设备差异、化妆、饰物等因素的影响在非约束、非合作（如视频监控）环境下是不可避免的。现有的许多算法由于种种原因未能应用于人脸识别， 至少没有在大型人脸库上进行实际测试。而且，上述问题往往在实际应用中共同出现，这进 一步增加了人脸识别的难度。下面就人脸识别系统所面临的五个主要技术挑战分别加以分 析：（1） 光照变化光照变化，尤其在室外环境下，是基于2D人脸图像人脸识别核心算法遇到的最为棘手 的问题。由于光照导致人脸图像的变化甚至超过不同个体之间的差异，进而改变人脸图像在 特征子空间的分布，致使基于图像比对的识别算法性能急剧下降。虽然人们提出了一

38、些应对光照变化的解决方案，如启发式抛弃主元的方法、基于朗伯光 照模型的3D光照子空间、光照锥、人脸3D模型合成虚拟图像等等。但大多都是基于理想 条件和经验数据获取的人脸模型，因而很难走向实用。面向实际应用环境的光照变化问题仍 然有待于进一步研究。（2）姿态变化人脸姿态变化和光照变化一样，是实用人脸识别系统真正走向应用所面临的巨大障碍。 即使能获取人脸所有不同视角、不同光照和表情下的样本图像，但这将导致人脸特征数据库 的急剧膨胀和人脸识别核心算法的时间复杂度和空间复杂度急剧上升。目前多数人脸识别核 心算法在正面人脸情况下的识别性能尚能接受，但是实际应用中输入人脸图像难以保证总是 准正面人脸图像。

39、因此，如何提高人脸关键特征定位算法的性能，据此估计待识别人脸图像 的姿态并进行人脸姿态的校正是目前人脸识别系统急需解决且极具挑战性的研究课题。（3）人脸图像获取质量目前大多数人脸识别核心算法都是基于图像质量较高人脸库的测试结果，因而获得了较 高的识别率。但实用人脸识别系统往往会要求对低质量人脸图像进行识别，如视频监控、信 息安全和门禁系统尤其是罪犯搜捕等应用场合获取的人脸图像质量低下，因而对人脸关键特 征定位、特征抽取及人脸识别核心算法的性能产生严重影响。主要存在以下三个特点：（1）视频流的质量不高。视频流通常都是室外（或室内但光照条件差）而且用户非合 作的状态下获取，因而人脸图像的光照和姿态

40、存在很大的随机性；（2）全自动安全监控系统。被监控的对象往往会存在局部遮挡和伪装（墨镜、帽子）的 情况，从而造成面部特征甚至是关键特征（眼睛）的丢失，如何很好地解决此类问题也很值 得我们关注；（3）人脸图像小。由于受到捕获条件的限制（如成像距离等），人脸图像一般都小于静 态人脸图像比对系统，有时背景中的人脸图像只能达到15X15的分辨率，这样小的人脸图 像无疑会增加人脸检测、特征抽取与识别的难度。（4）人脸老化 人脸是活性体，随着年龄的增长面部特征（皱纹、胡须甚至面部轮廓）会发生变化，但存储在人脸数据库中的注册原型图像则不会随着时间而老化，这就是所谓的人脸老化问题， 也是实用人脸识别系统无法回

41、避的问题。FRVT2002评测结果显示，性能较好的被测系统性 能以每年5%的速度下降。因而，人脸老化问题也是人脸识别商业系统特别是面向公共安全 领域的应用系统鱼需解决的关键问题。（5）化妆与整容 人们对于美的追求和向往促使面部化妆和整容技术迅猛发展。在现代社会，面部化妆在女性群体尤其普遍，这使得基于2D人脸灰度信息的人脸识别核心算法的效果大大降低。而 最近几年来兴起的面部整容技术更是从根本上改变了人脸面部的外部表观，因此需要从面部 特征数据的获取方式（如红外热成像）等多种技术层面进行考虑，最大限度地解决该问题。6 小结自动人脸识别技术己经成为一个非常活跃的研究领域，并渗透到图像处理、模式识别、

42、 计算机视觉、神经网络等相关学科。经过近几十年的研究，己经取得了长足的发展。本文从 人脸检测、面部特征抽取及人脸识别核心算法等方面进行了较为详细的总结。当今已有为数不少的人脸识别算法已经在人脸商业识别系统中得到了体现。现有的商业 系统在限定的条件下（如小型人脸库、光照和姿态约束、用户主动配合等）取得了相当高的 识别率。但这并不意味着人脸识别技术已经达到了很高的水平，相反正是由于现有的商业系 统都是基于限定工作环境和用户主动配合，显示出目前人脸识别核心算法的鲁棒性还有待进 一步提高。影响人脸识别核心算法性能的因素很多，本文也只是对一些关键影响因素进行了 分析。因此，研究更加鲁棒、实用性更强的人脸识别核心算法仍将是人脸识别领域的重点研究 内容。此外，我们在构建实用的人脸识别系统时应该根据具体任务的特定要求选择人脸识别 的核心算法。