面向智能视频监控的人脸跟踪算法研究
《面向智能视频监控的人脸跟踪算法研究》由会员分享,可在线阅读,更多相关《面向智能视频监控的人脸跟踪算法研究(24页珍藏版)》请在装配图网上搜索。
.面向智能视频监控的人脸跟踪算法研究摘要 针对目前运动目标检测与跟踪技术的发展现状,论文基于 Open CV 开源计算机视觉库和 Visual Studio 2013 开发平台,以视频序列中的运动目标为对象,采用多种数字图像处理技术对获取图像进行预处理,改进目标检测算法提高检测过程的实时性和有效性,优化跟踪处理算法实现目标的快速和准确跟踪。文章首先在绪论部分主要对本文的研究背景及意义进行阐述,阐述当前的社会背景下,研究和分析智能视频监控的人脸跟踪算法研究的价值和意义。然后对人脸跟踪的相关概念、人脸跟踪的算法分类以及本文重点研究的 Cam shift 进行简要的概述,为本文的研究奠定一定的理论基础。接着重点对 Cam shift 算法的原理以及优缺点,结合Kalman 算法进行改进设计。最后结合 OPEN CV 技术,构建实验环境、设计实验方案,对改进之后的 Cam shift 算法和经典的 Cam shift 算法的人脸跟踪效果进行对比分析。关键词 人脸跟踪;Open CV;Cam shift.Abstract:According to the current situation of the development of moving target detection and tracking technology at present, the Open CV open source computer vision library and Visual Studio 2013 development platform based on the moving object in video sequences as the object, to obtain image preprocessing using a variety of digital image processing technology, the improved target detection algorithm to improve the real-time and effectiveness of the detection process. Optimization of tracking fast and accurate tracking algorithm to achieve the target.In the first part of this paper, the research background and significance of this paper are discussed, and the value and significance of the research and analysis of the human tracking algorithm for intelligent video surveillance are introduced. Then, the concept of face tracking, the classification algorithm of human face tracking, and the Cam shift, which is the focus of this paper, are briefly summarized, which lays a theoretical foundation for the research of this paper. Then, focusing on the principles and advantages and disadvantages of Cam shift algorithm, combined with Kalman algorithm for improved design. Finally, OPEN CV technology is used to build the experimental environment and design the experimental scheme. The improved Cam shift algorithm and the classical Cam shift algorithm are compared and analyzed.Keywords: face tracking; Open CV; Cam shift.目 录目 录 III第 1 章 绪论 .11.1 研究背景及意义 11.2 国内外研究综述 11.3 主要研究内容 2第 2 章 智能视频监控中人脸跟踪算法的相关概述 .42.1 人脸跟踪的相关概念 42.2 人脸跟踪的算法分类 52.3 Cam shift 算法的相关概述 .6第 3 章 基于 Cam shift 算法的人脸跟踪分析 .83.1 Cam shift 算法简介 .83.2 Cam shift 算法的改进设计 .9第 4 章 人脸跟踪的实验设计及结果分析 134.1 OpenCV 技术概述 .134.2 本文对 Open CV 的配置 .144.3 跟踪方案设计 .154.4 实验结果分析 .16第 5 章 结论与展望 195.1 结论 .195.2 展望 .19参考文献 .20.第 1 章 绪论1.1 研究背景及意义计算机视觉在各个领域都有着广泛的应用。近些年来,随着处理器速度的不断提升,制造成本不断降低,以及各种嵌入式系统的广发应用,使得计算机的智能视觉系统有了更广阔的前景,网络传输的快速发展,使得实时传输高清视频数据成为可能。智能视频监控系统是计算机视觉领域的重要应用之一,可广泛应用于银行,公司,店铺,家庭等场所防盗。有研究显示,中国视频监控市场将保持强劲增长,摄像头的数量将以每年 20%的速度快速增长。但是传统视频监控系统只是捕捉图像信息,并不会对视频进行处理,并且耗费大量的空间来存储录像。传统监控方式依旧是以人工监控为主,这样就存在许多问题,如当监控人员疲劳时会造成误报漏报,而且录像检索困难,存在大量无意义录像等,这样就大大降低了监控系统的实时性,降低了监控性能与效率。为了解决上述众多问题,智能视频监控系统得到了广泛的研究、发展与应用。智能监控系统是将计算机视觉技术应用到监控系统中,对视频流进行实时的处理,实现目标识别、自动跟踪、自动报警等功能。智能视频系统通过智能算法,能够实时对数据进行处理,能够达到不需要人工干预的情况下全天候运行。视频智能分析主要是指“ 自动地提取视频源中的关键信息并进行智能化分析,并通过设置一定的条件和规则对其判定”。基于计算机(帮写文章加 vx:13387638223/ 加q:947927387,硕博团队,专业写作,免费咨询)视觉的视频智能分析,能够在图像及图像描述之间建立映射关系,对视频中的关键信息进行自动的分析和判断。前端设备(如摄像机)就好比人的眼睛,智能视频分析技术就好比人的大脑,依靠现代计算机强大的计算能力,高速分析处理视频中的信息数据,过滤掉用户不关心的信息,为监控者提供有价值的关键信息。1.2 国内外研究综述国外对基于视频的目标检测与跟踪的理论研究及应用研究起步较早,尤其在美国、英国等国家已经开展了大量相关项目的研究,并取得了一定的成果。现举例如下: 1997 年美国国防高级研究项目署(Defense Advanced Research Projects Agency)设立了以卡内基梅隆大学(Carnegie Mellon University)为首、麻省理工学院(Massachusetts Institute of Technology)等高校参与的视觉监控重大项目 VSAM(Visual Surveillance .and Monitoring),VSAM 的目标是为未来城市和战场监控应用开发的一种自动视频理解技术,用于实现未来战争中人力监控费用昂贵、非常危险或者人力无法实现等场合下的监控。 美国的麻省理工学院(Massachusetts Institute of Technology)在智能视觉监控方面也进行了深入的研究,其开发的监控系统己成功实现了对行人和车辆的检测与跟踪。 英国的雷丁大学(University of Reading )己开展了对车辆和行人的跟踪及其交互作用识别的相关研究。 美国的马里兰大学(University of Maryland)开发了W4(What,Where ,When,Who)实时监控系统,该系统不仅能够定位人和分割出人的身体部分,而且通过建立外观模型来实现多人的跟踪,可以检测和跟踪室外环境中的人,同时可以检测人是否携带物体等简单行为,并对他们之间的简单交互进行监控。IBM 与 Microsoft 等公司也正逐步将基于视觉的手势识别接口应用于商业领域中;在我国,这方面的研究起步较晚。目前,在国内的相关研究机构中,中科院自动化研究所下属的模式识别国家重点实验室成立的视觉监控研究小组处于该领域的领先地位。该实验室在交通场景的视觉监控、人的运动视觉监控和行为模式识别等方面作了深入的研究,并取得了一定的成果。模式识别实验室己经开始与英国雷丁大学就视觉监控项目开展了合作研究,并得到了英国皇家协会的支持;与法国波尔多第三大学 EGID研究所在交通视觉监控等方面也展开了一系列的合作。除此之外,国内还有一些高校,如上海交通大学航空航天信息与控制研究所,华中科技大学图像识别与人工智能研究所,西安电子科技大学电子工程学院模式识别与智能控制研究所,桂林电子科技大学图像所等研究机构,都对该领域进行了相关的研究。1.3 主要研究内容本文主要研究主要面向智能视频的人脸跟踪算法进行分析和研究。文章主要在OPENCV 平台下,对自带的 Cam shift demo 进行改进优化,将人脸跟踪速度加快,识别率更高,将鼠标选定人脸改为自动跟踪人脸,提高容错率。显示出检测时间。本文主要包括以下几个部分:(1)绪论。该部分主要对本文的研究背景及意义进行阐述,阐述当前的社会背景下,研究和分析智能视频监控的人脸跟踪算法研究的价值和意义。(2)智能视频监控中人脸跟踪的相关概述。主要是对人脸跟踪的相关概念、人脸跟踪的算法分类以及本文重点研究的 cam shift 进行简要的概述,为本文的研究奠定一定的理论基础。.(3)基于 Cam shift 算法的人脸跟踪分析。该部分重点对 Cam shift 算法的原理以及优缺点,结合 Kalman 算法进行改进设计。(4)人脸跟踪的实验设计及结果分析。结合 OPEN CV 技术,构建实验环境、设计实验方案,对改进之后的 Cam shift 算法和经典的 Cam shift 算法的人脸跟踪效果进行对比分析。.第 2 章 智能视频监控中人脸跟踪算法的相关概述2.1 人脸跟踪的相关概念人脸跟踪主要包括人脸检测、人脸对齐、人脸识别、人脸表情识别等内容。如图 1.1所示,它们之间具有紧密的联系。(1)人脸检测人脸检测的主要目的是在给定的一副图片中,准确的找到人脸的位置。首先对于给定的图片,可以是一副单一的图片,也可以是一个视频中的一副图像,甚至可以是摄像头实时拍摄的一副图片。对于人脸检测,我们的基本要求是能够将人脸的额头到下巴部分,包括两侧脸庞准确的用矩形框画出。人脸检测主要利用人脸的纹理特征,从而获得前景和背景的最大区别,这样就可以准确的检测出人脸。典型的特征为 haar特征。图 1.1 与人脸相关的技术之间的关系(2)人脸对齐人脸对齐,又称为人脸特征点定位。主要基于人脸的先验知识表达。例如在训练过程中,首先在图像中标记出特定个数的特征点,例如 68 个。因此,将会在人脸中眉毛、鼻子、嘴巴等显著器官标记相应的特征点。利用训练图片中的训练好的特征点模型,来逐步的获得给定图像中人脸的各个特征点位置的对齐。.(3)人脸识别人脸识别,是最早开始进行有关人脸课题的研究。由于人脸的特有的生物特征,不仅使得人脸识别应用广泛,同时对人工智能有着重要的启发。在识别的过程中,我们可以采取基于人脸的全局特征,或者局部特征来进行人脸识别。全局特征即为,我们利用整张人脸来进行提取特征,例如对整个人脸进行相应的变换,提取 haar 特征,通过两幅人脸的 haar 特征比对,来达到人脸识别的目的。局部特征即为,将整幅图像分为若干个局部部分,在局部提取相应的特征,进行不同人脸图像的识别。典型的方法例如,在进行人脸对齐后,在每个特征点的周围,提取一定范围的灰度特征,再进行比对。这样便达到了识别的目的。(4)人脸跟踪人脸跟踪,即为针对一张人脸,进行不停的跟踪定位。在当下社会,由于摄像头的像素有限,在比较灰暗的环境下,或者偏僻的角落里,如果想获得固定帧图像的清晰的人脸,难度太大。但是如果我们可以准确的跟踪人脸在视频中的不同的图像。不仅提高获得清晰人脸的概率,还可以分析相应人脸的连续行为。对行为预测及预警有非常大的作用。2.2 人脸跟踪的算法分类运动目标的表示和相似性度量的方法决定了跟踪算法的准确度,匹配搜索策略会影响跟踪算法的计算效率。运动目标跟踪算法按照目标的表示和相似性度量方法的不同分为四大类,下面分别进行介绍:(1)基于特征的跟踪算法该方法是提取目标图像的一些特征,然后通过跟踪它们来实现对运动目标的跟踪,目标的整体特性没有被考虑。一般用来表示目标的特征有:图像边缘、纹理、颜色、质心、角点等。例如蔺海峰等人提取运动目标的 SIFT 特征点作为特征,实现了对运动目标的跟踪,实验结果表明,具有较好的鲁(帮写文章加 vx:13387638223/ 加q:947927387,硕博团队,专业写作,免费咨询)棒性。可以把多个特征组合在一起,这样通常比一个特征实现的跟踪效果更好。这种算法的优点是能够抵抗一定程度的目标遮挡,而且运动目标的旋转、尺度和形变等变化不会对它造成太大影响。(2)基于主动轮廓的跟踪算法基于主动轮廓的跟踪算法用可变形曲线来表示目标,让能量函数最小化,使动态轮廓形状慢慢调整,最终与目标轮廓重合。该算法最重要的是准确的确定初始轮廓位.置。这种算法的优点是既考虑了目标轮廓整体信息,又考虑了灰度信息,提高了跟踪的精确度。缺点是不能很好地跟踪形状变化较大或运动过快的目标,并且计算量较大。(3)基于模型的跟踪算法基于模型的跟踪方法首先对运动目标构造模型,再由匹配运动目标与目标模型来定位目标。该方法主要应用于刚体运动目标的跟踪,非刚性目标由于形状不断变化,不能建立准确的几何模型,无法应用这种方法实现跟踪。基于模型的跟踪方法的关键是建立准确的运动模型,这种方法的优点是能抵抗一定程度的目标遮挡或运动变化以及光照变化,具有较强的稳定性。缺点是计算量很大,实时性不好。(4)基于区域的跟踪算法基于区域的跟踪算法一般先通过人工确定或者目标分割得到含有运动目标的区域,然后在视频序列中根据相关算法跟踪目标,模板一般为稍大于运动物体的矩形。这种方法的优点是跟踪没有被遮挡的目标时,准确率很高而且很稳定。缺点是当跟踪区域较大时,运算效率低,实时性比较差。另外,这种算法当运动目标遮挡或变形比较大时,将无法跟踪运动目标。2.3 Cam shift 算法的相关概述人脸跟踪是计算机视觉课题中一个重要的分支,一直以来都受到广大学者的关注,相应地也产生了很多优秀算法。其中 Bradski 提出的 Cam Shift 算法在实际应用中受到了广泛关注,该算法复杂度低,对目标形变、角度旋转、部分遮挡有很强的鲁棒性。Cam Shift 算法思想是对视频中每一张图像使用 MeanShift 算法,所以可以这两个算法有很多相似的地方,Cam Shift 可以理解成是基于连续图像颜色动态变化的概率分布的一种跟踪算法。Cam Shift 是通过目标的颜色特征定位出该目标在图像中的位置及其大小,而在视频图像的下一帧中,我们就可以使用上一帧得到的运动目标位置及大小进行初始化该帧中搜索位置,然后依次应用到以后的视频每一帧中。通过此方法可以完成视频序列中对该目标的完全跟踪。Cam shift 算法通常选择 HSV 图像中的 H 分量建立目标模型,选取的特征是物体的颜色。正因为它只选取颜色概率作为跟踪模式,所以当背景色中有大量类肤色区域则有出现错误的跟踪。而本节针对类肤色的干扰进行了改进,通过 LBP 得到的人脸纹理概率分布图与 Cam Shift 结合,以人脸纹理概率分布图作为模板,并以该模板是否与下一帧中的人脸纹理概率分布图成功匹配作为 Cam Shift 的迭代终止条件。.我们可以在第一帧中选择出跟踪目标,Cam shift 算法通过计算窗口内颜色概率分布图像的零阶矩、一阶矩确定质心位置,并以此位置来初始化下一帧中探索窗口位置。其主要过程如下:(1)初始化搜索窗的位置和大小(可为任意值)(2)计算零阶矩、一阶矩,并计算出搜索窗的质心。其中,计算零阶矩的公式为:一阶矩的公式为质心公式为:(3)调整搜索窗的大小:假设宽度为 s,则长度为 1.2s0其中,s 的值由如下公式得到:(4)移动搜索窗的中心到质心,如果移动距离大于预设的阈值,则重复(2),(3)和(4),直到收敛,保存此时的零阶矩和质心值。在下一帧图像中根据(4)得到的零阶矩和质心值重新初始化搜索窗的位置和大小,再跳转到(2)继续执行。.第 3 章 基于 Cam shift 算法的人脸跟踪分析3.1 Cam shift 算法简介3.1.1 Cam shift 算法原理Cam shift 算法全称是 Continuously Adaptive Mean Shift Algorithm,是由 Mean shift 的改进算法。该算法可以实现针对物体在视频中的大小进行自适应调整,从而大大改善跟踪效果。Cam shift 充分利用了 Mean-shift 算法的计算简单快捷的优点,并且在不增加计算复杂度的同时,实现了自适应的窗口大小控制。在 Mean-shift 迭代完成之后,改进的算法都会对窗口大小进行调整。窗口调整的原理如下:对一副灰度连续图像,如果将该图像投影至 3 维平面内,横纵坐标分别为对应的图像维度,z 轴范围为0,255,其数值为在该点对应图像中的像素的灰度值。因此,可以定义一个图像的灰度体积为:(3.1)(,)VIxyd利用灰度体积除以图像的平均灰度值,就可以得到图像的面积 :S(3.2)SI其中 为图像区域的平均灰度值。由于计算机图像为离散图像,故有I(3.3)(,)VIxy而为了保守图像的大小,我们采用像素最大值(即 255)来代替平均灰度值。这么做的原因,是一方面,我们希望跟踪窗口(帮写文章加 vx:13387638223/ 加q:947927387,硕博团队,专业写作,免费咨询)尽可能的小,以便我们在跟踪的时候让窗口尽可能地不让无关物体进入,于是我们采取使用灰度最大值来代替灰度平均值。当然也不能太过于小,这样容易造成跟踪窗口的尺寸太小而导致算法容易收敛到局部最大值。因此,我们将窗口宽度设置为:(3.4)0256Ms.之所以开根号是为了长度量纲保持一致。由于人脸的形状是椭圆型,长度可以设置为宽度的 1.2 倍,即 。1.2ls我们也可以根据需要,输出人脸的偏移角度。椭圆的旋转角度为:(3.5)102200()arctn)cccMxy其中, , , 是窗口的中心点。220(,)xyMI202(,)xyMI,)cxy该算法的步骤如下:给定图像和目标直方图,窗口大小 ,已知精度h(1)将搜索初始点设置为目标初始位置,对给定的图像和目标直方图,进行全局的反向投影;(2)由上面的 Meanshift 算法进行迭代运算,收敛后,返回跟踪目标的零阶矩;0M(3)由(3-5)式进行窗口的尺寸计算,并且按照该公式跟新窗口大小。(4)根据更新大小的窗口作为下一帧视频的初试窗口,并且将 Meanshift 所得到的迭代窗口中心重新作为目标初始位置,进行(2),若是视频结束,则返回。3.1.2 Cam shift 算法优缺点分析由于该算法属于一种自适应算法,根据跟踪的目标估算出其面积,并且使得窗口做自适应调整,故该算法的使用,使得跟踪的稳定性显著提高,视频过程中如果有其它物体干扰,对结果的影响并不大。但 Cam shift 算法也有缺陷,不光是在反向投影过程中,全局运算增加了不必要的运算负担,同时全局运算也会大大降低跟踪质量,原因主要是因为在亮度不强的背景区域,反向投影会产生噪点,其原因是因为在 RGB 转换到 HSV 空间的时候,亮度或饱和度不大的映射稳定性不高,导致一些无关点也被当成目标区域。3.2 Cam shift 算法的改进设计在人脸跟踪时,如果有大量的类肤色出现在视频图像的背景中,则使用经典 Cam Shift 算法时容易造成错误的颜色跟踪。针对这个问题,可以引入人脸纹理概率分布图.并与改进的 Cam shift 算法结合。先对人脸区域进行 LBP 处理,得到 LBP 纹理概率图。因为人脸的纹理概率图跟背景的纹理概率图肯定是不一样,所以我们可以通过它来区分类肤色的背景与人的脸部。此时,我们可以将人脸的纹理概率分布图作为模板融入到 Cam Shift 算法中,并以该模板是否与下一帧中的人脸纹理概率分布图成功匹配作为Cam Shift 的迭代终止条件,而不是传统的以质心与形心重合或者质心移动距离小于阈值作为结束条件。3.2.1 Kalman 滤波原理Kalman 滤波是由两个过程组成,分别为动态系统和观测系统。动态系统对应于状态方程,它是由输入向量通过 t 时刻前的所有系统状态与动态噪声向量相结合产生而得出 t 时刻的预测状态向量。观测系统对应观测方程,它是由 t 时刻的状态向量通过 t 时刻及 t 时刻以前的所有观测值与观测噪声向量相结合从而输出 t 时刻的观测向量。最后,通过更新状态方程并综合 t 时刻的观测微量及预测状态,就可以得到 t 时刻的状态修正值。Kalman 的基本原理就是通过不断的迭代一组方程来预测系统的状态并通过观测值来修正系统状态值。离散的状态方程及观测方程组成了离散的卡尔曼滤波模型。我们可以用 M 维状态矢量 s、来表示离散时间系统,它是在 t、时刻由 M 个状态变量构成。其方程式可以表示为: 通过上述方程可以看出,k-1 时刻的状态 Sk-1,与扰动噪声矢量 Wk-1,构成了 k 时刻的系统状态 Sk,可以看出该方程是一步递推状态方程。其中 是一步状态转移矩阵,它是由系统 k-1 时刻到 k 时刻构成的 MM 一步状态转移矩阵;Wk-1,是 k-1 时刻系统受到的 L 维扰动噪声矢量; 是 k-1 时刻反映扰动噪声矢量对系统状态适量影响程度的 ML 控制矩阵。离散卡尔曼滤波对状态预估是建立在观测的数据上,所以,我们要同时建立离散的状态方程及观测方程。正常情况下,观测系统是使用线性来表示,这样对于离散的时间系统而言,对应的观测方程可以表示成:上述公式中,z k 是 k 时刻的 N 维观测信号矢量;H k 表示时刻为 k 时的 NM 观测矩阵;n k 表示在时间为 k 时一个 N 维观测噪声矢量。.在对目标进行过 k 次观测后,假设其观测矢量为:此过程中的离散系统的状态估计可以通过己知的观测矢量 z(k)求出第 J 时刻状态矢量 ,并得到状态估计矢量 。其中估计误差 可以由 与 作差获得。其中的 表示估计的均方误差阵。估计矢量 大体可分为三种,分别是状态滤波、状态预测及状态平滑其对应的状态估计关系分别为 j=k, jk, jk。而所谓的状态一步预测即当 j=k+1 时求得的估计矢量 。而卡尔曼滤波就是在线性最小均方误差的条件下讨论的状态滤波和下一步的预测。离散卡尔曼滤波的离散信号模型、状态滤波和状态一步预测的递推公式及滤波的初始状态过程推如下,具体过程如下:状态方程:观测方程:统计特性: ,滤波初始状态: ,一步预测均方误差阵:滤波增益矩阵:滤波均方误差:状态滤波:状态一步预测:.3.2.2 改进的 Cam shift 算法与 Kalman 滤波融合的人脸跟踪传统的 Cam Shift 算法中,它只是简单地以颜色概率作为跟踪模式。所以,如果背景区域有类肤色时,传统的 Cam Shift 算法必然只会关注人脸的颜色而忽略其它脸部特征,从而出现跟踪错误的现象。而脸部除颜色特征外,我们还可以使用纹理来间接反映。此时,我们可以引入上面局部纹理特征,对人脸进行 LBP 处理并计算出其对应的纹理概率分布图,将该纹理概率分布图作为模板进行与下一帧搜索窗中的纹理概率分布图进行匹配。之所以选择纹理概率分布图是因为它能够降低亮度对图像的影响,而且能够充分表达图像整体和局部的色度等级分布和特征。使用模板匹配的改进 Cam shift 算法的流程如下:将搜索窗的中心移动到质心位置后进行模板匹配,只有当匹配结果超过阈值才终止本次迭代过程。与传统的 Cam Shift算法不同的,它不是以质心与形心重合或者质心移动距离小于阈值作为结束条件,而是以模板成功匹配作为收敛条件。如果帧间位移较大或者目标物体移动速度较快时,如果再使用 Cam Shift 算法将上一帧得到的人脸图像质心作为下一帧初始化搜索区域可能会有较大的误差,甚至会丢失跟踪目标。为了解决这个问题,我们可以引入 Kalman 滤波进行处理。我们可以使用Kalman 滤波对 Cam Shift 算法得到质心进行预测,并将得到的结果重新送回 Cam Shift算法进行质心坐标的更新。.第 4 章 人脸跟踪的实验设计及结果分析4.1 OpenCV 技术概述OpenCV 诞生于 Intel 研究中心,是一个普遍可用的计算机视觉库。其目的是为了促进 CPU 的密集型应用。 OpenCV 作为一个开放的计算机视觉库,由一系列 C 函数和部分 C 一类构成,具有很好的可移植性,能够实现图像处理和计算机视觉方面法等很多通用算法。OpenCV 的重要特性包括:拥有包括 500 多个 C 函数的跨平台的低级和高级的应用程序接口(API );对所有应用都是免费的;此外 OpenCV 提供面向 Inter IPP 的高效多媒体函数库接口,可针对使用的 Inter CPU 优化代码,提高程序性能。OpenCV 的基础模块主要包括:基础核心模块 Core、图像处理模块 Imgproc、视频分析模块 Video, GUI 接口模块 HighGui、目标检测模块 Objdetect、特征检测模块Features2D、机器学习模块 ML, 3D 图像处理模块 Calib3D 和 GPU 模块等。表 2-1 显示为 Open CV 的基础模块。表 2.1 Open CV 基础模块展示Core 模块 OpenCV 库的核心函数、定义了基本数据结构和算术函数等Imgproc 模块 包含主要的图像处理函数Video 模块 包含运动估计、背景减除和物体跟踪算法等HighGtu 模块 为视频捕捉、图像和视频编码等提供 GUI 接口Objdetect 模块 包含实物检测和预定义物体检测等Features2D 模块包含特征检测算法和算子匹配算法等ML 模块 提供基本和经典机器学习算法,支持计算机视觉功能实现Calib3D 模块 包含多视角吉和算法、摄像机标定、元素三维重建等GPU 模块 用于支持其他模块的 GPU 加速算法在视频图像的处理中,Open CV 可以进行视频图像的载入、保存和获取等常规操作,包含图像处理,目标分析,计算机视觉在内的开源项目,是一个功能强大的理想.的开发应用平台。其主要功能包括图像数据操作、多种动态数据分析、运动分析、基本图像处理、目标识别和摄像机定标等。Open CV 是开源代码,可用于或嵌入(整体或部分)其他的应用程序中。它是一个经过指令集开发且优化的开放的 C/C+源码,统一的数据结构和功能函数定义,强大的视频图像处理和矩阵分析运算能力,用户接口灵便,有良好的移植性,可支持MS-WINDOWS,LINUX 平台。从 1999 年 Open CV 的产生,Open CV 的发展经历了网络经济泡沫破裂影响,无数次管理和发展方向的影响,甚至多次缺乏 Intel 公司人员的支持,但随着计算机视觉的更多推广以及多核时代的来临,Open CV 依然有着重要的的研究和应用价值。4.2 跟踪方案设计在实际应用中 Cam shift 在目标明显尺度变化、严重遮挡等情况下可能出现的跟踪失败,研究人员在实验的基础上提出了不同的解决方案,基于运动分割和图像中 H 分量与 H-S 分量结合生成概率分布直方图对 Cam shift 算法进行改进。文献对图像的分块处理进行目标的分块跟踪。本文综合考虑实验的可行性和实时性采用 Cam shift 结合Kalman 滤波器改进目标跟踪算法。在目标跟踪实验时,当目标被严重遮挡时,采用 Kalman 预测下一时间点的目标位置,并对其进行校正得到的值作为目标位置,继续对目标进行实时跟踪,解决了遮挡过程中跟踪失败问题。本章在 Cam shift 算法基础上结合 Kalman 滤波器的预测处理进行目标跟踪实验,目标跟踪方案如图 4.5 所示。.运动目标初始化搜索窗口C a m s h i f t 算法计算目标优化位置遮挡用 c a m s h i f t 计算的目标优化位置作为观测值K a l m a n 的预测值经校正后得到的值作为观测值更新 K a l m a n 滤波器输出结果NY图 4.2 基于 Cam shift 目标跟踪流程图从目标跟踪流程图可以看出,通过目标检测或者鼠标选定运动目标后,进行运动目标跟踪。Cam shift 算法的实现一般通过(帮写文章加 vx:13387638223/ 加q:947927387,硕博团队,专业写作,免费咨询)计算反向投影图,Mean-shift 寻优,Cam shift 实现目标跟踪等三步来寻找目标最优位置实现目标的跟踪。出现遮挡时,用Kalman 预测值作为观测值继续完成目标跟踪。本章对 Cam shift 算法与 Kalman 滤波器在遮挡情况下实现情况进行了以下实验。4.3 实验结果分析为了模拟皮肤颜色,我们可以使用一张类似皮肤颜色的棕黄色纸张进行代替,并将该纸张来作为人脸移动时类肤色的背景。此时,将人脸按照从左向右再从右向左的方向来回移动,作为对比,图 4.6 (a)是使用传统的 Cam Shift 算法得到的部分结果,而图 4.6(b)是本文使用的改进后的算法得到的部分结果,最后对视频中所有图像结果进行统计(具体详见表 4.2 )。其中,图 4.6 是截取算法改进前后部分帧的跟踪效果图。.Frame 12 Fram a 20 Fram a 26 Frame 45(a)原算法的跟踪效果Frame 12 Fram a 20 Fram a 26 Frame 45(b)改进算法的跟踪效果图 4.3 视频中部分帧效果图表 4.2 统计结果方法 帧数 成功跟踪帧数 成功率(% ) 所用时间经典 Cam shift 500 396 79.2 16.67s改进后算法 500 473 94.6 19.23 s因为经典的 Cam Shift 算法只是简单地以颜色概率作为跟踪模式,通过图 4.5 可知,在第 27 帧、第 56 帧时,使用经典 Cam Shift 算法会出现跟踪错误。而对应的改进算法因为在成功匹配后就停止迭代,搜索窗不再随着质心移动。所以,跟踪成功率会有明显地提高。改进后的算法是融合了其它算法,计算量会比经典 Cam Shift 算法有所提高。但通过实验可以验证,改进后的算法在实时性上还是基本能满足需要,没有出现明显的卡顿现象。所以综合考虑,改进后的算法要优于经典的 Cam Shift 算法。利用了 Kalman 滤波器对运动目标的运动状态的预估后,Cam shift 算法的跟踪情况。从图中可以看出,运动目标被遮挡前后,红色搜索窗口一直出在目标位置,实现.对目标的实时准确跟踪。实验结果说明 Cam shift 算法结合 Kalman 滤波器能在发生遮挡的情况下完成目标跟踪任务。通过实验实现改进算法对目标的跟踪,但是 Cam shift 对于跟踪目标的选择也有一定的限制,一个物体的颜色很鲜亮,或和背景相差较大的,跟踪起来比较容易,但是与背景存在大面积颜色相近时不容易跟踪,比如当跟踪一张白纸时,由于白色 H 分量太低就很容易跟丢。.第 5 章 结论与展望5.1 结论对视频监控的人脸图像序列选取合适的处理算法,通过 VS 2013 和 OpenCV 视觉库,设计并编写程序,通过实验验证对视频图像中的运动目标检测与跟踪时算法的可行性,分析总结实验结果与实验中存在的问题。本文在基于 Cam shift 人脸跟踪部分,在研究了 Cam shift 算法的基础上,实现了Cam shift 算法对目标的跟踪。对于目标的严重遮挡处理,本文在利用 Kalman 滤波器对目标进行预估的基础上利用 Cam shift 算法对遮挡目标的跟踪。通过实验对比该算法能实时的跟踪运动目标,实现运动物体在完全遮挡时准确跟踪。本论文的主要研究基于 Open CV 的人脸检测与跟踪算法,在了解目前目标检测与跟踪算法以及国内外的研究现状后,利用 Open CV 计算机视觉库对目标检测与跟踪算法进一步研究。选择 Open CV 视觉库减小了运动目标检测和跟踪复杂的算法流程,缩短了时间,提高了应用效率。5.2 展望相比那些和滤波以及数据关联度的跟踪算法,Cam shift 算法的计算量已经是大大降低了。然而,跟踪的准确度依旧有待提高。修改该问题的方法,就是在跟踪过程中,对物体的模型进行修改。个人觉得,最好的模型莫过于对物体的形状描述以及颜色描述。然而,目前的许多跟踪算法中,都没有加入对形状描述的算法,原因是对图像中的形状,描述起来并不容易,即使有描述的方法,计算量也过(帮写文章加 vx:13387638223/ 加q:947927387,硕博团队,专业写作,免费咨询)大,用在跟踪里会导致跟踪失去实时性。同时,跟踪算法是个优化的算法,所有优化的算法有一个通病,就是会收敛到局部极值。有时候,该值并不是我们想要的。因此,为了避免优化算法的缺陷,可行的办法就是在建模的时候,尽可能让整个图像只出现一个最大值,或者让提取出来的数据尽可能集中在一个区域,这样就可以保证收敛总是处于正确位置。跟踪算法应用广泛,是有十分大的商业潜力的。由于人脸感知系统的诞生,计算机可以通过人脸的旋转和移动控制 3D 游戏的操作,也可以在许多其它方面,如交通监.控,室内监控都起到很多作用。因此,开发一套好的跟踪算法,是很有必要的。希望今后随着计算机发达,能做出跟精确的跟踪算法。.参考文献1M. Ali Akber Dewan,E. Granger,G.-L. Marcialis,R. Sabourin,F. Roli. Adaptive appearance model tracking for still-to-video face recognitionJ. Pattern Recognition,2016,49:. 2Jongju Shin,Daijin Kim. Robust Face Alignment and Tracking by Combining Local Search and Global FittingJ. Image and Vision Computing,2016,:. 3Mikel Ariz,Jos J. Bengoechea,Arantxa Villanueva,Rafael Cabeza. A novel 2D/3D database with automatic face annotation for head tracking and pose estimationJ. Computer Vision and Image Understanding,2016,148:. 4Baoyuan Wu,Bao-Gang Hu,Qiang Ji. A Coupled Hidden Markov Random Field Model for Simultaneous Face Clustering and Tracking in VideosJ. Pattern Recognition,2016,:. 5Min-Fan Ricky Lee,Ying-Chi Li,Ming-Yen Chien. Real-time face tracking and recognition using the mobile robotsJ. Advanced Robotics,2015,29(3):. 6Sengottaiyan Palanivel,Venkatachalam Ramalingam,Angappan Geetha. An Integrated Face Tracking and Facial Expression Recognition SystemJ. Journal of Intelligent Learning Systems and Applications,2011,03(04):. 7胡章芳,秦阳鸿. 基于图割理论的尺度自适应人脸跟踪算法 J. 计算机应用,2017,(04):1189-1192. 8蔡荣太,朱鹏. 基于马尔科夫随机场的多特征人脸跟踪算法 J. 激光与光电子学进展,2017,(02):132-136. 9黄玲. Android 平台上的 CAMSHIFT 人脸跟踪算法改进设计 J. 电脑编程技巧与维护,2017,(06):39-40+44. 10张江鑫,陈林,吴佳颖. 一种基于 Camshift 聚类的粒子滤波人脸跟踪算法J. 浙江工业大学学报,2017,(02):168-172+183. 11隋煜舜,齐苏敏. 基于人脸检测的模板匹配人脸跟踪算法研究 J. 电子技术,2016,(12):26-29. 12张秀琴,王蓉,张英俊. 一种适用于井下人脸跟踪的改进主动形状模型 J. 工矿自动化,2017,(03):53-56. 13李苗祎,谢维成,王军,石林玉,杨伟. 基于组合分片模型和粒子滤波的人脸跟踪算法 J. 计算机应用研究,2017,(02):626-630. 14李明夏,陈斌. 基于监控视频的稳定实时人脸跟踪系统构建 J. 计算机应用,2015,(S2):250-253+257. 15刘嘉敏,梁莹,孙洪兴,段勇,刘虓. 融合检测和跟踪的实时人脸跟踪 J. 中国图象图形学报,2015,(11):1473-1481. 16钟锐,吴怀宇,吴若鸿. 基于强跟踪 Kalman 滤波的鲁棒人脸跟踪算法 J. 计算机工程与设计,2016,(02):475-480. .17谢宏,张爱林,陈海滨,张小刚,陈俊辉,李云峰,向启均. 改进 WMIL 的实时人脸检测与跟踪J. 电子测量与仪器学报,2016,(03):465-472. 18胡一帆,胡友彬,李骞,耿冬冬. 基于视频监控的人脸检测跟踪识别系统研究 J. 计算机工程与应用,2016,(21):1-7+35. 19李根,李文辉. 基于思维进化算法的人脸特征点跟踪J. 吉林大学学报(工学版),2015,(02):606-612. 20稂龙亚,钱雪忠. 基于 SURF 特征点的多人脸跟踪方法研究J. 计算机应用与软件,2015,(02):178-181.- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 面向 智能 视频 监控 跟踪 算法 研究
装配图网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
关于本文