基于视频的实时运动目标检测与跟踪系统研究

《基于视频的实时运动目标检测与跟踪系统研究》由会员分享，可在线阅读，更多相关《基于视频的实时运动目标检测与跟踪系统研究（95页珍藏版）》请在装配图网上搜索。

1、 基于视频的实时运动目标检测与跟踪系统研究密级： 分类号 密级 UDC 密级： 硕士学位论文基于视频的实时运动目标检测与跟踪系统研究 作 者 姓 名： 李 月 静 西华大学硕士学位论文学科、专业： 信号与信息处理 学 号：212009081002007指 导 教 师： 谢 维 成 完 成 日 期： 2012年3月 Classified Index: UDC: 密级： Xihua UniversityMaster Degree Dissertation Research of Real-time Moving Object Detection and Tracking System Based

2、on VideoCandidate : Li YuejingMajor : Signal and Information ProcessingStudent ID: 212009081002007Supervisor: Prof. Xie WeichengMarch, 2012西华大学学位论文独创性声明作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外，本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。若

3、有不实之处，本人愿意承担相关法律责任。学位论文作者签名： 指导教师签名：日期： 日期西华大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，在校攻读学位期间论文工作的知识产权属于西华大学，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，西华大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。(保密的论文在解密后遵守此规定)学位论文作者签名： 指导教师签名：日期： 日期西华大学硕士学位论文摘 要以计算机视觉技术为基础的智能视频监控系统，目前已经广泛应用于人们生产生活的各个方

4、面。运动目标检测与跟踪是智能视频监控系统中的关键技术和主要研究方向，目的是实时检测视频序列帧中出现的运动目标，获得目标参数，对运动目标进行匹配和跟踪，进而获得目标的运动轨迹。本文主要研究了视频运动目标检测与跟踪系统的构成，系统中使用的视频、图像处理技术，运动目标检测及运动目标跟踪算法，并分别在计算机系统及嵌入式系统中实现了运动目标检测与跟踪系统。首先，分析研究了常用的运动目标检测算法及各自的优缺点，提出了一种基于累积差分更新的背景减除法，该算法结合累积差分的概念，对自适应背景建模法作出改进，较好地消除了场景变化以及噪声影响等的干扰，关于目标提取的阀值判断，提出了一种两主峰间差值的灰度直方图阀值

5、分割法。接着，分析比较了连续自适应均值漂移CAMShift算法与Kalman滤波算法，提出了一种基于几何特征的Kalman滤波与目标直方图匹配相结合的运动目标跟踪算法，以目标灰度质心及外接矩形框长宽作为目标几何特征参数，分别使用两组卡尔曼滤波预测后，根据目标灰度模板相似度进行目标匹配。然后，在VC+6.0集成开发环境下，采用MFC应用程序框架及OpenCV计算机视觉库代码，实现了基于USB摄像头的运动目标检测与跟踪系统，对于USB摄像头或AVI视频文件输入的视频，系统能实时检测出场景中的运动物体并进行跟踪。最后，使用Altera ED2多媒体开发板，以Cyclone系列EP2C35F672C6

6、 FPGA作为核心芯片，设计出基于SOPC的实时运动目标检测与跟踪系统，使用了Quartus、SOPC Builder及NiosIDE等开发工具，完成硬件设计及软件开发，经仿真及调试该系统实现部分运行。关键词：智能视频监控；目标检测；目标跟踪；OpenCV；SOPC I AbstractIntelligent Video Surveillance System which based on Computer Vision technology has already been widely applied to various aspects of humans production and

7、life at present. Moving object detection and tacking is the key technology and primary research direction of Intelligent Video Surveillance System. In order to real-time detecting moving object emerged from video sequence frames, obtaining object parameters, matching and tracking moving object, then

8、 the movement locus of object is acquired. In this paper major researches include the structure of moving object detection and tracking system based on video, the technology of video and image processing used in system, the algorithm of moving object detection and tracking, and the implementation of

9、 system based on computer and embedded technology. Firstly, conventional algorithms of moving object detection and tracking including each advantage and defect are analyzed and researched, and a kind background subtraction algorithm based on accumulated difference update is proposed. The algorithm i

10、ncorporated accumulated difference notion improvements self-adaptive background modeling algorithm to eliminate noise interference. A kind partition method of gray histogram threshold is proposed.Then, CAMShift algorithm and Kalman filter algorithm are analyzed and compared, and a kind moving object

11、 tracking algorithm which combines Kalman filter based on geometric characteristic with object histogram matching is proposed. The center of mass of objects grayscale and the length and width of circumscribed rectangle frame are used as the geometric characteristic parameter of object. After using r

12、espectively two groups of Kalman filter to calculate, matching object according to similarity of template of objects grayscale.And then, the moving object detection and tracking system based on USB camera is implemented by VC+ 6.0 Integrated Development Environment. The MFC application program wizar

13、d and Intel OpenCV code are utilized to develop system. According to inputted video from either USB camera or AVI files, the system can detect and track object in scene. Finally, the real-time moving object detection and tracking system based on SOPC is designed. The Altera DE2 board which contains

14、Cycloneseries EP2C35F672C6 FPGA chip is used as development platform. The Developer Kits include Quartus, SOPC Builder and NiosIDE etc. The hardware design and software programming are accomplished. The embedded system is able to partly operate after simulating and debugging.Key Words：Intelligent Vi

15、deo Surveillance; Object Detection; Object Tracking; Open CV; SOPC III 目 录摘 要IAbstractII1 绪论11.1 研究背景及意义11.2 国内外研究现状及发展趋势21.2.1 国内外研究现状21.2.2 发展趋势41.3 主要研究内容及本文结构62 系统结构与关键技术82.1 系统结构82.2 图像处理技术92.2.1 图像获取92.2.2 视频信号制式及图像色彩模型102.2.3 图像滤波132.2.4 形态学处理162.2.5 连通分量分析183 运动目标检测算法研究203.1 常用运动目标检测算法分析203.

16、1.1 帧间差分法203.1.2 背景减除法223.1.3 光流法233.2 基于累积差分更新的背景减除法233.2.1 背景模型建立与更新243.2.2 运动目标提取273.3 检测算法流程及实验结果283.3.1 检测算法流程283.3.2 检测算法实验结果304 运动目标跟踪算法研究334.1 常用运动目标跟踪算法分析334.1.1 卡尔曼滤波算法334.1.2 CAMShift算法354.2 基于几何特征的卡尔曼滤波和直方图匹配算法374.2.1 几何特征计算374.2.2 卡尔曼滤波394.2.3 灰度直方图匹配404.2.4 多目标跟踪问题414.3 跟踪算法流程及实验结果414.

17、3.1 跟踪算法流程414.3.2 跟踪算法实验结果435 基于VC+的运动目标检测与跟踪系统465.1 MFC及OpenCV465.1.1 MFC465.1.2 OpenCV475.2 系统硬件结构485.3 系统软件编程495.3.1 系统软件模块495.3.2 算法编程505.4 系统运行实现546 基于SOPC的运动目标检测与跟踪系统596.1 开发平台、工具及流程596.1.1 SOPC及VreilogHDL596.1.2 开发平台606.1.3 开发工具及流程626.2 系统硬件设计646.2.1 系统总体设计646.2.2 各模块设计656.3 系统软件开发736.4 实验结果及

18、分析75结 论77参 考 文 献79攻读硕士学位期间发表的论文及科研成果85致 谢86西华大学硕士学位论文1 绪论1.1 研究背景及意义随着21世纪的第1个10年的过去，人类社会早已经进入了信息时代。从愚昧的原始社会，到稳步发展的古典时代，再到欣欣向荣的启蒙时代，然后是繁忙的工业时代，人类文明在不断发展，科学技术在不断进步，21世纪涌现出了一大批新兴科学与技术，使人类社会和人们的生活发生了翻天覆地的变化。智能技术、多媒体技术已成为信息时代的主导技术，计算机视觉、视频图像处理等领域已成为研究领域中的前沿和热点。计算机视觉（Computer Vision）是一门综合性的交叉学科，由计算机通过对采集

19、的图像或视频序列进行处理和分析，提取需要的信息，从而代替人来实现某种功能，该学科融合了计算机科学、应用数学、几何图形学、图像处理、视频处理、模式识别等学科的知识。计算机视觉研究的最终目标是让计算机通过输入设备来获取外界信息，代替人为操作自主地进行思考并作出反应。当然，在离这个最终目标的实现还有一定距离的今天，人们努力的目标是建立一种在由人为规定的一些约束条件下，实现某些简单功能的准智能机器视觉系统，能够部分代替人们的工作。然而，自从1946年约翰.冯.诺依曼（John Von Neumann）博士发明了程序储存体系结构的电子计算机以来，随着微电子技术的不断进步和因特网（Internet）这一全

20、球互联网的形成，当代计算机家族彻底地改变了人们的生活。因此，计算机视觉技术的未来，也会是出乎人们预料的。关于计算机视觉技术的研究1-3，起溯于20世纪70年代后期，因为随着计算机硬件技术的发展，使计算机能够处理数据量很大的诸如图像这一类的信息。而今天，计算机视觉技术得到了越来越多的关注和长足的发展，智能视频监控（Intelligent Video Surveillance）系统就是计算机视觉技术主要的研究方向和重要的应用领域之一。近年来，智能视频监控系统已经广泛应用于人们生产生活的各个方面。在公共安全方面，银行、大型商场、地铁站点、城市街道等人流密集场所，核电站、高速铁路、民航机场等重要设施以

21、及2008年北京奥运会、2010年上海世博会等盛大活动，都安装配置了大量最先进的智能视频监控系统，来保证人们的生命财产安全、保护国家公共财产不受损失、维护会场公共秩序、提高突发事件反应能力及防止恐怖主义事件。在交通管理方面，各个十字路口的电子眼系统，能够监视车辆的闯红灯、违章行驶等行为，通过连续抓拍违章车辆3幅图像，给出其违章证据及车牌号码。在人们的生活中，家庭远程监控系统使人们在千里之外也能看到家里的情况，驾车疲劳检测系统降低了事故的发生率使人们的生命安全得到了保障，而视觉辅助驾驶系统可以实现简单的车辆导航功能。智能视频监控系统有效地解决了传统视频监控系统中存在的由人为因素带来的及时性差、效

22、率低的问题。智能视频监控系统是一种能自动地、智能地对摄像机或传感器采集的视频序列或图像进行分析和处理，实现监控场景中的目标检测和追踪的监控系统4-6。运动目标检测与跟踪是智能视频监控系统中的关键技术和主要研究方向，目的是实时检测视频序列帧中出现的运动物体，提取运动目标，获得目标参数，确定目标位置，对运动目标进行匹配和跟踪，进而获得目标的运动轨迹，为下一步对目标的识别及行为的理解等提供必要的信息。一个运营级智能视频监控系统组成结构如图1.1。图1.1 运营级智能监控系统Fig 1.1 a running system of intelligent video surveillance1.2 国内

23、外研究现状及发展趋势1.2.1 国内外研究现状由于传统视频监控系统自身所固有的体积大、效率低、实时性差等缺陷，而且随着社会的发展，人们也迫切需要现代化技术来实现对场所或物体的监控。智能视频监控系统与传统监控系统相比优势突出，有极高的实用价值和经济价值。国内外众多高校、公司与研究机构都开展了广泛并深入的研究，取得了一定的成果7,8。美国和欧洲等国家，凭借自身技术和资金上的优势，从上世纪90年代起率先进行了智能视频监控系统方面的研究，主要包括：美国国防高级研究项目署DARPA（Defense Advanced Research Projects Agency）的视觉重大监控项目VSAM（Video

24、 Surveillance and Monitoring）项目9，由卡内基梅隆大学（Carnegic Mellon University）、麻省理工学院（Massachusetts Institute of Technology）等十几所高校与研究机构参与，主要研究了在战场及普通民用场景中，利用多传感器、通信网络等实现对区域的全方位全时段监控，包括自动视频理解、目标识别及跟踪、行为分析等关键技术；马里兰大学（University of Maryland）和美国国际商用机器公司（IBM）共同开发的实时监控系统W410，针对夜晚和光线较差的室外环境，能对场景中出现的人进行定位，通过建立外观模型实现

25、多人跟踪，并且能对图像中人的身体部分进行分割，可以检测出携带物体等行为并监控人们的活动；欧洲委员会IST（Information Society Technologies）资助的视频标注检索监控ADVISOR（Annotate Digital Video for Surveillance and Optimized Retrieval）项目11，能自动分析地铁站内场景，识别个人行为活动，对公共交通系统场所进行监控。当前，国际上一些权威期刊：模式分析和机器智能PAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）、

26、计算机视觉IJCV（International Journal of Computer Vision）、图像和视觉计算IVC（Image and Vision Computing）等为智能视频监控领域开辟了专栏。一些重要学术会议：计算机视觉和模式识别会议CVPR（IEEE Computer Society Confe- rence on Computer Vision and Pattern Recognition）、视觉监控会议IWVS（IEEE Interna- tional Workshop on Visual Surveillance）、国际计算机视觉会议ICCV（Internatio

27、nal Confe- rence on Computer Vision）等将智能视频监控及其关键技术作为会议的主题之一，促进了该研究领域的交流与发展。国内在智能视频监控领域也开展大量的研究：中科院自动化研究所模式识别国家重点实验室在人运动的视觉分析、交通场景视觉监控和智能轮椅视觉导航等领域取得众多成果，其中人的运动与行为视频分析项目于2008年通过验收，目前已在北京地铁线路中投入使用；清华大学研发出在户外复杂环境下对人自动检测和识别的智能监控系统；上海交通大学图像处理与模式识别研究所实现了智能报警系统中的图像分割与标记；北京交通大学研发出视频监控的生物特征识别系统，能够对场景中的不同生物进行标

28、记并识别；华南理工大学研制出车载驾驶员疲劳检测系统，能够自动检测出驾驶员疲劳程度并发出警报；中兴大学在移动视频监控领域取得了优异的成果，对进入侦测范围内的人和物体，通过分布式网络进行联动监控。图形图像学报、电子学报、计算机工程、自动化学报、控制与决策等都开辟了视频监控及图像处理方面的专栏。中科院自动化研究所、中国图形图像学会在国内举办了多次学术研讨会议，就智能视频监控领域开展了广泛深入的研究，对视频序列分析、目标识别与跟踪、监控系统构建、网络视频监控等技术进行了探讨。2011年12月，全国首个城域级视频监控网，被誉为城市智慧之眼的武汉城市视频监控系统正式运行，该系统由遍布全市的25万个摄像头组

29、成，由城域级通信专网承载，能放大200米远的车牌，具有自动监控跟踪，异常情况报告等功能。北京现代富博公司通用图像处理系统ImageSys，能实现图像变换、图像滤波、图像运算、参数测量与统计等功能12。实时跟踪测量系统RTTS能实现动物、昆虫、微生物等的行为解析，人体动作解析，机器人视觉反馈、自动跟踪等。贝尔信（BELL SENT）公司在智能视频监控系统的研制和开发中，处于国内的前列13，特别以高侦测条件下低误报率和智能识别目标驱动PTZ（Pan/Tilt/Zoom）高速球机技术为代表，在国内拥有较高的市场占有率，其中像某学校周界防范监控系统、某会场安全防护及计数管理系统、某核电站自动PTZ跟踪

30、系统、某银行视频联网监控系统等都以成功的交付使用，并获得了良好的运行效果，如图1.2所示。图1.2 智能视频监控系统效果图Fig1.2 the running frames of intelligent video surveillance1.2.2 发展趋势未来的视频监控系统将向智能化，实时化，小型化发展。智能化就是利用视频分析方法和计算机视觉技术对视频序列进行分析，提取信息，发现感兴趣事件。各种运动目标检测与跟踪算法是视频监控系统实现智能化的关键，目前一个良好的算法应该具有以下特点：（1）准确性，是指算法能检测出视频图像序列中运动物体的准确程度，能够对单一目标、多个目标提取出目标轮廓，在复

31、杂背景环境、背景中存在大量干扰时，也能准确检测出运动目标。（2）实时性，是指算法处理图像数据，到获得结果所需要的时间度量，在系统要求的准确度下，处理时间应尽可能的短，如果一种高精度复杂算法耗时太长，几秒才能处理1帧图像，也是不能接受的。（3）鲁棒性，是指算法在受到外界干扰时，能继续执行原先功能的稳定能力，如在有新目标进入画面，画面中目标发生重叠等情况下，算法能继续进行目标跟踪而不发生丢失。因此如何开发一种精确度高，耗时短，高鲁棒性的运动目标检测与跟踪算法，是一直以来研究的热点。实时化，要求系统采集、显示图像的同时进行数据处理和数据分析，即分析一帧图像数据并给出结果的时间应尽可能短。由于视频和图

32、像数据自身数据量大，怎样在最短的时间内对大量的数据进行处理，可以从硬件和软件两个方面考虑，即对硬件设计进行优化或对代码进行优化。小型化，随着系统的规模越来越大，基于计算机的系统体积过于庞大，已经不适应这种发展，使用嵌入式系统是今后主要的发展方向。随着微电子技术的发展，嵌入式系统体积更小，功能更强。专用集成电路ASIC（Appli- cation Specific Integrated Circuit）方案是基于ASIC芯片来实现的，各种专用于视频图像采集和处理，具备强大功能的集成芯片，为在嵌入式系统中实现视频监控提供了条件。目前，在嵌入式平台上实现智能视频监控主要有以下3种：（1）基于ARM平

33、台，ARM（Advanced RISC Machine）处理器基于32位精简指令集RISC（Reduced Instruction Set Computer）构架，由于其指令执行速度快，代码效率高，支持高级语言编程等特点，被广泛使用在嵌入式系统设计中，ARM7、ARM9系列被广泛应用于联动控制、网络传输、操作系统中，目前已推出了ARM11系列，但ARM芯片以逻辑控制为主，处理视频或图像等大量数据方面不是其强项，因此用ARM平台实现系统处理速度有限。（2）基于DSP平台，DSP（Digital Signal Processor）处理器是一种专门为处理大量数据而设计的专用处理器，因为其强大的数据处

34、理能力和极快的运算速度，特别适合于各种数字信号处理，能快速实现各种数据处理算法。随着每秒48亿次运算速度DSP的出现，使实时处理动态图像成为可能。TI（Texas Instruments）公司的TMS320系列DSP，具有哈佛结构，以其硬件乘法器和流水线操作，能快速实现大量运算，在个人移动手持终端、多媒体产品、导航设备等产品市场中取得了非常成功的应用。但是，DSP处理器内部硬件线路是固定的，没有办法进行重构，特定型号的芯片只能运用在特定领域，不具有通用性。虽然处理数据方面有优越性，但系统控制方面能力略显不足。（3）基于FPGA平台，FPGA（Field Programmable Gate Ar

35、ray）不同于以上2种定制的ASIC,而是一种半定制的电路，既继承了ASIC大规模、高集成度的优点，又具有设计灵活等特点。可编程片上系统SOPC(System On a Programmable Chip)是基于大规模可编程器件FPGA芯片的单片系统，它把整个系统利用逻辑编程技术集成到一个硅片上，包括硬核、软核、存储器、I/O设备等。SOPC技术能在单个芯片上实现可裁减、可扩充、可升级的灵活逻辑功能，软件、硬件均可编程。SOPC系统采用了IP核复用技术，特别是IP软核技术，使得在一个系统中可以实现多处理器。用SOPC技术构建的DSP核能完全使用目前各种成熟的DSP算法，由于实质是执行并行处理指

36、令，因此实际上还可达到DSP芯片的处理速度。SOPC系统具有开发设计灵活、实时检测、可移植操作系统、高级语言编程等优点。基于FPGA的SOPC系统比ARM系统处理速度快，比DSP系统控制能力强，是未来智能视频监控系统开发的理想平台。1.3 主要研究内容及本文结构本文主要就基于视频的运动目标检测与跟跟系统进行了研究，限制在单摄像机静止背景下，研究了一个基于视频的运动目标检测与跟踪系统的主体结构以及工作流程，系统视频信号的制式以及各种图像数据结构，以及图像滤波、形态学处理、连通分量分析、灰度直方图等图像处理技术。研究了目前运动目标检测与跟踪的各种算法，对算法进行分析比较，提出了改进后运动检测和运动

37、跟踪算法，在VC+6.0平台采用OpenCV视觉库开发，实现了视频运动目标检测与跟踪系统。设计了基于SOPC的实时运动目标检测与跟踪系统，分析系统处理流程和工作机制，完成系统软硬件设计，最后对系统进行仿真和测试。本文的研究工作主要包括：（1）在分析研究了常用的帧差法、背景减除法、光流法等运动目标检测算法的基础上，结合系统的实时性要求，提出了一种累积差分更新的背景减除法，该算法采用累积差分更新法建立背景模型，相比基于高斯建模的算法实时性更好，经测试该算法能在存在干扰背景环境下，准确检测出运动目标。（2）分析了比较了连续自适应均值漂移CAMShift算法与Kalman滤波算法，在综合考虑跟踪精度和

38、计算复杂度的基础上，提出了一种改进后的Kalman滤波与目标直方图匹配相结合的运动目标跟踪算法，经测试该算法能对检测出的目标进行有效的跟踪。（3）在VC+6.0平台上，采用OpenCV计算机视觉开源库代码进行开发，实现了基于MFC（Microsoft Foundation Classes）对话框的视频运动目标检测与跟踪系统，该系统能采集由USB接口摄像头输入视频数据，实时检测出场景中的运动物体并进行跟踪。（4）设计出基于SOPC的实时运动目标检测与跟踪系统，使用Altera ED2多媒体开发板，Cyclone系列EP2C35F672C6 FPGA芯片，完成系统的主体结构设计，使用Verilog

39、HDL硬件描述语言设计系统各个模块，移植了C/OS-操作系统，完成系统初始化和处理算法程序，最后对系统进行了仿真与测试。本文共分六章，各章内容如下：第一章 绪论 介绍了研究背景及意义，国内外研究现状及发展趋势，本文主要研究内容和各章安排。第二章 系统结构与关键技术 给出了基于视频的运动目标检测与跟踪系统的功能模块图，介绍了系统所用到的视频信号制式、图像色彩模型和图像处理技术。第三章 运动目标检测算法研究 介绍了目前常用的运动目标检测算法，分析了各种算法的优缺点，提出了一种累积差分更新的背景减除法，给出了应用该算法的仿真结果。第四章 运动目标跟踪算法研究 介绍了CAMShift算法和Kalman

40、滤波算法，分析各自的优缺点，提出了一种改进后的Kalman滤波与目标直方图匹配相结合的跟踪算法，给出算法仿真结果。第五章 基于VC+的运动目标检测与跟踪系统 介绍了在VC+平台，利用OpenCV开源库代码开发，实现本文提出的检测与跟踪算法的系统。第六章 基于SOPC的运动目标检测与跟踪系统 介绍了SOPC开发平台，给出了系统的总体设计，各模块的设计，最后进行了仿真与测试。结论 对本文研究工作进行总结，对今后的研究方向进行展望。2 系统结构与关键技术智能视频监控系统是一种能自动地、智能地对摄像机或传感器采集的视频序列或图像进行分析和处理，实现监控场景中的目标检测和追踪的监控系统，有效地解决了传统

41、视频监控系统中存在的由人为因素带来的实时性差、效率低的问题。智能视频监控系统通过对监控场景中出现的物体信息进行处理，能够实时检测出运动物体，提取运动目标，获得目标参数，确定目标位置，对运动目标进行匹配和跟踪，进而获得目标的运动轨迹。2.1 系统结构智能视频监控系统实现了从摄像头采集视频数据，数据传送到工作站进行处理，监控终端监视器画面显示，监控画面存储，异常情况报告，远程数据传输等功能。本文研究的基于视频的运动目标检测与跟踪系统是智能视频监控系统的一部分，要求能实现视频数据采集、图像数据处理、实时结果显示等功能。系统的大体结构如图2.1所示。图2.1 系统结构Fig 2.1 the struc

42、ture of system按照系统功能要求和工作机制，本文基于视频的实时运动目标检测与跟踪系统结构分为以下5个部分：图像采集部分：采集由摄像头产生的视频信号，通过视频解码芯片将模拟电压信号转变为数字图像数据，将图像数据送入图像存储部分存储及目标检测部分进行处理。图像存储部分：将采集到的图像数据存入内存，以便显示是调用，同时还负责后续检测与跟踪部分数据的存储。目标检测部分：对图像采集部分送来的数据进行处理，首先进行预处理包括，彩色图像到灰度图像变换、图像滤波，然后进行运动目标检测包括，背景模型建立及更新、运动目标提取，再对检测得到的二值图像还要进行形态学处理、连通分量分析。目标跟踪部分：对检测

43、出的运动目标，计算目标参数，根据得到的目标参数，通过跟踪算法，对下一帧中目标参数进行预测，得到下一帧实际参数后，结合匹配规则，进行目标匹配，并对预测作出修正，实现对目标的跟踪。图像显示部分：将检测与跟踪部分及存储部分的原始数据结合后，通过视频编码芯片将数字图像数据转变为模拟电压信号，在显示器上显示结果。2.2 图像处理技术2.2.1 图像获取图像是由场景中的物体反射、透射或吸收照射源的能量而产生的，照射源可以是可见光、雷达波、红外线、X射线等，而物体可以是苹果、笔、物质分子、甚至光源14。人类通过眼睛来获取图像，而机器的眼睛则是传感器。传感器中的敏感材料在一定的电源输入功率下，将表面接受到的能

44、量转变为输出电压，连续的电压波形就是原始的图像数据了。这些原始数据进行一些加工处理，成为规定的格式标准后，才能显示出来。目前，图像传感器主要有CCD、CMOS两种类型。CCD（Charge-coupled Device）电荷耦合器件，1969年由美国Bell试验室的Willard S. Boyle和George E. Smith发明，两位科学家也因发明了电荷耦合器件图像传感器CCD而获得2009年诺贝尔物理学奖。CMOS（Complementary Metal Oxide Semiconductor）互补金属氧化物半导体，一种电压控制的逻辑运算放大器件，也被应用于制造影像器材的感光元件。其中前

45、者发展时间比较长，应用较广泛，而我们常见的摄像头则多用价格相对低廉的CMOS作为传感器。在摄像机、数码相机、摄像头中主要使用传感器阵列，将具有敏感特性的元件封装成MM单元的稳定阵列。传感器及传感器阵列如图2.2所示。(a) 单个传感器 (b) 传感器阵列图2.2 传感器及传感器阵列Fig 2.2 a sensor and a array of sensors数字图像是将连续模拟图像信号进行采样和量化后的结果，可以用一个矩阵来表示，如下： （2.1）就表示了一幅M行N列的数字图像，矩阵中每个元素称为一个像素。数字图像有彩色图像、灰度图像、二值图像等形式，若一幅图像每个像素有级不同的颜色，该图像称

46、为k比特图像。2.2.2 视频信号制式及图像色彩模型（1）NTSC、PLA制式NTSC（National Television System Committee）是美国、日本、加拿大等国家采用的电视信号制式15,16，PAL（Phase Alternating Line）制式主要被西欧、中国、澳大利亚等国家采用17-19。PAL制式扫描奇数场在前，偶数场在后，8MHz传输带宽。PAL制式传输一个亮度信号和两个色度信号，其中一个色度信号进行逐行交替相位调制，另一个色度信号进行正交平衡调制。PAL制式有ITU-R BT.656和ITU-R BT.601两种国际标准。ITU-R BT.601标准，采

47、用21芯接口，16位并行数据传输，Y、U、V信号同时传输，行场同步信号单独输出。ITU-R BT.656标准，采用9芯接口，8位串行数据传输，先传Y信号再传U、V信号，行场同步信号嵌入数据流中。BT.656是BT.601附件A中的数字接口标准，简单地说就是定义了一种数据传输接口而已。BT.601是演播室数字编码参数标准，BT.656是该标准下用于数字视频设备之间的传输接口标准。在BT.601数字视频编码格式中，亮度信号采样频率为13.5MHz，色度信号采样频率为6.75MHz，这样得到的采样数据就是YCbCr4:2:2格式，每个采样点进行8比特量化，则输出比特流为13.5MHz8+6.75MH

48、z82=216Mb/s。本文中输入的视频信号就是ITU-R BT.656标准的YCbCr 4:4:2格式。（2）RGB、CMY、YUV色彩模型色彩模型是用来描述色彩空间的集合，就像笛卡尔坐标系是用来描述欧几里德几何空间的集合一样。常见的色彩模型有RGB模型、CMY模型、YUV模型。RGB模型是计算机显示器，电视机，LCD显示屏等使用的色彩模型，凡是要靠自身发光来显示图像的都采用这一模型。CMY模型是彩色打印机、复印机等使用的色彩模型，凡是靠其它光源照射来显示图像的都基于此模型。YUV模型是现代电视信号制式的彩色图像格式，也是缺省情况下的图像和视频压缩编码标准。RGB色彩模型来源于自然界中的三原

49、色，Red、Green、Blue原色光谱分量按一定比列混合，就能够得到RGB模型中的任意一种颜色，该模型基于笛卡尔坐标系，颜色空间是一立方体，红绿蓝分别位于坐标轴上3个顶点，黑色位于原点，白色位于原点的对角，将颜色值归一化后，所有的颜色值都在立方体表面或内部，灰度等级沿黑白两点间的连线分布。RGB模型颜色空间如图2.3所示： （a）空间坐标系 （b）颜色空间图2.3 RGB颜色空间Fig 2.3 RGB color space在RGB彩色模型中，一幅图像每个像素分别由R、G、B分量组成，若每一分量用8比特表示，即每一分量可有种颜色，3种分量可有种颜色，此类图像称为全彩色图像。将图像送入显示器进

50、行显示时，3幅图像在显示屏上产生一幅合成的彩色图像。使用RGB三原色表示的图像被称为位图（bitmap），在Windows系统中后缀BMP，但对于全彩色图像来说，一幅640480像素的图像大小为6404803=921600字节，需大量存储空间，因此Windows中使用了一种基于颜色表LUT（Look Up Table）的调色板技术，减少了存放图像需要的存储空间。BMP格式没有灰度图像的概念，若图像每个像素R=G=B=，该图像就是灰度图像，RGB模型彩色图像转变为灰度图像的公式如下： （2.2）CMY色彩模型与RGB模型相似，但采用的三基色青、深红、黄是颜料原色，与RGB中三原色相加产生色彩不同

51、，CMY模型是基于相减色原理的，例如青色吸收白光中的红色，深红吸收白光中的绿色，黄吸收白光中的蓝色。等量的青、深红、黄混合产生黑色（吸收产生），但颜料混合产生的黑色不纯，因此在彩色打印机中加入了第4种油墨黑色油墨，彩色打印机中使用的实际是CMYK色彩模型。RGB模型到CMY模型的转换如下： （2.3）YUV色彩模型是电视视频制式中的颜色模型，与RGB模型不同，YUV模型中颜色由一个亮度信号Y、两个色度信号U、V表示。由摄像机传感器得到的彩色图像信号经分色、放大及校正后，是RGB数据，再经过矩阵变换电路得到Y、U（B-Y）、V（R-Y）信号，将信号编码后用同一信道发送，在接收端解码后将3个信号组

52、合就恢复了一个彩色图像。YUV模型亮度信号与色度信号是分离的，只有Y信号时显示的就是灰度图像。YUV模型与RGB模型转换如下： （2.4）YCbCr是作为ITU-R BT.601建议的一部分，实质上是YUV的压缩偏移版本20，Y是亮度信号，Cb是蓝色色度信号，Cr是红色色度信号。YCbCr色彩模型中亮度Y可以由R、G、B加权求和表示，色度可由不同颜色的差别表示，如下：；， （2.5）其中，kr、kg、kb是加权因子，一个彩色图像的完整描述应由Y、Cb、Cr、Cg来表示，但因为，而且Cg分量可以从YCbCr数据中解压得到，因此不需要存储和传输Cg分量。在BT.601中规定kb=0.114、kr=

53、0.299，那么YCbCr模型与RGB模型之间转换公式如下： （2.6）YCbCr有多种采样格式，YCbCr4:2:0是便携式视频设备（MEPG-4）及电视会议（H.263）常用格式，YCbCr4:2:2是DVD、数字电视等消费类视频设备格式，YCbCr4:4:4则用于演播室及专业视频产品。本文中输入信号为YCbCr4:2:2格式，每个色度信道的采样率是亮度信道的一半，对于8比特图像，相邻4个像素需要8字节内存空间。采样输出码流及解码还原像素如下：相邻4个像素：Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3采样输出码流：Y0 U0 Y1 V1 Y2 U2 Y3 V3解码

54、还原像素：Y0 U0 V1 Y1 U0 V1 Y2 U2 V3 Y3 U2 V32.2.3 图像滤波通过摄像机或摄像头获取的图像都带有部分噪声，图像的原始数据由传感器采集，传感器易受到外界光照、温度等环境条件和自身质量的影响，图像在传输过程中会受到传输线路或信道的干扰，这些都是图像中产生噪声的因素。为了更准确地对图像数据进行处理，减小噪声对处理结果的影响，首先要去除图像中的噪声。图像滤波是去除图像噪声的主要方法21-23，滤波的概念源于信号频率处理的傅里叶（Fourier）变换，目前图像滤波分为空间域、频域、小波域，图像中的噪声主要有高斯噪声、脉冲噪声等，高斯噪声由物理器件的特性和电子系统的干

55、扰产生，而脉冲噪声是因为信号受外界条件干扰在某点发生的剧烈突变形成。本文基于数字图像的特性，将获取的彩色图像变换为灰度图像后，对其进行空间域滤波。（1）均值滤波均值滤波是一种线性的空间平滑滤波器24，适合去除图像中的高斯噪声，其原理是若图像受到一随机高斯噪声的干扰，因前后多幅图像受噪声干扰的程度不同，则可通过对多幅图像求平均值来减小噪声的影响，若在一幅图像中，某像素点受到噪声干扰，因周围像素受干扰程度不同，则可通过求周围相邻像素的均值并赋给该像素来减小噪声的影响。均值滤波一般采用的滤波模板，模板采用从上到下、从左到右的顺序对像素数据进行处理，过程如下： （2.7）为原始像素灰度值，为滤波后结果

56、，是模板系数，一幅大小的图像由，依次处理完图像所有像素。均值滤波实际上是一个低通滤波器，用于减小由噪声引起的图像灰度级尖锐化和去除一些影响处理的不相干细节，但由于图像中物体轮廓处灰度变化也比较剧烈，因此均值滤波会导致图像模糊。滤波模板的大小会影响去除噪声和不相干细节的能力，也会导致不同的模糊程度，一般采用或的滤波模板。模板越大，相应的计算量越大，计算所耗时间越多，本文采用的滤波模板。若模板中各滤波系数不同，则可以得到加权均值滤波，模板中各滤波系数的大小决定了去噪能力和图像模糊程度，各种线性均值滤波模板如图2.4所示：（a）模板系数 （b）均值滤波模板 （c）加权均值模板图2.4 线性滤波模板F

57、ig 2.4 linear filtering template图2.4（b）为标准的均值滤波模板，若将模板中各系数改变可得图2.4（c）的加权均值模板，模板中心位置像素的系数最大，离中心位置距离越远的像素系数越小，系数和最好为可加快运算速度。本文采用图2.4（c）的滤波模板对灰度图像进行均值滤波，减小了图像中带有的高斯噪声，同时也去除了部分非目标物体的不相干细节，但均值滤波会使图像变得模糊，滤波仿真结果如图2.5所示，（a）为由彩色图像变换得到的灰度图像，（b）为加入，的高斯噪声后的图像，（c）为采用图2.4（c）所示的线性加权均值滤波模板滤波后的结果。 （a）灰度图像 （b）加入高斯噪声

58、（c）均值滤波结果图2.5 均值滤波结果Fig 2.5 the result of average value filtering（2）中值滤波中值滤波是一种非线性的统计排序滤波器，其原理是对一定图像区域内的像素值进行排序，由统计排序结果来确定该区域中心像素值25。假设一非负数值集合，将该集合按从小到大进行升序排序得到，则排序后集合中间位置的值（m为奇数）、或（m为偶数）就是原集合的中值，原集合中有一半数值小于或等于中值，一半大于或等于中值。对灰度图像进行中值滤波，就是依次对图像中各像素用中值滤波的计算结果值代替该像素的初始值，使该像素的值与其邻域像素的值更接近，以去掉那些与周围像素相差太大的

59、灰度值。一个的中值滤波过程如图2.6所示。图2.6 中值滤波过程Fig 2.6 the process of medium value如图2.6采用模板对图像某区域进行中值滤波，将中心像素及其周围邻域的8个像素的灰度值按升序排序，序列中第5个值就是中值滤波的结果，从图中可以看出经过滤波，一个灰度值为10的噪声被去除了，而第3列与第4列之间灰度值相差较大的特性（可能是物体边缘）被保留下来。中值滤波能有效地去除脉冲（椒盐）噪声，同时较好地保留了物体的边缘，因为中值滤波只对区域小于的孤立噪声点有效，对更大的区域影响减小。中值滤波比均值滤波更能有效地消除脉冲噪声，中值滤波和均值滤波去除脉冲噪声的过程如

60、图2.7所示。（a）信号中带有脉冲噪声 （b）中值滤波结果 （c）均值滤波结果图2.7 去除脉冲噪声示意图Fig 2.7 the schematic diagram of wiping off pulse noise从图中可以看出，中值滤波很好地去除了脉冲噪声，而均值滤波去噪效果不理想，还减小了信号间的区分度，在图像效果上就是使图像变模糊。中值滤波的仿真结果如图2.8所示，（a）为加入0.06系数椒盐噪声图像，（b）为采用模板进行中值滤波的结果，（c）为采用图2.4（c）的线性加权均值滤波模板滤波后的结果，可以看出（b）的结果优于（c），但由于排序算法相当耗时，故中值滤波所需时间一般为均值滤波

61、的3-5倍。 （a）加入脉冲噪声 （b）中值滤波结果 （c）均值滤波结果图2.8 中值滤波结果Fig 2.8 the result of medium value filtering2.2.4 形态学处理二值图像是只有两个灰度级的图像，即黑色灰度值为0，白色灰度值为1。灰度图像经阀值判决后得到的二值图像中，存在大量的孤立噪声点、连接间断和区域孔洞，为了去除上述干扰，更好地获得物体形状，需要对二值图像进行形态学处理26-30。数学形态学以集合论为基础，其基本思想是用具有一定形态的结构元素B去度量和提取二值图像集合A中对应的形状，优化图像中物体形状结构，去除不相干结构的干扰。二值图像的集合是二维整数空间的元素，集合的每个元素都是一个二维向量，表示该像素在图像中的坐标。形态学的4种基本运算是：膨胀、腐蚀、开运算和闭运算。膨胀运算通过将物体周围像素并入物体范围来扩充物体边界、连接间断物体以及填充物体内部孔洞等，对中的集合A和B，使用结构元素B对集合A进行膨胀定义如下： （2.8）其中为结构元素B的反射，即B相对于坐标原点的映像，为的平移，即集合平移向量，则A被B膨胀的定义是结构元素B相对于坐标原点的映像平移z向量后与集合A至少有一个元素重合。腐蚀运算通过消除物体边界像素来收缩物体边界、间断连通物体以及消除不相关细节等，对于中的集合A和B，使用结构元素B对集合A进行腐蚀定义如下：