视频监控系统的设计

《视频监控系统的设计》由会员分享，可在线阅读，更多相关《视频监控系统的设计（64页珍藏版）》请在装配图网上搜索。

1、视频监控系统的设计与实现摘 要随着计算机信息处理技术、视觉处理技术、多媒体技术的快速发展，计算机视频监控系统在国家安全方面所起到的重要作用越来越明显，受到了各界人士的广泛关注。而视频监控技术中运动目标检测技术是这个领域的重要研究方向，本论文通过对现有主流目标检测算法的研究，在总结和分析的基础上提出一种新的检测算法，能够实现背景有效更新，并应用于一个完整的智能视频监控系统中，使系统具备更好的检测效果。运动目标检测技术是计算机视频监控系统中首要的和关键的技术，它是以后计算机视觉技术和监控技术发展到更高级水平的前提。运动目标检测的目的是为了找到产生运动的区域，就是要实现在视频图像序列中提取真实监控场

2、景中的前景运动目标，并对检测出来的运动目标进行分割。本论文首先对目前主流的视频检测算法，如光流法、背景差分法、帧间差分法、熵检测法进行实验分析与研究，比较优势与不足、适用范围、存在的问题及处理办法。在掌握背景差分法和帧间差分法的原理的基础上，进行结合，提出了使用于摄像机固定的运动目标检测方法，能够有效的进行背景更新，更精确的提取出运动目标，并能减轻由于外界光照条件、背景扰动、噪音等干扰因素造成的影响。试验表明，该算法准确，有很好的检测效果。关键词：视频检测，监控，匹配准则，采样速率 IThe Design and Implementation of Video Surveillance Sys

3、tem AbstractWith the computer information processing, visual processing, the rapid development of multimedia technology, computer video surveillance system in terms of national security, more and more obvious the important role played by the public attention. The video monitoring technology in motio

4、n detection technology is an important research direction in this field, this paper through the existing main target detection algorithm, the summary and analysis based on the a new detection algorithm, can achieve effective update the background and applied to a complete intelligent video surveilla

5、nce system, the system has better detection.Moving target detection technology is the computer video surveillance system in the first and key technologies, it is the future of computer vision technology and monitoring technology to a more advanced level of development of the premise. The purpose of

6、moving target detection is to find areas in motion, is to achieve the real video image sequences to extract the prospect of monitoring moving objects in the scene, and the detected moving object segmentation. In this thesis, the current mainstream video detection algorithms, such as optical flow, ba

7、ckground subtraction method, frame difference method, entropy detection analysis and research experiments to compare the advantages and disadvantages, scope, problems and approaches. In the control background and frame difference method difference method based on the principle of conduct, proposed t

8、he use of video cameras fixed in the moving target detection methods, background can be effectively updated, more accurate extraction of the moving target, and to reduce as external light conditions, background disturbance, noise and other interference factors impact. Tests show that the algorithm a

9、ccurately, a very good test results. Keywords：Video Detection，Monitor，Matching criterion，Sample Rate目录目 录第一章 绪论11.1 研究背景和意义11.2计算机视频监控系统概述21.3计算机视频监控系统的研究意义21.4国内外研究现状31.5论文主要工作51.6论文安排5第二章 视频监控系统的相关理论与技术基础72.1 常用运动目标检测方法72.1.1 光流法92.1.2 相邻帧差法112.1.3 背景差分法132.1.4 其他方法152.1.5 算法比较162.2 颜色模型172.2.1 RG

10、B颜色模型172.2.1 HSV颜色模型182.2.3 YUV颜色模型202.3图像预处理212.3.1局部平均法232.3.2 中值滤波242.3.3数据格式的转换24第三章 视频监控系统总体设计方案263.1需求分析263.2 通用系统设计框架263.3 系统总体结构273.4 系统功能模块283.5 系统开发环境293.6 小结29第四章 视频监控系统功能模块的设计304.1 DirectShow视频采集304.1.1 常用视频采集方案304.1.2 DirectShow系统框架314.1.3 DirectShow视频采集流程324.2 图像预处理334.2.1中值滤波334.2.2灰度

11、变换364.2.3直方图均衡384.3 运动目标检测与识别394.3.1 运动目标检测-累积差分404.3.2 三帧差分的运动目标补偿414.3.3 背景差分与背景更新444.4.4 运动目标提取454.4 运动目标跟踪454.4.1 基于区域匹配的方法464.4.2 基于特征匹配的方法464.4.3 基于逼近函数的目标预测跟踪474.5 本章小结48第五章 系统功能模块的实现与测试495.1 DirectShow视频采集实现495.1.1 开发环境配置495.1.2 视频采集代码实现495.2 OpenCV库的配置505.3 系统功能与性能测试525.3.1 运动目标提取测试525.3.2

12、运动目标跟踪测试53第六章 总结与展望546.1 论文完成的工作546.2 论文的不足与进一步工作设想55参考文献56致谢59在校期间发表论文及研究成果60视频监控系统的设计与实现59第一章 绪论1.1 研究背景和意义 近年来，随着全球科学技术的飞速发展和信息时代的到来，计算机视觉技术得到科研领域的广泛关注与研究，并在许多领域中取得了显著的成功，具有广阔的发展前景，尤其在工业、农业、医学图像分析、智能机器人导航、视觉伺服系统、军事智能监控系统、航空航天监察系统辅助制造与设计等领域，由于计算机视觉技术的诞生与广泛应用，引发了相关行业的技术革命，受到了学术界、产业界的高度重视，取得了巨大的经济效益

13、与社会效益，具有很好的应用前景。计算机视觉技术的长足发展，同时使基于视频监控系统的计算机视觉技术成为这个领域一个重要的研究方向，也成为现在应用研究的重点和热点。在过去，由于受电子技术的制约，视频检测技术一直没有较大的发展；近年来大规模、超大规模集成电路的发展，功能强大的数字处理芯片的面世，数字图像处理、模式识别、人工智能领域研究的发展，使视频检测技术也取得了极大的进步，并在很多方面获得突破和应用。由于视频检测技术的发展与成熟，视频监控系统在各个行业领域中也得到了广泛的应用。传统的视频监控系统主要能够实现对过去发生事件的记录和存档，当发生异常时，监控人员只能通过对视频记录进行二次审查，才能获得事

14、件发生当时的情况与原因，不能及时有效的制止事件的发生和蔓延；而且，当监控人员长时间不间断监控视频图像时，会造成视觉的过度疲惫，造成“漏警”。因此，人们已不再满足于现状，信息化进程的大力推进和科技的发展，使人们有了更大的需求，对视频监控系统的智能化要求越来越突出，要求不仅用摄像机代替人眼进行监控，还要代替人脑进行智能思考，最完善的协助监控人员完成监控任务，避免犯罪的发生，优化人力资源分配，减少支出，大大提高视频监控的工作效率1。在这样的需求下，数字视频监控技术呼之欲出，应运而生。数字视频监控技术是指在没有人为干预的条件下，通过对摄像机视频图像的处理与分析，使摄像机自动检测场景中图像序列，并转换为

15、数字信号，在计算机内部进行信息处理，实现对动态场景中的运动目标进行定位、识别、跟踪，系统自动分析判断图像的行为，从而实现视频信息的自动监控，在完成日常正常管理的同时，对异常情况做出反应。目前，视频监控技术已经广泛应用于金融、交通道路、邮电、博物馆、电力、商业、军事、旅游、厂矿、公安、医疗、智能小区等重要领域的监控系统中，对国家各个部分的安全发挥着重要的作用。计算机视频监控系统是技术发展的必然趋势，不仅符合国家信息产业安全的未来发展趋势，也代表了监控行业的发展前景，蕴藏着巨大市场潜力和超凡的社会效益，引起了学术研究领域的极大重视。1.2计算机视频监控系统概述二十世纪九十年代初至今，视频监控系统经

16、历了三大阶段的发展历程。二十世纪九十年代初及以前，第一代视频监控系统模拟视频监控系统诞生23。主要是以模拟设备为主的闭路电视监控系统，摄像头采集到的图像信息通过视频电缆，以模拟信号传输，距离短，监控范围小，维护困难，功能简单，磁带存储，不易保存，仅能通过视频线传输图像，图像质量不高，时常模糊、抖动，无法联网，检索效率低，有很多的局限性。二十世纪九十年代中期，随着计算机数据处理能力的飞速提高、计算机视觉技术、视频信息处理技术、多媒体技术的发展，第二代视频监控系统以数字技术为核心的视频监控系统迅速发展。数字视频监控系统克服了传统模拟闭路电视监控系统的局限性，通过计算机的高速数据处理采集视频图像并处

17、理，将模拟的视频信号转换为数字信号，提高了图像质量，传输距离远，布线不重复，抗干扰能力强，多级随机检索，可永久保存录像，不受地域限制，进行网络监控，完善了视频监控系统的功能，更新更实用，计算机高速的数据处理能力得到了充分的发挥，视频监控技术被广泛应用于世界各个角落，监控区域不断扩大。二十一世纪以来，第三代视频监控系统多媒体网络视频监控系统产生。多媒体网络视频监控系统是在数字技术为核心的视频监控系统基础上发展起来的，加入了网络传输功能和智能因素，支持网络传输视频流，扩展了视频监控系统在空间上的功能，为使用者提供更多更高级的视频分析功能，极大提高视频监控系统的能力和效率，利用强大的数据图像处理技术

18、和视频采集技术应用于各个领域，发挥更大的作用。1.3计算机视频监控系统的研究意义二十多年，视频监控系统经历了模拟视频监控系统、数字化视频监控系统、多媒体网络视频监控系统的三大发展，使现在的计算机视频监控系统具有更多的优点和功能。例如：（1）24小时可靠监控，彻底改变完全依靠监控人员肉眼监控图像，分析安全隐患的瓶颈，计算机不间断的对采集到的视频图像进行智能分析与预警，避免由于人为因素造成的漏洞。（2）预警精确度高，利用计算机超强的数据图像处理功能和分析能力，有效对图像进行配比、分析、总结，降低漏报、错报等现象。（3）增强隐患发生后的响应效率，准确识别可疑情况，提前预警，在安全隐患出现时，及时提示

19、监控人员关注相关监控点和画面，理清思路，计划处理步骤，及时采取应对措施，能够更快、更准、更安全的解决隐患于小范围，防止危险的扩大。（4）视频图像资源用途扩展，一个时间段的视频图像数据可以充分实现数据安全备份的功能，还能发挥统计功能，例如商场、火车站、飞机场等客流量的统计分析等等。目前，视频监控系统已经广泛进入社会的方方面面和生活的每个角落，例如：（1）银行金融安全监控，银行业由于其行业特性，需要安全度高，使得视频监控成为重中之重，不仅可以保证柜台交易的顺畅、不出纠纷，还能保证ATM取款机的正常使用，通过视频及时掌控信息，防患于未然。（2）交通要道、火车站、飞机场、轮渡、停车场、加油站等重要公共

20、场所及基础设施场所的交通、治安安全监控，对于交通要道等事故多发地段，应充分利用视频监控实时监测信息，控制交通流量、缓解交通局势、维护交通秩序。监控记录重要公共场所的人员聚集和流动的趋势，及时调整疏散。对于隐含重大险情发生的场所，如遇险情发生，能够尽快发现，防患于未然。（3）工业、农业、服务业、科技领域监控，在这些领域中，经常会遇到工作环境恶劣、时间跨度长等不利于人工工作的情况，为了保证工作的顺利进行，就需要视频监控，大大提高了监控的精度，促进了工作成果的完成。（4）酒店、饭店、商场、游乐场等流动人口繁杂场合的保安监控，对于流动人口繁杂，不便于工作人员现场维护的场所，为了保证顾客和游客的人身和财

21、产安全，经营者都会在各个角落安装监控系统以加强安全管理，一旦发现可疑情况产生，可立即采取措施，在不惊动其他人的情况下，解决突发事件。（5）政府机构、公司、大厦、居民小区等安全监控，高科技智能化办公大厦和生活小区离不开完备的智能监控系统，这是保证重要机构部门信息安全和居民生活人身安全的必备设施。通过视频监控系统在各个领域的应用，我们可以看到，研究一种能够24小时全天候高实时性、高可靠性监控的视频监控系统具有多么积极深远的前景和意义，并显示出巨大的市场价值和潜能。1.4国内外研究现状计算机视频监控系统越来越多的受到国内外研究机构、学者、科研工作者的重视与研究应用，美国、欧洲和日本等国内外展开了大量

22、的研究工作45，并广泛应用于国家军事信息安全等各大重要领域。2001年轰动全球的美国“911事件”，西班牙马德里列车连环爆炸和英国伦敦地铁大爆炸等恐怖袭击后，视频监控系统的实时性和可靠性得到了全世界范围的重视，智能视频检测系统的需求高涨。英国整个国家安装摄像机420多万个，密度达到14人一个，也就是说，一个人外出一天可能会在300多个摄像机画面中留影(英国The Daily Mail)。国内，各大城市都在所有重点道路交通枢纽、人员众多的公共场所、城市重要区域及社会重要公共基础设施等区域安装视频监控系统并与警方监控互联。；例如：广州、北京、上海等。这些重大举措使智能视频监控系统的研究与应用进入了

23、一个更高的发展阶段。因此，对相关领域的智能视频监控系统的研究有着重要的现实意义。2006年11月7日IBM公司宣布已成功开发并全球销售一款安全软件，主要用于对视频监控系统中的数据进行智能分析，一旦检测到与监控环境相悖的安全隐患就会自动报警，引起监控人员的注意与排查。同时，还可以将视频摄像头采集到的信息通过整个计算机网络传递到服务器，最终实现远程监控功能。这款新产品被命名为“智能监控系统”（S3：Smart Surveillance System）,简称“S3”。1996年至1999年间，由美国国防高级研究计划局(DARPA)资助，卡内基梅隆大学（CMU）、麻省理工学院(MIT)、戴维SARNO

24、FF研究中心等几家著名大学、研究机构共同参与，由美国国防高级研究项目署设立的视频监控系统重大项目VSAM(Visual Surveillance and Monitoring)研制成功。VSAM(Visual Surveillance and Monitoring)的目标是为了应对未来城市和战场监控应用开发的一种自动视频理解技术，用于实现未来战争中人力监控费用昂贵、非常危险或者人力无法实现等场合下的监控6。英国的雷丁大学(University of Reading)的VIEMS项目组已开展了对车辆和行人的跟踪及其交互作用识别的相关研究。可用于视频监控系统中的危险识别，例如：停车场的盗车识别，地

25、铁和机场的恐怖活动的识别和警报。Maryland大学的实时视觉监控系统不仅能够定位人和分割出入的身体部分，而且通过建立外观模型来实现多人的跟踪，可以检测和跟踪室外环境中的人并对他们之间简单的交互进行监控。2000年6月和2000年8月，计算机视觉领域中的权威期刊“国际计算机视觉期刊（IJCV, International Journal of Computer Vision）”和“IEEE模式分析和机器智能汇刊（PAMI, IEEE Transaction on Pattern Analysis and Machine Intelligence）”出版了关于视频监控技术的专刊。由Steve J

26、. Maybank和谭铁牛组织的IEEE视频监控专题讨论会（VS，IEEE International Workshop on Visual Surveillance）也成功举办三届。可见，视频监控技术已成为世界各国科技领域的重点。在视频监控系统技术引起国外科研工作者竞相追逐的同时，为了推动我国在科技前沿领域的发展，也积极投入到视频监控技术领域的研究与交流，在中国科学院自动化研究所、国家863计划计算机软硬件技术主题、国家自然科学基金委员会和中国自动化学会的支持合作下，中国科学院自动化研究所下属的模式识别国家重点实验室已成功举办了三届“全国智能视觉监控学术会议”。会议期间报告人和参加会议的科技

27、人员之间关于视频监控技术进行了十分有价值的讨论和科技信息的交流合作。目前为止，中国科学院自动化研究所下属的模式识别国家重点实验室所成立的视觉监控研究组在视频监控技术方面取得了积极的成果。他们针对目前国内交通管理和控制方面出现的资源浪费、效率低下等问题，对交通场景的视觉监控（基于三维线性模型定位、基于扩展卡尔曼滤波器的车辆跟踪算法）、人的运动视觉监控（基于步态的远距离身份识别）和行为模式识别（提出了对目标运动轨迹和行为特征的学习的模糊自组织神经学习算法）进行了更深层次的研究，取得了可喜的成果并应用于实际，研究组提出的三维模型的交通监控系统采取了基于三维线框模型的车辆定位算法和基于改进的扩展卡尔曼

28、滤波的车辆跟踪算法，最终实现了交通监控原型系统。除此之外，国内高校涉及到这个领域的研究与开发，如上海交通大学、北京航空航天大学、北京理工大学等89。1.5论文主要工作视频监控技术经历了三大发展阶段，正朝着智能化、信息化、网络化的方向发展，对运动目标检测与跟踪技术的研究，是计算机视觉技术和视频监控技术发展的基础和起点，直接关系到整个技术发展方向和拓展潜力，决定着视频监控系统未来的应用前景。本论文在对现有视频检测算法分析的基础上，结合背景差分法和帧间差分法的优势方面，提出一种改进的背景更新算法，并成功应用于一个视频监控系统。主要研究内容有以下几个方面：（1）本论文对现有的主流运动目标检测算法进行了

29、分析和研究，集中讨论比较了光流法、背景差分法、帧间差分法的主要原理、优势与不足、适用条件。（2）针对静态背景下背景差分法关于背景更新、易受光照条件、背景扰动、噪音等外界条件干扰的问题，对现有算法进行分析研究，提出了一种基于背景差分法和帧间差分法相结合的算法改进，使其能够增强系统对运动目标检测的效率，提高了目标检测的速度、准确性、实时性和鲁棒性。（3）计算机视频系统的设计与实现，系统能够实现基本监控功能，对采集的视频图像序列进行存储与分析，将改进的视频检测算法应用与系统，能够准确快速的检测出运动目标，使系统具有较好的应用性。1.6论文安排本论文主要内容是对视频监控系统中运动目标检测算法的研究与改

30、进，并设计实现一个完整的视频监控系统。全文共分五章，安排如下：第一章 绪论主要概括课题研究的背景及意义，对计算机视频监控系统的发展阶段、功能特点、应用领域、国内外研究现状及未来发展方向做了简单的介绍，以及本论文的研究内容和结构安排。第二章 视频监控系统的相关理论与技术基础对主流的运动目标检测算法进行了深入的研究与分析，并对论文中需要的重要理论和关键技术做了详细的介绍，为算法的改进和系统设计与实现奠定了技术支持和理论基础。第三章 视频监控系统总体设计方案对设计的视频监控系统进行需求分析、功能设计，并应用本论文改进的目标检测算法，设计并实现了一个完整的视频监控系统。第四章 视频监控系统功能模块的设

31、计与实现本章对视频监控系统中的视频采集、图像预处理、运动目标检测与识别和目标跟踪等关键功能模块进行了算法的设计与实现，并通过测试证明了算法的准确性、实用性、鲁棒性。第五章 总结与展望总结了本论文所做的研究工作以及对以后工作的展望第二章 视频监控系统的相关理论与技术基础随着计算机视觉技术的发展和视频监控技术的广泛需求，如何准确的识别动态图像，对图像序列进行精确的分析，来确定空间三维运动物体的位置、结构、运动趋势，或确定运动目标与摄像机的相对运动，这些问题具有很大的科研价值和市场前景，己成为当前科研人员的重点研究内容和方向。计算机视觉技术应用的首要条件是确定运动目标的位置，也就是必须要指导物体所在

32、的位置，确定运动目标边缘点和特定点相对于摄像机采集图像平面的位置信息。在计算机视觉技术和视频监控系统应用中，运动目标的检测与跟踪是基础方法和关键技术。所以对运动目标检测与跟踪技术的研究，是计算机视觉技术和视频监控技术发展的基础和起点，直接关系到整个技术发展方向和拓展潜力，决定着视频监控系统未来的应用前景。2.1 常用运动目标检测方法运动目标检测技术是计算机视频监控系统中首要的和关键的技术，它是以后计算机视觉技术和监控技术发展到更高级水平的前提，为以后复杂背景下运动物体识别跟踪和多运动目标识别等中高级视觉分析和应用提供技术支持。运动目标检测的目的是为了找到产生运动的区域，就是要实现在视频图像序列

33、中提取真实监控场景中的前景运动目标，并对检测出来的运动目标进行分割。运动目标检测是一种高新的基于计算机系统平台的应用型技术，不仅容易受到硬件设备能力上的影响，在检测应用过程中，还会受到很多复杂的外界环境因素的影响。虽然很多研究都在基本方法的基础上有所改进，但是远没有完全解决复杂环境中的目标检测问题，因为视频监控系统要适应各种环境，不能仅仅在无干扰环境下，更多的应用在室外嘈杂的环境中，随时都有可能发生引起监控背景的剧烈变化或细微变化。因此，需要背景的实时更新，以适应这些变化。通常引起背景变化的原因由以下几个方面：(1) 容易受到局部光照条件变化的影响光照条件的变化是最普遍和最基本的影响，由于白天

34、日照方位的变化，引起各种特点的光照变化，例如：连续的光照变化，常出现在室外环境中；突然的光照变化，通常出现在室内环境中的开关灯和室外晴天出现天气骤变（阴天、沙尘暴、暴风雨）等环境中；投影到背景中的阴影，这既可能是由于光照角度改变，物体自己产生的阴影投射到场景内部，如大厦、树木等，也可能是前景目标自身的阴影，导致运动目标在场景中产生阴影被误识别为前景目标。(2)容易受到背景环境中背景扰动的影响背景场景中常存在自然背景扰动现象，如狂风中树叶的左右摇摆，水面波光粼粼的闪光，雨雪天气中的路面反光，大厦窗户、车窗玻璃的反光，工地施工时造成的轻微震动，摄像机由于固定问题、自然问题引起的抖动等许多细微现象，

35、都会影响到视频检测的精度和准确性。(3)容易出现背景变化和遮挡问题对于处在自然环境中的目标检测系统，我们不能够保证进入场景中的运动目标是颜色单一的、形状易识别的、数量唯一的，还可能出现运动目标将场景中的某物带入或带出情况，或者是运动物体在场景中停顿一阵后又运动的情况，这些都无疑的给视频检测带来困难。遮挡问题也一直是难以解决的问题，很有可能在运动目标提取的时候，误将遮挡物当作运动物体的一部分提取出来，造成检测目标形状错误、变形，甚至检测失败。(4)前景目标在与背景相似的情况下，检测时不易分离，容易被检测为背景。由以上我们可以看出，这些因素都会大大加大视频检测中背景建模、背景更新和运动目标检测的难

36、度，影响检测的效果和精度。因才，在这些方面的改进和研究，是计算机视觉领域的一个研究难题，是未来这个领域发展的方向，是科研人员一直探讨的话题。目前，国内外提出的运动检测方法很多，根据应用的方向和领域，每种方法都有其优点和弊端，根据国内外的研究现状看，比较主流的运动检测方法有光流法、背景差分法和帧间差分法。光流法是利用位移矢量场（即光流场）的变化来进行运动目标检测的。能够得到丰富的运动数据信息，反映图像上每一点灰度的变化趋势，给图像中的每一个像素点赋予一个速度矢量，形成一个光流场，实现对真实运动目标的识别。目前基于光流的计算方法主要有微分法、能量法、块匹配法、相位法和小波法等。光流法能够在摄像机运

37、动的条件下，检测出独立的运动目标，但是这种方法算法相当复杂，计算量大，易受噪声影响，抗噪声性能差，必须有高性能的特殊硬件支持才能实现实时监测，不适用于有较高实时性要求的应用。目前光流法已在航天、航海、医学、交通等领域得到了初步的应用1112。背景差分法首先构造一个背景模型来替代真实的背景场景，通过将视频帧与背景模型进行比较，识别出运动目标与背景之间的差别来实现运动目标的识别。背景差分法适用于静态或准静态背景下面积不大的运动目标检测，实现简单、计算量小、对嗓声敏感度低，能够很容易从视频图像序列中分割出运动目标，如果在背景已知的前提下，能够实现最完整的特征点数据的提取，并完整的检测出运动目标，所以

38、背景差法得到了广泛的使用。背景建模是背景差分法的中心步骤，目前已有的背景构造算法包括:基于背景的时间差分法，基于混合高斯模型的方法、基于熵的方法、中值滤波法、W4方法、基于偏微分方程的方法、线性预测法、非参数模型法（内核密度估计法）、混合Gauss法、基于像素灰度归类的方法、隐马尔科夫模型（HMM）、本征法、基于均值替换的背景估计法、码本方法等等。但是，背景差分法的关键是如何自动获得场景的静态背景模型，而在自然场景中，背景往往受到自然因素等较多的干扰，不是固定不变的，它会随着光线变化、运动、抖动、背景物体的变化等动态变化，所以实现背景模型的适应性变化的解决还需要研究人员不懈的努力。帧间差分法是

39、最早被提出，也是最简单的运动检测方法，它是模式识别传统算法中RL算法的一部分，俗称Q学习。帧间差分法即图像序列差分法，主要原理是利用两帧或三帧图像序列中亮度差的绝对值来实现运动目标的定位检测，如果亮度差的绝对值小于一定的阈值，则可以判断没有运动目标进入，反之，如果亮度差大于一定的阈值，就可以判断在像素点对应位置有运动目标的存在，并提取该运动目标。帧间差分法对动态变化环境中的运动目标检测有较强的自适应性，算法简单易用，虽然不能保证完全提取所有相关的特征像素点，但还是在最大程度上保持了检测结果的完整性，对于运动目标运动时引起图像发生明显变化的像素容易检测，甚至对于微小物体的运动也能进行检侧，但对于

40、像素变化不明显的像素点检测有所困难。因此帧间差分法更多的适用于背景变化不大，干扰较小的条件下。从以上讨论的基本方法中我们可以看出，不同的算法各有各的优势与不足，有的检测效率高，算法计算量小、运行简单，有的算法复杂高，抗干扰能力差。例如：帧间差分法和背景差分法法在应用与视频检测过程中各有利弊，综合起来分析，可以看出，帧间差分法更多的考虑到视频图像序列中时间上的相关性，却忽视了视频图像序列中空间上的相关性，造成不能完整检测到所有的像素点信息，并且易受外在因素的干扰；相反，背景差分法法虽然较好地考虑到视频图像序列空间上的相关性，却没有能考虑到视频图像序列时间上的相关性，使每次背景更新的数据过多的沉积

41、，造成信息冗余，影响了目标检测结果的精确性。因此，需要提出一种能够综合考虑视频图像序列时间上和空间上的相关性的检测方法，即是要充分利用视频图像序列的时空信息，提高运动检测结果的准确性，并保证检测结果的完整性。目前许多关于运动目标检测的研究开始综合多种检测方法进行研究，在避免各种方法不足的同时，最大化的对其中的优势进行融合，取他家之长，补己家之短，但是，这种融合面临着很大的挑战，算法结合后，一个问题的解决可能是以部分优势的牺牲为代价的，因此仍具有局限性，预计以后，会有更多的基于多种方法相融合的运动目标检测算法的提出。2.1.1 光流法光流法是1980年由美国学者B.K.P.Hom和B.G.Sch

42、unch发表光流法的算法提出来的13。光流是空间物体被观测面上的像素点运动产生的瞬时速度场，包含了物体表面的结构和动态行为等重要信息。一般情况下，光流由相机运动，场景目标中运动或两者的共同运动产生。在计算机视觉中，光流是较高层视觉算法的一个重要输入，而这些算法执行着诸如目标分割、识别、跟踪、机器人导航以及形状信息恢复等极其重要的任务。很显然，对光流的研究成为计算机视觉及有关研究中领域的一个重要部分渊。光流法的基本原理：运动目标在空间中运动可以形成运动场，在图像序列中，大面积的运动会形成速度场，由于图像中相邻点的亮度是相似的，因此会形成矢量值在一定范围的速度矢量区域。从而，空间中的运动场就转换到

43、图像序列中的光流场，物体的运动往往是通过图像序列中不同图像灰度分布的不同体现的，光流场反映了图像上每一点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场，也是一种对真实运动场的近似估计。对光流场进行研究的算法有很多，从其约束方法分类可以分为全局光流法和局部光流法。全局指对整个的图像而言，局部指图像的部分。按算法的约束条件分为局部光流场和全局光流场。前者利用图像区域的局部特征进行光流计算，可以较准确的反映出运动边缘处的光流信息，但对噪声敏感，在灰度平坦区域方程无解。全局光流模型比局部光流模型更稳定，但它仅仅对整幅图像的光流场施加某种约束，得到图像中每一点处的光流值；它只

44、要求解出整幅图像移动的光流，相对区域运动的光流求解不出来，在有噪声、光流数据不准确、数据稀疏的实际环境中，全局光流场运动参数需要继续进一步研究。现在，大多数的学者已经转向局部光流场的研究。下面探讨约束方程的求解：在空间中，运动可以用运动场描述。而在一个图像平面上，物体的运动往往是通过图像序列中不同图像灰度分布的不同体现的。从而，空间中的运动场转移到图像上就表示为光流场，光流场反映了图像上每一点灰度的变化趋势。光流可以看作带有灰度的像素点在图像平运动产生的瞬时速度场。假设，为点在时刻t的灰度（照度）。设时刻该点运动到，饱的照度为。由于对应同一个点，所以得到光流约束方程为： (2-1)将上式右边做

45、泰勒展开，并令，则得到： (2-2)其中： 上面的，的计算都很简单，用离散的差分代替导数就可以了。光流法的主要任务就是通过求解光流约束方程求出u，v，。但是由于只有一个方程，所以这是个病态问题。所以人们提出了各种其他的约束方程以联立求解。由于我们用于摄像机固定的这一特定情况，所以问题可以大大简化。在摄像机固定的情形下，运动物体的检测其实就是分离前景和背景的问题。我们知道对于背景，理想情况下，其光流应当为0，只有前景才有光流。所以我们并不要求通过求解光流约束方程求出u，v。只要求出亮度梯度方向的速率就可以了，即求出。而由光流约束方程可以很容易求到梯度方向的光流速率： (2-3)这样我们设定一个阈

46、值T，V(x，y)T则(x，y）是前景，反之是背景。基于光流法的运动目标检测采用了运动目标随时间变化的光流特性，由于光流不仅包含了被观察物体的运动信息，还携带了有关物体运动和景物二维结构的丰富信息，所以该方法不仅可用于运动目标的检测，甚至可以用于运动目标的摄像头运动存在的前提下也能检测出独立的运动目标。然而，在实际应用中，由于遮挡性，多光源，透明性和噪声等原因，使得光流场基本方程的灰度守恒假设条件达不到满足，不能解出正确的光流场，同时大多数的光流计算方法相当复杂，计算量巨大，不能满足实时的需求，因此，一般不被精度和实时性要求比较高的监控系统所采用14。2.1.2 相邻帧差法在一个运动图像的序列

47、中，相邻的帧之间有较强的相关性，因此可以根据这种相关性获得运动目标的位置信息，相邻帧差法就是基于这种思想提出的。该算法对光线等外部环境的影响不敏感，因此比较适合于一些背景动态变化的环境，具有简单，准确，快速的优点。但其缺点也很明显：首先，该算法的检测效果受运动目标运动速度的影响较大，对那些静态或运动速度较慢的目标物的检测效果不理想，或者完全检测不出来。而对于那些高速运动的物体，检测出的结果往往比真实目标物要大；其次，如果物体内部的灰度比较均匀，相邻帧差可能在目标重叠部分形成较大空洞，严重时造成分割结果不连通，不利于进一步的物体分析与识别。 在实际的应用中，帧间差分法经常作为其他一些复杂算法的基

48、础，并结合多种检测识别算法得到较好的检测效果。一种改进的算法即是使用多帧差分来代替两帧差分，在文献中即采用了一种自适应的背景差分和三帧差分相结合的方法，可以快速的将运动目标物从背景中分离出来，且能够取得较好的检测效果。相邻帧差法的基本原理就是利用视频序列中连续的两帧或几帧图像的差异来进行目标检测和提取。其原理如图2.1所示。二值化形态学滤波连通性分析判别延迟fkDkfk-1图2.1帧差法基本流程图首先，将捕获的视频数据做灰度化处理，然后对第k帧和第k-1帧图像逐行扫描，计算相应像素点灰度绝对差并记录在中，如公式(2-4)所示。之后对差分图像进行二值化处理，方法为对进行逐行扫描，若对应像素点的值

49、大于某一给定的阈值，则将该像素点的值置为1，否则，若小于该阈值，则置为0。如公式(2-5)所示。经过这样的步骤后，中的值仅包含0和1，则认为那些为1的像素是前景像素，值为0的像素认为是背景像素15。 (2-4) (2-5)其中，T为阈值。差分图像中为0的像素，对应两图像没发生运动的部分，为1的像素对应两图像发生运动的部分。帧差法算法对光线等外部环境的影响不敏感，因此比较适合于一些背景动态变化的环境，具有简单，准确，快速的优点，稳定性好，但是该算法对运动目标的运动速度有较大的依赖性，且在一定程度上受帧速的影响。因此可以考虑对不同运动速度的目标选择不同的帧间隔，若目标物的运动速度较快，应选择较小的

50、帧间隔，否则可能会丢失较多的目标运动信息；若目标物速度较慢，则可适当增加视频采集的帧间隔，一方面能够使得所选择的相邻两帧之间目标物的距离较远，利于进一步的分离，另一方面，可以在一定程度上减少算法的计算量，提高检测效率。若时间间隔的选择不当，由于速度的影响，检测出的图像可能有较大的重影或产生空洞现象，从而导致不能获得运动物体的精确的轮廓。在帧差法中，对阈值的选择至关重要，直接关系到检测分割的效果，决定了对目标运动的灵敏度。但由于在实际的环境中，受天气，光线，干扰信号等的影响，背景是经常变化的，因此固定的阈值往往不能适应环境、光线等的变化，为了解决该问题，出现了一些改进的方法。如在判定条件中加入对

51、整体光照敏感的添加项，判定条件如式（2-6）：(2-6)其中，l为抑制系数(参考值取2)，N为检测区域A内像素点的数目。添加项表示了光线的整体变化。当光线变化大时，该添加项增大，相当于判断阈值增大，有效抑制了光照变化带来的影响。当判别式(2-6)成立时，图像像素点（x，y）为前景点（标记为1），否则为背景点（标记为0）。为了对运动物体进行精确的检测和识别，通常需要对得到的二值化图像做形态学方面的处理。数学形态学是一种应用于图像处理和模式识别领域的新方法，其基于严密的数学理论基础，可以对二值图像进行边界扫描、腐蚀、膨胀、细化和修剪等操作，从而使图像更易于识别。受各种因素的影响，由帧差法检测得到的

52、运动目标图像可能并不准确，一方面由于脉冲噪声的干扰会出现伪目标，另一方面由于背景和目标物的灰度差别小，有可能把一部分背景误认为是目标点，或把目标物的像素点误认为是背景点，导致目标过大或出现内部孔洞。这些可以通过形态学进行处理，利用形态学开运算可以去除噪声，闭运算可以将目标内部孔洞填充同时连接不完整的轮廓边缘。这样在不明显改变面积的情况下，起到了去噪、平滑目标边界、填充目标内部孔洞的作用16。由于形态学滤波的处理只能够在一定程度上对孔洞起填充作用，滤波过后的二值图像内部仍然存在比较大的孔洞无法消除。通常采用连通性检测方法对目标内部可能会出现的较大孔洞进行处理，找出所有轮廓，然后将最外层的轮廓内部

53、全部填充完整，最后提取出运动目标。2.1.3 背景差分法背景差分法是将当前帧与背景帧图像进行比较，从中提取运动目标的信息，基本运算过程如图2.2所示：二值化形态学滤波连通性分析判别延迟fkDkbk图2.2 背景差分法原理由图所示，运动目标图像Dk通过将当前帧与背景图像做差分运算来获得，然后对Dk进行二值化及形态学方面的处理后，最终获得目标物位置信息，该过程可以通过公式(2-7)来描述。在该算法中，背景图像的获取是关键，直接影响算法性能。在实际应用中，通常很难获得完整的，不包含任何目标物的背景图像，因此通常需要建立背景模型以获取较为准确的背景图像，并需要采用一定的策略对背景进行实时更新。(2-7

54、)常见的背景更新的方法有基于统计学的背景模型、基于混合高斯的背景模型和基于Kalman滤波的背景模型18。(1) 基于统计学的背景模型理论上讲，图像中的背景可以认为是那些灰度值在较长一段时间内基本不变或变化较小的像素点组成的集合，因此，可以基于统计学的原理，统计图像序列中所有像素点的灰度变化情况，从而获得背景像素的集合，这样就可以定义背景更新的统计学模型(公式2-8)：(2-8)其中，为t时刻的背景图像，为背景更新函数，为图像序列中的第i帧图像，n为图像序列的长度。概算法适用于那些运动物体较少且连续运动的情况，这种情况下能够在较短的时间内获取较完整的背景图像，若运动目标较多且运动缓慢，则被遮挡

55、的背景较多，不能在较短的时间内获取背景的完整图像。(2) 基于混合高斯的背景模型Stauffer等人提出了一种基于混合高斯分布的背景更新模型，该模型的思想是将图像中的每一个像素点都看做是一个过程，如式2-9：(2-9)然后可以对每一个像素点建立一个由k个高斯分布组成的混合高斯模型（式2-10）：(2-10)其中，为第i个高斯分布在t时刻的权重，为该高斯分布的概率密度函数。当采集到新的像素点时，可以将其与已有的k个高斯分布相比较，从而获得最佳匹配，通过对高斯分布的分析可以得到背景图像的分布，不属于背景分布的像素点被认为是前景像素点。该算法能够很好的适应那些背景经常变化的场景，如光线变化，树枝摆动

56、等引起的环境变化。但其需要对图像中的每一个像素点建立k个高斯模型，计算量较大，且需要存储较多的参数，对硬件设备性能有较高要求。(3) 基于Kalman滤波的背景模型该背景模型的思想是将背景的灰度变化用一个动态系统来描述，在此基础上对每一个像素用Kalman滤波器来跟踪并更新，如公式2-11所示。(2-11)但该模型没有考虑到因光照等影响造成的环境变化，后来，Boninsegna等人对该算法进行了改进，引入了一个缓慢变化的随机变量来描述光照的变化，如式2-12：(2-12)其中，为符合高斯分布的白噪声，为当前捕获的图像，这样就可以通过kalman公式递推并得到背景的图像。2.1.4 其他方法除了

57、前面介绍的光流法、帧间差分法和背景差分法，目前的运动目标检测方法还有很多19。例如，基于统计学习的方法，由于这类方法对于噪声、阴影、光线等变化比较鲁棒，正越来越多地应用于运动目标检测的过程中。这类方法中，典型的有WEL.Grimson等人提出的利用跟踪得到的数据不断校正分布式传感器，重新构建场景模型，通过学习对典型的运动模式进行统计描述分类，检测运动因标。Ahmed Elgammal等人则提出的非参数背景模型的实时运动目标检测背景减方法。该方法能在复杂背景中通过两个步骤检测运动目标，第一步背景建模，提取前景，第二步解决了背景小运动(如树枝摇动)问题，利用颜色信息抑制了阴影。Henry Sehn

58、eiderman则采用统计模型实现人脸与小汽车的3维目标检测。在车辆检测时，采用了8个方向的检测器实现目标描述，之后再用统计模型判断目标是否是运动目标。还有一类是对传统方法进行改进：例如有人提出了基于时域差分图像边缘与灰度图像边缘之间的强相关性，融合二者的运动目标边缘的精确提取算法；有学者在研究减小光流场计算量的方法以使之能适用于实时场合：针对背景减法对运动场景变化敏感的缺陷，有人提出了动态背景更新的方法，以及在基于高斯模型的基础上提出了多高斯模型的统计背景减法，效果显著，这些研究对传统运动检测技术的进一步完善非常有益。再有一种趋势是研究新的运动检测方法：例如，考虑到传统运动检测技术完全忽视了

59、图像的颜色信息，有人提出了基于颜色的图像分割方法；有基于主动轮廓线模型的方法；有基于高阶统计的方法，具有从高斯信号背景下提取出非高斯信号的独特优点；基于小波的方法以及基于人工神经网络的方法等等。总结现有成功运动检测的经验，融合多种运动检测方法的综合判别方式能大大提高检测的准确性、鲁棒性和运动区域分割的精度。预计在未来一段时间内将会提出更多混合的运动目标检测方法。2.1.5 算法比较以上所介绍的目标提取算法有不同的优缺点，适合不同的应用场合。为了有一个统一的衡量标准，一般从下面四个方面对目标提取算法进行比较：算法复杂度、适应环境、可靠性及抗噪性能。算法复杂度：高、中、低适应环境：背景静止、背景运

60、动、静止和运动可靠性：高、中、低抗噪性能：好、一般、差帧间差分运动检测方法对光线等外部环境的影响不敏感，因此比较适合于一些背景动态变化的环境，具有简单，准确，快速的优点，对动态环境具有较强的自适应性。但其检测效果受运动目标运动速度的影响较大，一般不能获得完整的包含目标所有像素点的图像，而往往只能提取出运动幅度较大的边缘轮廓范围，而且对于那些运动速度较慢且灰度分布比较均匀的物体，获取的目标图像内部也容易产生空洞现象，为了进一步解决这些问题，可以采用形态学的处理方法，对初步获得的运动目标范围进行腐蚀、膨胀、形态滤波、区域连通等操作，也可以采用累积差分的方法，以获得更为精确的运动目标信息，改善运动检

61、测效果。背景差除法复杂度低、简单、适合实时系统的需要，但是易受环境变化的影响，需要对进行背景建模以获取较为完整的背景图像，因此，背景建模及更新机制的优劣直接影响算法性能。但是背景建模与更新算法一般都具有较高的算法复杂度，在实际应用中，这无疑增加了系统的开销和应用的难度。因此该算法较为适应于背景静止的应用环境。光流法是传统三大目标提取算法之一，环境适应性强，但是算法复杂、抗噪性能差。部署系统需要特定的硬件设备，才能达到实时的要求。能量分析法可靠稳健、复杂度相比前两种算法较为复杂，但比光流法简单，适应多种环境，抗噪性能一般。总之，以上目标提取算法各有优缺点，如表2.1所示。在实际应用中，由于环境的

62、多变性，抗噪性能差是各个算法的共有缺点，因此需要采用相应的滤波器来对图像进行平滑过滤，减少乃至避免噪声影响。另外，光照变化、阴影、背景抖动等因素是目标提取中不可避免的问题，需要采取相应的处理机制，如背景差除法利用背景重建更新、帧间差分法使用多帧累积、光流法采用参数控制、能量分析法使用直方图累积20。表2.1 常用算法性能比较算法算法复杂度适应环境适用目标可靠性抗噪性能鲁棒性准确度背景差分法低背景静止面积不大，单中一般较强较高帧间查分法一般静止和运动速度稍快，单低一般一般较低光流法高静止和运动单，多中差较弱较低2.2 颜色模型目前常用的颜色模型可分为两类，一类面向诸如彩色显示器或打印机之类的硬件

63、设备，另一类面向以彩色处理为目的的应用，如动画中的彩色图形。面向硬件设备的最常用彩色模型是RGB模型，而面向彩色处理的最常用的模型是HSV模型，其中H表示色调(Hue)，S表示饱和度(Saturation)，V表示亮度(Value)。2.2.1 RGB颜色模型RGB模型是CRT显示器和颜色光栅图形中一种常用的颜色模型，有红，绿，蓝三中基本色组成，图2.2是RGB的颜色模型图，该模型中的每一种颜色都用三维空间中的一个点表示，该三维空间基于笛卡尔坐标系。空间中的每一个点都有三个分量，分别代表该点颜色的红、绿、蓝亮度值，亮度值的取值范围为0，1。如图所示，在RGB模型立方体中，原点（0，0，0）所对应的颜色为黑色，它的三个分量值都为零。距离原点最远的顶点对应的颜色为白色，即坐标为（1，1，1）的点，它的三个分量值都为l。从黑到白的灰度值分布在这两个点的连线上，该线称为灰色线。立方体内其余各点对应不同的颜色。坐标轴上的三个顶点代表三基色-红、绿、蓝。剩下的三个角对应于三基色的三