基于视频图像的运动目标提取方法研究

《基于视频图像的运动目标提取方法研究》由会员分享，可在线阅读，更多相关《基于视频图像的运动目标提取方法研究（48页珍藏版）》请在装配图网上搜索。

1、本人声明我声明,本论文及其研究工作是由本人在导师指导下独立完成的,在完成论文时所利用的一切资料均已在参考文献中列出。马强签字：时间：20XX6月本论文受国家高技术研究发展计划863计划空基立体交通态势获取与处理新技术课题的支持项目编号： SQ2006AA11Z104840起止时间： 20XX11月20XX12月基于视频图像的运动目标提取方法研究学 生：马 强指导罗喜伶摘 要随着近年来全国各大城市交通拥挤程度的加剧,为克服传统路基交通监视设备监视围小、灵活性等固有缺点,对宽广围的路面交通状况进行覆盖监视,快速到达突发事故地点,实时获取事故现场信息,欧美一些发达国家在20世纪90年代就已经开始探索

2、一种可以代替或增强路面交通态势监视手段的新技术道路交通态势空中监测技术,其中需要对视频图像中的运动目标进行提取,将结果用于运动目标的跟踪以及交通态势分析,本文主要对基于视频图像的运动目标提取算法进行研究并实现,主要完成的容如下：1 静止背景的情况通常发生在摄像机相对静止状态,采用三帧间差分统计的方法进行分析并计算背景,在此基础之上利用恢复的背景及当前帧的信息检测运动目标,此方法可用于空基平台悬停的情况；对于动态背景的运动图像,由于背景是不断变化且呈现出复杂的特征,因此很难准确求出静止背景,本文在光流矢量场的基础上探讨研究了基于金字塔的光流计算方法,并利用形态学滤波,基于亮度和色度的分割,面积阈

3、值判断,从而检测出运动目标,并统计出运动目标的数量,此方法可用于空基平台飞行的情况。2 详细介绍了视频交通目标检测和识别软件的设计与实现。它利用1中基于改进光流法的运动目标提取算法实现对交通目标检测和识别的计算机处理,主要被设计用来统计交通路段上行驶的机动车的数量,并监测道路交通状况。关键词： 运动检测,三帧背景差分,金字塔光流,交通监测Study onMotive Object Extraction Based onVideo Frames Author：MA Qiang Tutor：LUO Xi-lingAbstractWith the recent traffic congestion

4、in major cities intensifying, it is important to overcome the traditional sub grade traffic monitoring equipment to the inherent shortcomings, cover a wide range of road traffic surveillance, arrive rapidly at the emergency location, and access real-time information to the scene of the accident. Som

5、e European and American developed in the 1990s had begun to explore a possible alternative to enhance road traffic situation surveillance by means of new technologies - road traffic situation in the air monitoring technology , which needs to video images of the moving object extraction , the results

6、 for the moving target tracking and analysis of the traffic situation, In this paper, motion detection based on video images algorithm is researched and achieved：1.Static background usually occurs in a relatively static camera, Differential three frames use statistical methods to analyze and calcula

7、te background. On this basis to resume use of the background and current frame of information, motive objects are detected;the image sequence withdynamic background, as background is constantly changing and have more and more complex features, it is difficult to accurately calculate the static backg

8、round. Based on the optical flow vector field ,this paper have researched the pyramidal implementation of optical flow calculation method, and by using morphological filtering, directly detect the motive objects, and the statistics of the motive objects. 2. Details on the software design and impleme

9、ntation which is the subsystem of the new technologies of Space-based three-dimensional traffic situation acquisition and processing.It uses image processing technology to achieve the objectives of traffic detection and identification of the computer processing, mainly designed for the traffic stati

10、stics on the section of moving vehicle numbers, the calculation of various traffic parameters, such as density, and to monitor road traffic conditions.Keywords： motion detection, three-frame-difference background subtraction, pyramidal implementation of optical flow, traffic monitoring目 录第1章 绪论11.1

11、引言11.2 课题来源和意义21.3 国外研究现状31.4 本文的研究容和论文安排51.4.1 研究容51.4.2 论文安排5第2章 基于三帧背景差分的运动目标提取方法72.1 基于帧间差的提取运动目标方法72.2 基于背景差的提取运动目标方法82.3 基于三帧背景差分的运动目标提取方法112.3.1 引言112.3.2 原理及算法流程112.4 算法实现15第3章 基于改进的光流法的运动目标提取方法193.1 光流法提取运动目标193.1.1 运动场和光流场193.1.2 光流的计算203.2 基于改进光流法的运动目标提取方法213.2.1 基本原理213.2.2 算法流程243.3 算法实

12、现28第4章 视频交通目标检测及识别系统的设计与实现304.1 系统概述304.2 系统设计原则304.3 系统总体设计324.3.1 软件需求概述324.3.2 系统功能结构324.3.3 系统环境324.4 系统的实现334.4.1 实现的准备334.4.2 软件实现34第5章 仿真结果及性能分析385.1 仿真结果分析385.2 性能比较分析40第6章 当前不足及前景展望416.1 当前不足及解决建议416.2 前景展望42结论43致44参考文献4543 / 48第1章 绪论1.1 引言长期以来,我国各大城市的交管部门对交通信息的采集仍停留在使用传感线圈、固定的摄像装置等路基采集设备阶段

13、,存在监视围狭小、灵活性低、无法应付突发事件、缺乏对宏观信息的掌控等困难,严重影响对交通的有效疏导。如果为了获取全面的交通信息而在所有潜在交通拥堵地点和奥运等重大活动周边都安装固定监视设备,不但成本昂贵,而且由于大型活动具有短期性,将造成资源的巨大浪费。随着近年来全国各大城市交通拥挤程度的加剧,如何克服传统路基交通监视设备监视围狭小、灵活性低等固有缺点,对宽广围的路面交通状况进行覆盖监视,快速到达突发事故地点,实时获取事故现场信息,及时采取有效措施疏散车辆,实现对特定交通对象的跟踪定位,都是交管部门十分关心的问题,也是各国科学家亟待解决的难题。欧美一些发达国家在20世纪90年代就已经开始探索一

14、种可以代替或增强路面交通态势监视手段的新技术道路交通态势空中监测技术。该技术的理念是利用空基平台特有的不受路面交通状况制约、可快速到达指定地点的特点,对重大活动、灾害事件、突发交通事件进行监视并提供各种应急信息服务,从而为全面、快速、准确的获取与处理交通态势奠定基础。雅典奥运会上采用无人飞艇对交通态势进行全天候监视以随时应对突发事件是该理念的一次成功应用如图1.1所示。图1.1 雅典奥运会上基于无人飞艇的交通状况监视系统1.2 课题来源和意义交通态势监视平台从路基到空基的转换,将会带来一系列的技术难题,如空基平台的姿态变换导致天线难对准、宽带无线通信困难；图像抖动导致的图像质量受到严重影响,需

15、要进行图像运动补偿与防抖动处理；观测目标小、易受外界因素影响等诸多因素导致可用的有效信息减少,交通目标提取分析困难等,因此,迫切需要开展空天一体立体交通态势获取与处理技术的研究。针对以上问题,航空航天大学民航数据通信与新航行系统重点实验室瞄准未来空地一体的立体交通态势获取与处理的发展趋势和我国立体交通信息获取与处理技术跨越式发展的急需,为解决大围、全天候条件下交通对象的识别、定位、跟踪等难题,构建我国快速、高效、综合性的交通信息服务体系奠定重要的技术基础,实现我国立体交通信息获取与处理技术的跨越式发展,申请国家科技863计划,开展对空基立体交通态势获取与处理新技术的研究。研究如下容：1空基立体

16、交通态势的获取与处理总体技术；2空基交通信息获取技术；3空地一体交通信息实时传输技术；4复杂条件下立体交通态势分析与处理技术。复杂条件下立体交通态势分析与处理技术的图像处理算法的整体流程如图1.2所示,在进行图像融合后,需要进行交通对象运动检测与跟踪,而检测交通对象的关键就在于提取出运动目标。本论文受863项目空基立体交通态势获取与处理新技术支持,主要对复杂条件下立体交通态势分析与处理技术的关键技术基于视频图像的运动目标提取算法进行研究并实现,为基于空基拍摄视频图像的交通对象检测与跟踪做准备。图1.2 图像处理算法的整体流程虽然目前国外对运动目标提取的基础理论和方法的研究已经相当深入,并取得了

17、令人瞩目的成果。但是,已有的运动目标提取算法大多受限于特定的应用背景,并且待于进一步研究和深化,因此,研究一种鲁棒性好、精确度高、性能稳定和适用性强的运动目标提取方法依然面临巨大挑战。1.3 国外研究现状运动目标提取是近年来计算机视觉领域中备受关注的前沿方向,尤其在美国、英国等国家已经开展了大量相关项目的研究。1997年美国国防高级研究项目署Defense Advanced Research Projects Agency设立了卡基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目VSAMVisual Surveillance and Monitoring,主要研究用于战场及普通民用场景进

18、行监控的自动视频理解技术。英国的雷丁大学已开展了对车辆和行人的跟踪及其交互作用识别的相关研究。在国,运动图像分析已在人体运动检测与跟踪、智能交通、机器人视觉、运动目标检测与跟踪等诸方面展开了深层次研究。对于运动图像的检测分析,背景图像是静止的情况,现阶段的研究成果比较成熟,也易于广泛实现,常见的有背景减除法、时间差分方法等,而对动态变化的背景图像,由于外界条件的复杂多变性,研究方法不可能完全一致,因而各研究方法也会有不同的适用性。总的来说,针对单一问题的运动目标提取已有许多现成的解决方案,而在立体交通态势的复杂条件下还存在许多技术难点和挑战：1. 背景运动情况下提取运动目标较复杂。当摄像机处于

19、运动状态时,序列图像中背景和目标都处于运动状态,如何从运动的背景中提取出运动目标是一项较为复杂的工作。目前的方法对于已知背景运动规律的情况,可以将运动背景校正为静止背景；如果背景运动未知,往往采取背景运动估计的方法来求出背景的运动情况。Jiang-Bin Zheng,David Dagan Feng等1提出了一种比较准确的分割和跟踪运动目标的算法,它主要通过自适应背景估计和两个相邻帧的综合差别来从图像序列中准确提取目标。但是背景运动的估计本身就是个较难解决的问题,计算量过大。2. 计算量与识别准确率的平衡。目前现有的算法往往不能满足计算量小、准确性高的特点,例如光流法2就需要进行大量的运算,而

20、差图像3等计算速度快的算法,其检测精度又值得探讨,如何在计算量与准确性两者之间折中,寻求最佳解决方案是目前所有算法的追求目标。3. 复杂环境造成的视频可用信息减少。现实环境中,影响运动目标检测的因素有很多,如光照产生的阴影可能被识别成运动目标,目标与背景纹理接近时无法识别出运动目标,。最大限度的减少环境因素对目标的影响是必须解决的一个问题。C. Tomasi等人4 5通过对图像中像素点颜色分量的分布建立区域模型,并且综合利用该模型和边缘模型对富含纹理的图像区域进行角点检测,实现目标检测和跟踪,但当背景的纹理与目标的纹理相似时,该算法却不能得到正确的结果。 4. 目标间的相对运动时的遮挡重叠问题

21、。对于多个运动目标,如果不是以相同的速度运动,大多数情况下会出现目标的遮挡、重叠等情况,目标与目标之间的相对运动会直接影响序列图像的目标成像效果6,给目标检测工作带来了很大的不便,这也正是当前许多算法不能彻底解决的问题。最后需要指出的是本课题也是针对复杂条件下的立体交通态势分析与处理问题进行运动目标提取算法的研究,但也会适当考虑其它情况下算法的适应性。1.4 本文的研究容和论文安排1.4.1 研究容本文主要研究在摄像机固定和运动两种情况下,如何从监控视频图像中提取出运动目标,并对其进行相应的分析和处理。主要研究容总结如下：1. 从基本原理上分析了光流法、帧间差法和背景差法等较为常见的目标检测算

22、法,分析了这些算法的应用围,探讨了算法的优缺点以及值得改进的地方,通过具体的序列图像实现了这些算法。2. 在总结常用的基于差分图像的运动目标检测方法的基础上,对帧间差算法提出了改进。该算法将三帧差分与自适应背景差技术结合,引入三帧差去背景方法来检测运动目标。其中三帧差操作用来决定图像序列中的运动区域,自适应背景差就用来提取目标的完整轮廓信息。3. 在总结常用的基于光流法的运动目标检测方法的基础上,对LK、HS光流法进一步改进,基本思想是利用图像金字塔,将相邻两帧降采样到最底层,计算这两帧间的光流值,在上一层中将前一帧图像平移一定的值下层计算出的光流,与后一帧利用光流法求出运动向量,最后与下层计

23、算出的光流进行叠加。直到金字塔的最上层,即原始图像。拟利用这种方法解决常用光流法运动目标的识别问题。4. 在上述研究的基础上,搭建了视频交通目标检测及识别系统,它是一种利用图像处理技术实现对交通目标检测和识别的计算机处理系统。主要是被设计用来统计交通路段上行驶的机动车的数量,并监测道路交通状况。1.4.2 论文安排本文共分为六章来阐述所研究的容。第一章为本文的绪论,首先介绍了本课题的来源,分析了国外现有的运动目标提取方法的局限性,并给出了运动目标提取技术的研究意义。第二章首先分析了背景固定情况下常用的运动目标的提取方法：帧间差法和背景差法,并基于上述两种方法的缺陷提出了一种改进方法三帧背景差分

24、来提取运动目标。第三章首先分析了背景运动情况下常用的运动目标的提取方法：光流法,并基于光流法的缺陷提出了一种改进方法基于金字塔光流的运动目标提取方法。第四章重点介绍了视频交通目标检测及识别系统的设计与实现。首先介绍了系统的设计原则,进行了系统的需求分析,构建了适合于交通视频的运动目标提取系统的总体框架。在介绍了系统环境要求后,对系统进行软件实现。第五章是对二、三章所提出改进算法实验结果的提供与实现。首先总结仿真结果的完成情况,其次对各算法进行比较并分析出它们的特点。第六章是对全文的总结,分析各算法及系统存在哪些不足以及解决建议,给出了对运动目标提取技术的展望。第2章 基于三帧背景差分的运动目标

25、提取方法运动目标的提取可分为背景固定和背景运动两种情况。在背景固定的情况下,常用的方法有帧间差法和背景差法。帧间差法受光线变化影响小,检测有效而稳定,但检测不出目标的精确位置,且图像信息不完整。背景差法检测位置精确、速度快,不足之处是受环境、光线变化影响大。本章将对帧间差法和背景差法做简要分析,并提出一种改进方法三帧背景差分来提取运动目标,拟解决帧间差法检测不出目标的精确位置,图像信息不完整和背景差法受环境、光线变化影响大的缺点。2.1 基于帧间差的提取运动目标方法帧差法,又称帧间差法、时间序列差分法。其基本思想就是把相邻帧相减,通过阈值化方法滤除图像中的静止景物,提取出运动区域。最早采用的是

26、相邻两帧相减,如Lipton等7利用两帧差分方法从实际视频图像中检测出运动目标,算法流程如图2.1,后来出现了三幅连续帧的双差分改进方法。帧差法的优点是对环境的光线变化不敏感,且能够快速地从背景中检测出运动口标,对于动态环境具有较强的自适应性：缺点是无法检测静止车辆,对于太慢或太快的车速也可能导致检测错误。而且如果运动物体表面存在大面积均匀灰度的时候,会产生孔洞现象,导致将运动目标的图像分割成几个部分。图2.1 帧间差法算法流程图1. 预处理：由于原始采集的图像往往存在很严重的噪声,直接用之求差分图像则受噪声的影响较大,差分图像的效果很差不利于后面的图像分析。因此,在作差分之前必须对原始图像进

27、行滤波预处理。本文选取中值滤波算法,因为中值滤波不仅能够滤去高频噪声,而且能够很好地保持图像的边缘信息。2. 阈值的选取： 在运用帧间差法提取运动目标时,涉及到阈值的选取问题。阈值的选取在运动目标提取过程中非常重要,一个好的阈值,可以大大提高目标提取的精度。阈值的选取方法有很多种。最简单、最直接的方法连续拍摄同一场景两次,取得两帧图像,将拍摄的两幅图像作差,将最大灰度像素差值作为提取运动目标的阈值。这种确定阈值的方法简单直接,但是不精确,且对场景的改变没有一定的自适应性。2.2 基于背景差的提取运动目标方法基于背景差法8的原理非常简单,其主要工作过程,首先必须按照一定的算法从序列图像中提取出可

28、靠的、稳定的背景图像,然后利用当前帧图像作差,取定一定的阈值,得到差值图像,对差值图像进行一定的后处理得到MASK图像。算法流程如图2.2。图2.2 背景差法算法流程图运用背景差法进行运动目标检测时,最主要的环节是稳定可靠的背景的提取以及背景的更新。一个好的背景图像估计方法应能适应诸如目标停止在场景中,场景中有目标开始运动,光线等外界干扰因素的影响。下面介绍两种亮度统计法来提取背景。 利用多幅图像对背景进行统计分析图2.3 亮度图像图2.4 多幅图像统计亮度直方图本文基本思想：通过对图像的亮度信息如图2.3进行统计,分析出背景路面的亮度围如图2.4、,从而确定出背景的上下限分别为73,1580

29、-255,利用该上下限去除背景,以便达到图像阈值分割的目的。分割处理结果如图2.5所示。图2.5 亮度图像 阈值分割后图像 直接提取路面信息,进行分割。图2.6 截取的路面图像图2.7 路面直方图从图像中提取如下图所示的一小块路面如图2.6作为背景信息,对这块路面的亮度信息进行统计,得到路面直方图如图2.7,从而确定出背景的上下限分别为86,1210-255,利用该上下限去除背景,以便达到图像阈值分割的目的。分割处理结果如图2.8所示。2.8 亮度图像 分割后图像两种背景提取分割方法的比较分析 路面信息统计后的阈值分割结果 多幅图像统计后的阈值分割结果图2.9 比较两种方法阈值分割后的图像由图

30、2.9可以看出利用多幅图像统计后的阈值分割更为准确,可以从图像中滤除更多的背景信息,但当背景的纹理与目标的纹理相似时,该算法却不能得到正确的结果,如图2.9圈中所示。2.3 基于三帧背景差分的运动目标提取方法2.3.1引言鉴于2.1节中所提到的帧间差、背景差法对运动物体界定过大、模糊的缺陷,本文提出三帧背景差分法进行运动目标的提取,利用三帧图像计算出两个差图像910,再令它们对应像素相与。该方法在连续的三帧视频图像中,对第一二帧和第二三帧的图像分别做差分运算,根据未变化区域与运动变化区域服从不同的统计规律设置变化检测门限,对差分图像做运动变化检测和连通域的识别。然后将检测到的运动变化图像做去噪

31、和空域识别后,做相与运算,最后再基于物体自身的灰度信息,恢复真正的运动图像。2.3.2原理及算法流程1. 累计差分原理在序列图像中,通过逐像素比较可直接求取前后两帧图像之间的差别。假设照明条件在多帧图像间基本不变化,那么差图像的不为零处表明该处的像素发生了移动。也就是说,对时间上相邻的两幅图像求差可以将图像中目标的位置和形状变化突显出来。如果对一系列图像两两求差,并把差分图像中值为正或负的区域逻辑相加就可以得到整个目标的形状。如图2.10：将长方形区域逐渐向下移动,依次划过椭圆目标的不同部分,将各次的结果组合起来,就可得到完整的椭圆目标。图2.10 利用差分图像提取运动目标设在时刻和采集到两幅

32、图像和,可得到差图像11：= 其中T为阈值。差图像中为0的像素对应于前后两时刻间没有发生变化的地方,为1的像素对应着变化的地方。在实际情况中,即使没有运动目标,由于随机噪声的干扰,没有发生像素移动的地方也会出现图像间差别不为零的情况。为把噪声的影响跟像素的移动区别开来,可对差图像取较大的阈值。另外由于噪声产生的为1的像素一般比较孤立,所以也可根据连通性分析将它们除去。但这样做有时也会将慢运动和尺寸较小的目标除去。图2.11 累计差图像的生成过程为了克服上述问题,本系统考虑利用多幅图像。如果在某一个位置的变化只偶尔出现,就可判断为噪声。设有一系列图像,并取第一幅图作为参考图。通过将参考图与其后的

33、每一幅图进行比较可得到累计差图像。图2.11为一幅累计差图像的生成过程。设该图像中各个位置的值是每次比较中发生变化的次数总和。图为时刻采集的图像,其中有一个用4行3列像素代表的矩形目标。设它每单位时间右移一个像素。图至图分别为,时刻对应的累计差图像。图是普通差图像,左边一列的1是图目标后沿和图背景的差,右边一列1是图背景和图目标前沿的差。图可由图和图的差加上图得到,依次类推。2. 三帧背景差分对连续的三帧视频图像分别做前两帧和后两帧的差分图像,这两帧差分图像中都含有运动物体。如果将两帧连续的差分图像进行相与运算,则可以得到运动物体本身的灰度值,基于这时运动变化区域的灰度值所设定灰度检测门限将是

34、完全基于运动物体的本身,所以检测到的运动物体相对要比两帧差分法检测到的运动物体准确。将三帧差分与自适应背景差技术结合,引入三帧背景差分方法来检测运动目标。其中三帧差操作用来决定图像序列中的运动区域,自适应背景差就用来提取目标的完整轮廓信息,算法流程如图2.12。图2.12三帧背景差分算法流程图设表示t = n时刻的图像帧中像素点的亮度值。若某像素点的亮度值在连续的三帧图像间变化显著,则认为该像素点属于运动点,即 且 其中是某像素点亮度变化统计意义的阈值,可由如下递归公式求出：= 非零极小值 = 其中表示第一帧图像的背景亮度值,表示第一帧图像亮度值。= = 其中,为目标相对于背景的速度大小上式中

35、的表示像素点在n时刻的背景亮度值,该背景并非当前图像的真实背景,而是从多幅图像中经统计学习得到的背景模型。和都是从观察所得的图像序列 k 中学习得到的统计特性,由, 两式迭代产生。经过三帧之间的运动判别之后,将所有满足式和的像素点都作为运动点,其它像素点作为背景,从而将原图像区分为目标与背景两大区域。2.4 算法实现1. 帧间差法的实现：图2.13 连续两帧原始图像图2.14 帧间差法实现结果由图2.14可知,帧间差法常常会引起两个不良的后果：一个是两帧间物体重叠部分没有检测出来,即只检测出物体的一部分,从而产生孔洞；另一个是检测出物体在两帧中的信息,即检测出的目标比真实的物体大很多。2. 背

36、景差法的实现 图2.15 原始图像 图2.16 多幅图像统计的背景亮度图图2.17 背景差法实现结果实验证明,该方法能够提取出背景图像如图2.16,它在提取背景的过程中,不受前景物体的影响;但是提取的背景对外界环境的变化没有一定自适应性。该算法必须事先读入一定帧的视频序列用以提取背景,这在某些场合是不容易实现的。要使背景模型能够对外界环境的变化具有自适应性,必须适时地对背景模型进行更新,背景中固定的部分也可能发生移动,发生移动后的一段时间将被误检测为运动目标,但不应该永远将其看作运动目标,这也需要一个有效的背景更新策略。另外,运动目标也可能长时间停留在场景中,对于这部分区域,可以在一段时间后将

37、其看作背景的一部分。3. 三帧背景差分的实现图2.18三帧背景差分的实现结果经过三帧之间的运动判别之后,系统将所有满足式和的像素点都作为运动点,其它像素点作为背景从而将原图像帧区分为目标与背景两大区域。显而易见,通过三帧差去背景方法,目标的形态和在图像中的位置被完全凸显,更利于目标质心的提取和物体运动参数的计算。 帧间差法 背景差法 三帧背景差分法图2.19 三种运动目标提取算法的比较图2.19中只提取出车辆的部分边界信息,产生了孔洞现象,图2.19中当背景与目标亮度值相似时,提取出运动目标很模糊,三帧背景差分法克服了传统的两帧差分法,背景差法对运动物体界定过大、模糊的缺陷,能够快速对运动物体

38、进行定位；在恢复运动物体时,采用的是基于物体本身的灰度信息,灰度门限也是随着当前帧运动物体本身与背景自适应变化的,所以检测结果比较准确。三帧背景差分法算法比较简单,运算量小大,比较适用于实时监控。摄像机的运动导致相对静止的景物在图像平面也产生运动。虽然三帧差背景差分技术己经考虑了背景的运动问题,但该方法仅从序列图像的角度出发,未考虑摄像机的运动影响,因而差图像中仍可能存在伪运动信息。因此,在下一章中提出了一种基于改进光流法的运动目标提取方法,拟解决背景运动情况下的目标提取问题。第3章 基于改进的光流法的运动目标提取方法运动目标的提取可分为背景固定和背景运动两种情况。本章主要研究背景运动情况下的

39、运动目标提取算法,常用的基于光流法的运动目标提取在识别大的运动目标和多目标遮挡时误检率较高,本文提出了一种改进算法基于金字塔的光流法,拟解决了上述问题。3.1 光流法提取运动目标3.1.1运动场和光流场当物体在摄像机前运动,或者摄像机在环境中移动时,会发现图像在变化,在图像中观察到的表面上的模式运动就是所谓的光流场,而运动场则是了维物体的实际运动在图像上的投影如图3.1。图3.1 运动场示意图当物体运动时,在图像上对应物体的亮度模式也在运动。光流是指图像亮度模式的表观运动。在理想情况下,光流对应于运动场,但这一命题不总是对的。图3.2所示的是一个非常均匀的球体,由于球体表面是曲面,因此在某一光

40、源照射下,亮度呈现一定的空间分布或叫明暗模式。当球体在摄像机前面绕中心轴旋转时,明暗模式并不随着表面运动,所以图像也没有变化,此时光流在任意地方都等于零,然而,运动场却不等于零.如果球体不动,而光源运动,明暗模式运动将随着光源运动。此时光流不等于零,但运动场为零,因为物体没有运动。一般情况下可以认为光流与运动场没有太大的区别,因此允许根据图像运动来估计相对运动。图3.2 光流与运动场差别示意图3.1.2光流的计算光流的计算方法一般分成四类：1基于梯度的方法1213； 2基于匹配的方法； 3基于能量的方法14； 4基于相位的方法15。下面简介一下基于梯度的方法的基本思想。基于梯度的方法利用图像灰

41、度的梯度来计算光流,这是研究的最多的一种方法。基于梯度的方法根据运动前后图像灰度保持不变这个基本假设,导出了光流约束方程。由于光流约束方程并不能唯一确定光流,因此需要引入其他的约束。根据引入约束的不同,基于梯度的方法可以分成全局约束的方法和局部约束的方法。全局约束的方法16假定光流在整个图像围满足一定的约束条件;而局部约束的方法17假定在给定点周围的一个小区域,光流满足一定的约束条件。 基于象素递归的光流算法是预测校正型的位移估算器,它是基于梯度局部约束下的一种方法。预测值可以作为前一个象素位置的运动估算值,或作为当前象素邻域的运动估算线性组合。依据该象素上的位移帧差的梯度最小值,对预测作进一

42、步的修正。在这里介绍Lucas Kanade算法18。它假设两图像为A和B,图像相应的位移差对应为,为满足光流约束方程,需使式最小： 即= 0 0 其中为图像的梯度函数,。解得 其中 Lucas Kanade算法假设图像间是线性相关的,也就是使得较小,否则,误差较大。如果递归过程中v收敛,假设图像大小为NN,搜索相应窗口围为MxM,则平均做步。为避免较大时产生较大误差,介绍一种改进的光流计算方法基于金字塔的光流法。3.2 基于改进光流法的运动目标提取方法3.2.1 基本原理1. 图像的金字塔表示图像的金字塔表示法19是计算机视觉中常用的一种多分辨率表示法。利用金字塔表示法,能分析图像中不同大小

43、的物体,例如高分辨率的下层可用于分析细节,低分辨率的上层可用于分析较大的物体。同时,通过对低分辨率、尺寸较小的上层进行分析所得到的信息还能用来指导对高分辨率、尺寸较大的下层进行分析,从而大大简化了分析和计算。高斯金字塔的算法20：1将图像设定为最细尺度;2对每一层,从最细层的上一层到最粗层,通过对上一个最细一层使用高斯函数进行平滑,然后重采样获得这一层;3结束。借助一个小符号能够写出高斯金字塔各层的简单表达式。符号表示对图像重采样,具体来说的第i,j个元素是I的第2i,2 j个元素。金字塔P的第n层表示为,使用这个记号,便有： 其中,表示对图像进行线性操作,其将图像与高斯函数做卷积。细节最丰富

44、的一层是原始图像： 设原图G并把它作为金字塔的底层第L层,第L层的上层第L+1层是这样构造的：将G经过一个高斯低通滤波器,并把结果作隔行隔列取样,以此类推,这样就形成了高斯金字塔。如图3.3所示：3.3 高斯金字塔第一层原图像3.3 高斯金字塔第二层 3.3 高斯金字塔第三层2. 数学形态学的基本思想数学形态学是研究数字影像形态结构特征与快速并行处理方法的理论,是通过对目标影像的形态变换实现结构分析和特征提取的。数学形态学以图像的形态特征为研究对象,它的主要容是设计一整套概念、变换和算法,用来描述图像的基木特征和基木结构,也就是描述图像中元素与元素、部分与部分间的关系。数学形态学作为一种用于数

45、字图像处理和识别的新理论和新方法,它的理论虽然很复杂,被称为惊人数学,但它的基本思想却是简单而完美的。数学形态学算子的性能主要以几何方式进行刻画,传统的理论却以解析方式的形式描述算子的性能,而几何描述特点似乎更适合视觉信息的处理和分析,见图2-g。从图2-g中可知,使具有一定的形态的结构元素度量和提取图像中的对应形状信息,在形态学的操作中最重要的是结构元素的选择,结构元素是一个用来定义形态学操作中所用到的邻域的形状和大小的矩阵,该矩阵仅由0和1组成,具有任意的大小和维数,1代表邻域的像素,形态学运算都是对数值为1的区域进行运算。膨胀和腐蚀22是基于阴影集和表面函数来定义的。下面给出基于离散数字

46、空间的定义。设输入图像为f,结构元素为b ,则b对f的膨胀定义为： b对f的腐蚀定义为： 其中,和分别为f和b的定义域,s和x为整数空间中的向量。可见,对于膨胀运算,结构元素b的反射与输入图像f的交不为空。相反,对于腐蚀运算,只有当结构元素b全部位于f时,才能对f进行腐蚀。从几何上讲,膨胀能扩大图像形态,而腐蚀则能缩小图像形态。数学形态学的开启和闭合运算是由膨胀和腐蚀运算复合而成的。b对f的开启定义为： b对f的闭合定义为： 开启运算能够去除图像上与结构元素不相吻合的凸区域,同时保留那些相吻合的区域。而闭合运算则填充那些图像上与结构元素不相吻合的凹区域,同时保留那些相吻合的凹区域。运用数学形态

47、学的四个基本运算的组合,可以设计出非凡的实用非线性算法,从而获得惊人的图像处理效果。3.2.2 算法流程本文提出一种基于改进光流法的运动目标提取方法,算法流程如图3.4所示。图3.4 基于改进光流法的运动目标提取方法1. 基于金字塔光流法的光流值计算基本思想是利用图像金字塔,将相邻两帧降采样到最底层,计算这两帧间的光流值,在上一层中将前一帧图像平移一定的值下层计算出的光流,与后一帧利用光流法求出运动向量,最后与下层计算出的光流进行叠加。直到金字塔的最上层,即原始图像。拟使用这种方法解决常用光流法运动目标的识别问题。基于金字塔的光流法的原理框图如图3.5所示光流法降采样降采样光流法光流法升采样升

48、采样22视频运动向量图3.5 基于金字塔的光流法的原理框图1) 降采样和升采样：降采样采用高斯低通滤波器1/16 1/4 3/8 1/4 1/16 1/16 1/4 3/8 1/4 1/16,将图像与滤波器卷积,并把结果作隔行隔列取样,得到上一层的图像。设第L-1层的图像为,则通过降采样,上一层第L层的图像为： 升采样为降采样的逆过程,现将图像隔行插入0点,再通过与滤波器卷积并乘以4,得到下一层的图像。2) 光流法计算为使计算时运动向量较小,光流法需要进一步改进,即先将前一帧图象平移一定的值下层计算出的光流,再与后一帧利用光流法求出运动向量,最后与下层计算出的光流进行叠加21 ,得到运动向量。

49、如图3.6所示。初始运动向量平移变换输入视频光流法+运动向量图3.6 平移变换原理框图本文采用3层金字塔结构,对图像中的点,在金字塔最下层=0,经光流法计算得出,经过乘2及升采样,第2层的初始运动向量为,经过对第2层的前一帧图象平移,再通过式计算出光流值,以此类推,最终得出第一层光流值：金字塔最下层由于像素点较少,故计算得到的光流值较小,所选用的窗口可以较小,可选小窗口进行计算,这样就提高了检测的准确性20,节省了计算资源,又可允许目标有较大的位移。2. 基于改进光流法的形态学滤波本文先利用闭运算,填充那些光流值与结构元素不相吻合的凹区域,同时保留那些相吻合的凹区域。即将计算出的离散点光流值连

50、成一片区域,利于下一步进行面积阈值判断。然后,利用形态学滤波的去噪运算,可以由下式表示： 这一过程事实上通过先腐蚀然后连续进行两次膨胀,最后再腐蚀一次得到的。噪声在某些区域可能会先扩大,然后逐步去掉的。实践证明,只有当噪声比结构元素小时,才能去除噪声。3. 基于改进光流法的面积阈值算法在检测结果可能会出现一些孤立的小区域,这些孤立的小区域是在分割的过程中被错误分割出来的,如果不把这些小区域过滤掉,很有可能会把它们也认为是运动目标区域。一个很简单的办法就是设定一个面积阈值23,面积小于此阈值的区域将会被过滤掉,只有面积大于此阈值的区域才被认为是运动目标区域。由于区域的形状是不确定的,可以利用包含

51、区域的最小外接矩形的面积来近似区域的面积。通过这样一系列这样的处理后,可以获得相对比较精确的运动目标区域,利用此运动区域,可以提取出一些需要的运动目标特征信息,比如运动目标的轮廓、运动目标的长宽比、包含运动目标的最小矩形、目标的颜色等。这些特征信息描述了运动物体的特征。4. 基于改进光流法的色度和亮度分割在对运动目标进行跟踪时,目标运动的复杂性使得有效跟踪更加困难。如当单个目标出现相互遮挡时,多个目标融合为一个目标组,原目标信息可能丢失,而实现跟踪需要识别出目标组中的各个目标,以便在目标分离后仍能有效跟踪目标。同时,当运动目标颜色与背景相近时,也容易将目标忽略。如何实现在遮挡情况下的多目标跟踪

52、是视频监控的难点。图3.6 多目标的遮挡问题本文利用图像的亮度、色度及背景信息对视频图像进行自适应阈值分割来解决这一问题。 利用色度信息对图像进行分割图3.7截取的车辆原始图像 车辆的色度信息图像 分割后图像由图3.7可知,分割结果图3.7并不理想分割出的图像并不具有车的特征,分析其原因是因为图像进行压缩存储后,色度信息受损,所以造成了分割后结果不理想。 利用亮度信息对图像进行分割图3.8截取的车辆原始图像 亮度信息图像 分割后图像由图3.8可知,分割出的图像图3.8具有车的特征,分割效果较为理想。 对背景和车辆颜色接近的情况进行分割 图3.9原始图像 亮度图像 分割后图像由图3.9可知,分割

53、出的图像图3.9具有车的特征,分割效果较为理想。3.3 算法实现图3.9 金字塔HS光流法处理结果 图3.10 金字塔LK光流法处理结果图3.11 HS光流法处理结果比较图3.9、3.10、3.11可知,直接使用光流法的处理结果在识别大的运动目标见图3.11右上方时会出现误检现象；金字塔LK方法见图3.10由于计算出光流后未进行阈值判断,导致连通的噪声点较多,经形态学滤波处理后相邻运动目标被误检为同一目标；金字塔HS方法见图3.9,利用图像的金字塔结构,对计算的光流进行阈值判断,并通过形态学滤波去除孤立噪声点,再经过面积阈值判断,基本解决了大目标的识别问题,而且检测率较高。第4章 视频交通目标

54、检测及识别系统的设计与实现4.1 系统概述交通目标检测及识别系统是一种利用上一章提到的基于金字塔光流法的运动目标提取技术实现对交通目标检测和识别的计算机处理系统,主要是被设计用来统计交通路段上行驶的机动车的数量,并监测道路交通状况。4.2 系统设计原则由于视频交通目标检测是一个集视频处理和信息管理为一体的综合系统,所以在系统设计时应遵循软件设计的要求。计算机视频处理主要由视频数据的获得,图像处理,车辆检测等几大部分组成,这些部分的总体构成方案及各部分的性能优劣直接影响处理系统的质量。这几个部分相互协调将涉及到系统设计的原则问题。例如,系统设计出来应该是实用的,所以必须站在用户的角度考虑设计。为

55、了能够对交通视频的系统设计有一个深入的理解,以下十个设计原则24应该贯彻到车辆视频检测系统设计的始终。1、实时性：实时性就是程序的处理必须在时间上与外部发生的事件同步,即对外来事件在限定时间能够做出反应。需要注意的是：实时性并不等于快。它是一个相对的概念,确切的定义应该是即时,即在系统允许的时间完成任务。即时性是计算机图像处理系统评价的最重要指标之一。它表现在以下几个方面：包括获取图像即时,处理分析即时,输出结果即时,控制其他设备即时,总体的即时是各部分即时的综合表现。任何一种算法,处理方案,即使有许多卓越优点,但若处理速度慢就不会得到很好的推广,甚至会抛弃小用。即时必须体现在各个环节中才能使

56、总体速度即时。在选择计算机上,由于计算机芯片速度越来越快,所以选择最新型,最快的计算机就能基本满足适用要求。由于目前图像的输入方式是以逐点输入为主,这样就对图像的数字化要求很高。同时输入图像须存入图像刷新存储器,因而对图像存储器存取速度的要求也相应提高。即时还包括输出信号快,因为计算机代替人去处理,识别,理解图像景物,最终目的是为了控制,因此,快速输出控制信号及结果是一个图像处理系统的重要指标。实时性的控制可用于宇航,军事,交通信号控制等多个领域。最后,山于信息网络化的发展趋势即时还应包括数字化图像的远距离传输。2、灵活性：数字图像处理比模拟图像处理优越之处就是灵活性。3、精确性：计算机图像处

57、理的数据精度是很高的,可精确到有限的任何位。图像的精确性包括图像的空间分辨率,灰度分辨率,彩色分辨率以及其他指标。通常图像空间分辨率和图像数字化空间精度有关。显然精度越高,数据量越大,这必然和实时性相矛盾。4、系统性原则：是指从系统论的观点出发,以实现系统总体功能为目的,来构建整个系统结构,以达到最优化的系统结构。5、实用性原则：操作方便、快速、简捷。采用成熟的、并经实践证明其实用性的技术,能满足现在业务处理的需要,并能适应将来一定时期业务发展的需要。6、可靠性原则：指本系统设备能可靠、稳定工作。系统的可靠性依赖于主机、操作系统、网络、数据库及应用软件等全方位的可靠性保障,任何一处的故障将会导

58、致整个系统的稳定性受到威胁。可靠性原则设计就是设计详尽的故障处理方案,以保证系统运行的稳定性和可靠性。如主机、硬盘、网络等所有关键硬件资源都能做到冗余各份。7、高性能价格比原则：是指在实现系统功能的原则基础上,尽量减少项目的经费投入。8、先进性原则：指系统设计采用当前先进的技术,先进的算法,如果技术上不先进,系统开发的意义将不存在。9、可扩展性原则：指在一定的条件下,系统能够方便扩充功能。就本文的系统来说,将来可扩充的功能包括：车牌识别,车型识别等等。10、安全性原则：保证系统被安全的使用,应具各身份验证等功能,使各类用户在其权限围使用系统。以上设计原则是相互关联,互相影响的,要设计出高效实用

59、的交通检测系统,只能根据工作的性质和要求,综合考虑,做折中处理,只强调部分原则必然会降低其余原则的要求。只有解决好这个矛盾,设计出的系统才能起到良好的作用。另一个方而,在这些原则的取舍时,要考虑这十个原则是有轻重之分的,比如,系统的实用性和实时性就是非常重要的原则。此外,本文要设计的系统,其主要功能都是用软件来实现的,所以在系统设计中还要遵循软件开发设计的要求。4.3 系统总体设计4.3.1软件需求概述能够对监视区域的通过车辆数目进行实时计数； 对系统测量到的车辆数目能实时处理并显示；能够提供实时的交通录像供用户观察交通现场。4.3.2系统功能结构本系统作为智能交通工程的一部分,可提供实时的道路情况反馈,以供交通管理及其相关部门作相应的统计及监控。该系统的性能特点是：支持摄像头运动的情况；支持不同道路环境,快速适应道路环境变化；可同时监控小同路段和多条车道；通过有效且直观的信息反馈,实现实时监控。系统工作原理是：系统初始化：系统工作的第一步是进行初始化。主要是对系统中的参数进行设定,如每秒采集图像的帧数、车辆检测的阈值,视频数据的来源等等。 视频文件的读入：根据不同的路径读入视频信息文件,以备后续处理。图像预处理：算法子系统首先将这些采集到的序列数字图像进行预处理：滤波除噪,灰度转换等等。车辆检测：利用第4章中的基于改进光流法的运动目标提取算法精确检测出车辆,