多通道视频中的多目标自动跟踪技术研究论文

《多通道视频中的多目标自动跟踪技术研究论文》由会员分享，可在线阅读，更多相关《多通道视频中的多目标自动跟踪技术研究论文（78页珍藏版）》请在装配图网上搜索。

1、 .中图分类号：TP391.4论文编号：1028703 13-S264学科分类号：081104 硕士学位论文多通道视频中的多目标自动跟踪技术研究研究生 钱秋朦学科、专业模式识别与智能系统研究方向目标跟踪理论与技术指导教师周鑫 副教授航空航天大学研究生院自动化学院二一三年三月61 / 78NanjingUniversity of Aeronautics and AstronauticsThe GraduateSchoolCollege of Automation EngineeringResearch on Multi-Target Automatic Trackingin Multi-Chan

2、nel VideosA Thesis inPattern Recognition and Intelligent SystembyQian QiumengAdvised byAssociate Prof. Zhou XinSubmitted in Partial Fulfillmentof the Requirementsfor the Degree ofMaster of EngineeringMarch, 2013承诺书本人声明所呈交的硕士学位论文是本人在导师指导下进行的研究工作与取得的研究成果。除了文中特别加以标注和致的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得

3、航空航天大学或其他教育机构的学位或证书而使用过的材料。本人授权航空航天大学可以将学位论文的全部或部分容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（的学位论文在解密后适用本承诺书）作者签名：日 期：摘 要随着科技的发展和社会的进步，利用多个摄像机结合视频处理技术实现监控系统的智能化，已成为计算机视觉领域的一个研究热点。本文研究多通道视频目标跟踪系统中的关键问题，并在此基础上构建了一应用于实际场景中的目标自动跟踪系统，实现对该场景中一个或多个目标的自动跟踪。本文的主要工作包括如下几个方面：1. 研究分析当前新兴起的一种高效目标跟踪方法TLD(Tracking-L

4、earning-Detection)，在此基础上，对TLD加以改进，提出了一种改进的TLD目标跟踪方法，该方法不仅提高了原始算法的跟踪精度和运行速度，而且增强了算法对相似目标交会后分开的辨识能力，能够获得比原始算法更理想的跟踪效果。2. 在改进TLD目标跟踪方法的基础上，提出了一种基于改进TLD的多通道视频中多目标跟踪方法，设计一套高效的数据表示格式来记录所有目标的信息，根据记录的所有目标信息依次遍历各个视频通道的图像，找出每个通道中当前帧图像上所有可能存在的目标。该方法不仅能够稳健跟踪单个视频通道中的多个目标，而且能够实现在多个视频通道中对多个目标的连续跟踪。3. 设计了一个多通道视频中的多

5、目标跟踪系统，并在一实际场景下对该系统进行了验证。该系统由摄像机、传输线、图像采集卡、中心服务器组成。摄像机、传输线、图像采集卡作为整个系统的输入部分负责多路通道图像的实时采集，中心服务器实现系统的算法功能以与结果显示，通过分析和处理每一路通道的图像序列，实现一个或多个目标在多通道视频中的连续跟踪，最终在中心服务器上显示目标详细的运动信息。本文的工作不仅涉与多通道视频目标跟踪系统的理论研究，而且给出了该系统的具体设计方案，可为相关的学术研究和工程应用提供有效的参考。关键词：多通道视频，多目标跟踪，目标跟踪系统，TLD，视频监控 ABSTRACTWith the development of t

6、echnology and society, using multiple camerasand video processing technology to achieve the intelligenceof video surveillance system becomes a hot research topic in the field of computer vision. This thesis first studies the key problems in the multi-channel video targets tracking system, and then b

7、ased on the research results, a target automatic tracking system is built to demonstrate the ability of automatic tracking one or multiple targets in the scene monitored by multiple cameras. The main research works in this thesis include the following:1. An efficient target tracking algorithm TLD is

8、 first studied, and then an improved TLD algorithm is proposed based on the original TLD.This improved TLD algorithm not only improves the tracking accuracy and processing speed, but also increases the ability of identifying similar targets which cross each other during moving.2. A multi-channel vid

9、eo targets tracking algorithm is proposed based on the improved TLD algorithm.An efficient data representation format is created for this algorithm to record the information of all the targets. Based on the recorded information, the frames of all the channels are examined to find all possible existe

10、nces of the targets being tracked. The proposed multi-channel video targets tracking algorithm not only can robustly track multiple targets in a singlevideo channel,but also is able tosmoothly track multiple targets in multiple video channels.3. A multi-channel video targets tracking system is desig

11、ned, and is verified in a real scenario. This tracking system consists of cameras, transmission lines, an image capture card and a central server, in which cameras, transmission lines and the image capture card are in charge of real-time image acquisition and the central server performs the tracking

12、 algorithm and displays the results. Through processing and analyzing for the image sequences in all the channels, a target or multiple targets are tracked in multi-channel videos, and the detailed target motion information is displayed in the central server.The research works in this thesis involve

13、 not only the theoretical research for the multi-channel video targets tracking system but also the specific and practicable design for this system, and this thesis will be an effective reference for the related works in both academic researches and engineering applications.Key Words:Multi-Channel V

14、ideo，Multi-Target Tracking，Target Tracking System，TLD，Video Surveillance目 录第一章 绪论11.1 课题的研究背景与其意义11.2 国外研究概况21.3 本文主要研究容与章节安排7第二章 TLD目标跟踪方法介绍92.1 TLD算法框架结构102.2 TLD算法主要模块102.2.1 跟踪模块102.2.2 检测模块132.2.3 学习模块192.2.4 融合处理模块212.3 TLD算法运行流程212.4 本章小结22第三章 TLD目标跟踪方法的改进233.1 TLD算法的改进思路233.1.1 基于Cell FoT+的T

15、LD跟踪器设计233.1.2 基于Kalman滤波器的目标检测区域预测273.1.3 基于Markov模型的目标运动方向预测283.2 改进后的TLD目标跟踪方法的实现303.3 实验结果与其分析323.3.1 跟踪精度和运行速度分析323.3.2 引入Markov方向预测器的性能验证333.4 本章小结34第四章 基于改进TLD的多通道视频中多目标跟踪方法研究354.1 多通道视频中多目标跟踪方法的设计思想354.2 多通道视频中多目标跟踪方法的关键技术354.2.1 目标的数据表示354.2.2 跟踪模块中帧图像的选取384.3 多通道视频中多目标跟踪方法的实现394.4 实验结果与其分析

16、404.5 本章小结42第五章 多通道视频中的多目标自动跟踪系统设计435.1 系统总体设计435.1.1 系统应用场景435.1.2 系统实现功能445.1.3 系统总体结构与其设计方案455.2 系统实现475.2.1 图像采集实现475.2.2 目标跟踪实现495.3 系统验证与分析505.4 本章小结54第六章 总结与展望55参考文献57致61在学期间发表的论文62图清单图2.1 TLD算法框架结构图10图2.2 FORWARD-BACKWARD示意图12图2.3基于MEDIAN FLOW思想设计的短期自适应跟踪器的效果图13图2. 4 2BIT BINARYPATTERNS在目标跟踪

17、中应用的示意图14图2.5 扫描窗口示意图15图2.6 级联分类器结构图16图2.7 单株树结构图17图2.8 随机森林分类器原理图18图2.9 P-N LEARNING原理图21图3.1 Cell FoT示意图.24图3.2 邻域一致预测器示意图25图3.3 KALMAN滤波器减小扫描区域的示意图28图3.4 马尔可夫预测预测当前时刻检测区域示意图29图3.5 改进的TLD目标跟踪方法示意图31图3.6相似目标交会后分开的辨识能力比较34图4.1 目标模型示意图36图4.2 帧图像的选取39图4.3 多通道视频中的多目标跟踪39图4.4 基于改进TLD的多通道视频中的多目标跟踪效果图41图5

18、.1 多通道视频目标跟踪系统的运行场景示意图.44图5.2 室外摄像机拍摄画面44图5.3 多通道视频的多目标跟踪系统总体结构图45图5.4 大恒DH-VT142采集卡46图5.5 算法参数设置界面50图5.6 跟踪结果显示界面50图5.7 系统的操作界面51图5.8 系统跟踪效果图54表清单表3. 1测试视频描述以与图像序列预览图32表3. 2图像序列测试结果33表4. 1单目标的数据表示38表4. 2多通道视频目标跟踪系统的数据表示38注释表缩略词说明DARPADefense Advance Research Project Agency美国国防部高级计划署FBForward-Backwa

19、rd Error向前向后误差JPDAJoint Probability Data Association联合概率数据关联MADMean Absolute Difference平方绝对差值相关MTTMultiple Target Tracking多目标跟踪MCMCMarkov Chain Monte Carlo马尔可夫链蒙特卡罗理论MHFMultiple Hypothesis Filter多假设滤波MpMarkov Predictor马尔可夫预测器NCCNormalized Cross Correlation归一化积相关NhNeighborhood Consistency Constraint

20、Predictor邻域一致预测器SADSum of Absolute Difference差的绝对值和相关SSDSum of Squared Difference差的平方和相关SSDASequential Similarity Detection Algorithm序贯相似性检测算法TLDTracking-Learning-Detection跟踪-检测-学习算法VSAMVisual Surveillance And Monitoring视觉监视与监控系统2bitBP2bit Binary Patterns局部两位二值模式第一章 绪论1.1 课题的研究背景与其意义科学技术的飞速发展，带来了机器视

21、觉的革命性变革，人们对自身安全防意识进一步增强，视频监控系统在各个领域得到了广泛的应用，如小区的安全监控、城市交通的管理监控、银行柜台的安全监控、医院病人的行为监控等。由于视频监控系统通常关注一些小概率的事件，而安全监控人员不可能长期、不间断的将全部注意力集中在视频监视器上。若可疑的目标能够通过计算机自动识别、跟踪，那么不仅能节省大量的人力、物力资源，也能大幅度提高监控系统报警的可靠性和实时性。因此如何高效的自动跟踪和分析视频中的目标成为了广大科研人员和科研机构争相研究的一个领域。多通道视频目标跟踪的实质是实现一个或多个目标在多个摄像机所拍摄的视频中的自动跟踪，该技术是计算机视觉的一个新兴领域

22、，涉与人工智能、图像处理、图像变换、模式识别、摄像机标定、自动控制等众多领域的先进技术。多通道视频即多个摄像机获取的图像信号；目标跟踪即在图像序列的每帧图像中找出运动目标所处的位置，最终获得目标的运动参数与其运动轨迹，实现目标行为的理解1。视频跟踪技术的研究目的是赋予机器以生理视觉系统的感知能力，使机器能够“人为”识别图像序列中的运动物体。通常，视频跟踪系统具有实时性、隐蔽性、抗干扰性、性价比高等优点，相比较雷达系统，无需向外辐射无线电波，只需通过同轴线缆、网络、光缆等传输介质完成信号的传输，不易被侦查发现，也不易受到其他信号的干扰，同时，视频跟踪系统只需摄像机或其他光学器件即可采集目标图像，

23、并通过视频监视器直观的监视感兴趣或可疑目标，性价比高，使用简单、方便。视频跟踪技术是计算机视觉的一个研究热点，也是视频监控系统中的一个重要环节，其实质是实时、在线、准确的跟踪目标并分析其行为特征。随着计算机处理速度的飞速提高和感兴趣目标的多样化，人们希望对同一视频中的多个运动目标实现同步实时监控，要求能够同步跟踪并分析多个目标的行为特征，做出相应的决策。然而，摄像机获取图像的实质是一个三维实物在二维平面的投影，自身即存在部分信息的缺失，再加上被跟踪目标运动的不确定性、自身形状姿态变化以与所处场景的复杂程度，都影响着目标跟踪的效果，从而给目标的实时、准确、长期跟踪带来了很大的困难，因此在一定程度

24、上制约了视频跟踪技术的快速发展与应用。在目前的实际应用中，大多数的视频跟踪系统采用单一摄像机，自身存在着一些局限性，如监控视野围有限带来的场景遮挡问题，景深问题等。采用多个摄像机进行目标的实时跟踪和分析可以拓宽信息的采集域，扩大监控的围和角度，解决单个摄像机中的遮挡与景深问题。同时，多摄像机能够提供比单个摄像机更加丰富的目标信息，而有效地融合这些信息可对目标的跟踪与分析带来巨大的促进作用。综上所述，如何实时、高效的跟踪一个或多个目标仍是视频跟踪领域中一个亟待解决的关键问题；同时，如何实现一个或多个目标在不同摄像机中的准确跟踪，扩大目标的监控力度和围，是监控系统的一个重要研究课题。因此，多通道视

25、频中的多目标跟踪技术无论是在学术研究领域还是工程应用领域都具有极其重要的研究价值。1.2 国外研究概况高效率计算机以与高精度、高质量摄像机的出现，使得人们对视频自动处理分析的需求愈加急切，目标跟踪技术得到广泛的重视。所谓目标跟踪，就是在已知目标在过去的某时刻的位置等信息的基础上，找到现时刻目标的位置与其他信息，也就是在一段视频图像中的每帧图像上找到运动目标所处的位置2。计算机处理速度的飞速提高、图形识别算法的革命性改进以与跟踪对象的多样化，多目标跟踪技术（Multiple Target Tracking，MTT）应孕而生，并在交通监管、军事打击与防御、天文预测、智能监控等领域有着非常重要的实用

26、价值。计算机视觉技术的进一步发展，关于单个摄像机中目标运动分析技术的研究已较深入，其中一些不可避免的问题凸显而出，如视野问题、遮挡问题。由于单个摄像机的视野围有限，难以对感兴趣目标实现大围、多角度、长期的跟踪，多摄像机的应用成为必然趋势。多摄像机监控围大，视野广阔，可全方位定位跟踪，同时可以解决单个摄像机中由于遮挡而存在的盲点问题，未来的目标跟踪系统将得益于多摄像机的应用。下面分别就单目标跟踪技术、多目标跟踪技术以与多通道视频目标跟踪技术的国外研究现状做介绍。1. 单目标跟踪技术目标跟踪是计算机视觉的一个重要环节，并在军事和民用领域有着广泛的应用。早在二战之前，世界上第一部跟踪雷达站SCR-2

27、8的出现标志着目标跟踪技术已经应用到军事领域。之后，随着科学技术的发展，一系列的跟踪系统涌现而出，目标跟踪理论和方法得到飞速发展。70年代，卡尔曼滤波理论3在目标跟踪领域的成功应用，使得目标跟踪技术得到人们的普遍关注。之后，各学者在该领域展开大量的研究工作，一些新型的目标跟踪技术相继产生，比如粒子滤波4、区域匹配5、特征匹配6等技术，结合这些技术产生了多样化的跟踪方法，进一步推动了目标跟踪技术的飞速发展。目前，常用的目标跟踪方法有基于特征的目标跟踪方法、基于模板匹配的目标跟踪方法和基于粒子滤波的目标跟踪方法等。（1）基于特征的目标跟踪方法在序列图像中，如果在每幅图像中都可以根据特征来确定目标，

28、即可实现目标的跟踪。因此找到并提取出具有良好描述以与较强分类性能的图像特征是解决基于特征的目标跟踪的关键问题。通常提取的目标特征具备以下几个特点7：可区分性、可靠性、独立性。而常用的特征有如下几类:描述图像灰度分布的统计特征、描述几何形状的特征、颜色特征、纹理特征、矩特征、角点特征。基于特征跟踪的方法多种多样。基于角点特征的跟踪要求能够准确的检测并描述角点。对于角点检测，目前主要分为两类方法：基于图像边缘的方法和基于图像灰度的方法。基于图像边缘的方法对边缘提取算法的依赖性比较大，计算复杂且不能很好地定位角点，而基于图像灰度的方法则避开了这些缺陷。常用的角点检测方法如SUSAN算法8、Harri

29、s特征点检测算法9、SIFT算法10等。基于颜色特征的跟踪主要针对跟踪目标本身的颜色信息，即用于匹配的特征是像素灰度值、颜色直方图等。前者直接利用模板图像与待匹配图像的对应像素处的灰度值，通过统计方法计算距离或相关程度来量测两者的相似程度；后者利用模板图像与待匹配图像的颜色直方图（可以是灰度直方图，也可以是在某颜色空间上的某颜色分量直方图），根据直方图得到的统计特征，来比较两者的相似程度。常用的基于颜色特征的目标跟踪方法如基于颜色直方图的投影图匹配算法、mean-shift算法11、Camshift算法12等。基于不变矩特征的目标跟踪考虑其具有旋转、平移、尺度变换等特性的不变性，用几个几何矩来

30、表征目标的图像区域，完成图像的分类等操作。常用的矩特征如Hu不变矩13。利用图像的特征，如颜色、亮度、角点等，即可进行目标的跟踪。在进行跟踪时，可以利用某种方法对两幅图片进行比较，根据比较的结果实现跟踪，如帧间差分法；可以将两种或多种特征结合在一起，在跟踪时就可以排除非目标特征点的干扰，如利用直方图构造不变矩，利用角点进行向量匹配等；也可以根据特征在不同图片中进行模板的匹配；还有一些利用图像中目标的运动特征来进行跟踪。（2）基于模板匹配的目标跟踪方法模板匹配的基本思想是预先存储一个目标模板，后续的匹配过程中用该模板与实际图像中的各个子区图像进行匹配（计算相关函数值），以与目标模板相似度最高的子

31、图像位置为当前目标的位置14。模板匹配方法简单、直观实用，且定位灵敏度高，对动态物体有很好的即时响应性。但是，它的相关运算计算复杂，且对尺度、旋转等目标变形以与目标自身特征变化问题的适用性差。图像模板匹配算法可以分成基于灰度值法以与基于特征的提取法两大类。基于灰度值相关的方法简单易行，具有较高的匹配精度，且不损失图像信息，对复杂图像具有良好的适应性，同时，无需对匹配对象进行分割和特征提取，只需计算模板与匹配子图的相似度即可实现匹配。但是，它对噪声和图像的光照变化比较敏感，且相似度算子计算量大，不适用于目标出现旋转缩放情况的场合。常用的灰度匹配算法如平均绝对差算法（MAD）、归一化积相关法（NC

32、C）、差的平方和相关法（SSD）、差的绝对值和相关法（SAD）、序贯相似性检测法15（SSDA）等。特征提取方法一般涉与大量的几何与图像形态学计算，计算复杂度小，计算量大，没有一般模型可遵循，需要针对不同的应用场景选择各自特定的特征。常用的特征提取算法如方向码法16、圆投影法17等。关于模板匹配算法的改进，大多是针对算法的计算量来考虑的，它关乎到匹配的速度问题。任何一个匹配算法的总计算量都为相关算法的计算量和搜索位置数之积。因此，可以通过相应的方法减少相关算法计算量或者搜索位置数，从而达到快速匹配的效果。常用的减少相关算法计算量的方法如相关系数最大值的快速模板匹配算法、差分求和法、多值模板法。

33、常用的位置搜索方法如逐步搜索法、均匀搜索法、分精度搜索法、二维对数搜索法、三步搜索法、分层搜索法。（3）基于粒子滤波的目标跟踪方法粒子滤波是蒙特卡罗法和贝叶斯法的结合。该方法通过非参数化的蒙特卡罗法实现递推贝叶斯估计，基本思想是利用一组随机抽取的赋予权重的样本近似状态的概率分布。粒子滤波可用于任意非线性、非高斯系统的状态估计，且精度逼近最优估计18。但同时，相对传统线性模型下的卡尔曼滤波，粒子滤波的算法复杂度高，计算量较大。基于粒子滤波的目标跟踪包括如下六个步骤：跟踪的目的，即求解目标的状态。常用的目标状态有目标的空间位置、目标姿态等信息如旋度、尺度等；目标的先验知识，即跟踪目标区别与其他目标

34、的特征。常用的目标特征如灰度、轮廓、颜色等；系统的状态转移，即目标状态随时间的更新过程；系统观测，即目标传播之后对目标状态进行验证；后验概率的计算，如常用的加权准则中每个粒子根据自身权值判定其重要性，决定最终的结果；粒子的重采样，即保留权值较大的粒子，抛弃权值较小的粒子。由于在传播过程中，部分粒子偏离实际目标，权值会变小，无需耗费无谓的计算可以抛弃，只有少数具有较大的权值粒子需要保留。关于粒子滤波的研究越来越深入，其中一些不可避免的问题凸显而出，如退化问题、重要概率密度函数选择问题、样本贫化问题。针对上述问题，一些关于粒子滤波的改进方法相继出现，如序贯重要采样粒子滤波器18、辅助变粒子滤波器1

35、9、正则粒子滤波器20、自适应粒子滤波器21等。该类方法的出现进一步丰富了粒子滤波理论。2. 多目标跟踪技术计算机数据处理能力的提高以与图像处理技术的发展，多对象目标的实时追踪技术脱颖而出。多目标跟踪的概念首先由Wax于1955年提出，认为多目标跟踪类似于原子物理学中噪声背景下确定每个粒子路径的问题，从而提出了航迹的起始、维持和消除等问题。1964年，Sittler提出了多目标点迹与航迹的最优数据关联贝叶斯方法，该方法在关于数据关联等容的多目标跟踪理论方面取得了开创性突破，进一步完善了多目标跟踪理论。1970年，Singer和Bar Shalom研究了一些简单环境下的目标跟踪技术，并使数据关联

36、技术与卡尔曼滤波理论有机结合，令多目标跟踪技术进入了新的发展阶段。然而卡尔曼滤波技术只能应用于线性高斯场合，上世纪九十年代粒子滤波理论的出现，使得人们可以处理非线性、非高斯的状态估计，再一次推动多目标技术的发展。此后，广大学者仍致力于该技术的研究，并衍生出了微波单探测器多目标跟踪技术以与多探测器多目标跟踪技术。此外，随着人工神经网络技术的飞速发展，神经网络的自组织、自学习能力，令其具备较强的记忆、选择、抽象和识别能力，使得通过神经网络实现多目标跟踪成为当前的一个研究热点。由于跟踪对象不同，图像获取设备各异以与跟踪算法的多样性，目前没有一种多目标跟踪方法能够应用到所有领域，但各国学者仍致力于该技

37、术的研究，并努力改进或寻求新的算法以获得更优的跟踪效果。基于多特征融合的多目标跟踪算法22,23考虑单一的特征信息不能确保充分描述目标，因此选择多种特征表征目标。文献22中用纹理、颜色、运动信息三种特征相结合来描述目标，可以充分的描述各个目标，达到预期的跟踪效果。但是该算法采用固定不变的特征模板，当目标背景发生变化会导致跟踪失败。文献23针对上述问题提出了多特征融合的自适应模板更新的多目标跟踪算法，能够实时在线更新目标模板，达到多个目标的稳健跟踪。基于运动信息的多目标跟踪算法考虑目标的运动情况，实现简单方便，常用的如光流法、背景差分法。基于3D空间的多目标跟踪算法24,25考虑在3维图像中目标

38、的位置能够唯一确定，可以有效的解决目标间的遮挡问题。文献24提出了一种基于粒子滤波的多摄像头3D多人跟踪算法，对3D模型的人应用粒子滤波进行跟踪，利用目标空间位置的唯一性，可以很好的解决多人间的遮挡。文献25中提出了基于MCMC的3D多目标跟踪算法，目标由两个椭圆体表示，状态向量用3D坐标表示，用联合状态空间表示多目标，计算两个椭圆相交区域与相并区域像素点个数的比值，并作为当前的状态权值，其最优位置估计为当前所有状态值的加权。基于数据关联的多目标跟踪算法26,27通过计算当前帧观测值与所有可能跟踪目标的相关联概率实现多目标的跟踪。常用的数据关联算法有联合概率数据关联法（JPDA）26，多假设滤

39、波法（MHF）27等。基于神经网络的多目标跟踪算法28把真实世界中的运动目标映射到神经网络特征图中进行研究，神经网络通过竞争学习，最终只有一个输出单元获胜，它即为目标跟踪的下一个点。混合多目标跟踪算法29,30考虑不同跟踪算法的优劣性，混合几种算法实现多目标的跟踪。如文献30中提出了一种基于mean-shift和粒子滤波的多目标跟踪算法，在目标间无遮挡的情况下利用mean-shift法实现目标的快速跟踪；在目标间存在遮挡的情况下利用粒子滤波实现目标的跟踪，从而有效的解决多目标跟踪过程中的遮挡问题。3. 多通道视频目标跟踪技术单摄像机中运动目标跟踪技术的成熟以与单摄像机视野有限、遮挡等问题的出现

40、，使得众多科研机构以与工作人员着手研究运动目标在多摄像机下的应用，并取得较好的效果。多通道视频中的目标跟踪不仅要求在单通道摄像机下稳健跟踪目标，更要求对目标在不同摄像机视频通道中实现连续跟踪。常用的不同视频通道中的目标连续跟踪方法有基于几何变换的方法31、基于特征融合的方法32、基于摄像机视野分界线的方法33。基于几何变换的方法通过建立多个摄像机监控场景之间的空间映射关系，实现不同摄像机中相同目标的一一对应；基于特征融合的方法利用目标的多个特征信息如颜色、轮廓、形状、位置来建立目标的对应关系，在匹配过程中，利用多个特征实现相同目标的一致匹配；基于摄像机视野分界线的方法利用视野分界线确定目标在不

41、同摄像机视野的交接位置，实现相同目标的一致匹配。目前世界上很多学者已经对多通道视频的目标跟踪系统展开了大量的研究工作。国外对多通道视频跟踪系统的研究起步较早。早在1996年，日本学术振兴会着手主持的CDV Project34项目，该系统由携带多个摄像机并具有实时图像处理能力的观测站和移动机器人组成，能够实现动态变化真实场景的实时分析和理解；1997年美国国防部高级计划署(DARPA)设立的视觉监控项目VSAM(Visual Surveillance And Monitoring)35，该系统用主要用于战场与普通民用场景的实时多运动目标的自动检测与跟踪。在跟踪过程中，采用位置预测与模板匹配技术，

42、能够有效完成目标运动分析，如人类活动预测或异常行为报警等；1999年美国马里兰大学研制出实时监控系统W4 36，该系统结合轮廓分析和跟踪技术，通过灰度或红外摄像机定位分割出人的身体部分，建立简单的人体轮廓模型实现多个人体目标在有遮挡情况下的跟踪，该系统同时具备检测人是否携带物体等简单行为的能力；2000年佛罗里达中央大学的KNIGHT系统37可通过计算机视觉技术检测出监控区域目标的变化情况，并对重要事件和相关人的行为进行标柱；2003年意大利摩德纳大学的SAKBOT系统38；2004年IBM的Smart系统39不仅可以自动监视某个场合，还能够监视数据信息执行事件的检索，并通过相应的网络设施实时

43、报警；2004年由欧盟资助，雷丁大学与法国INRIA等研究机构联合实施的智能监控项目ADVISOR40，该系统主要用于地铁站的安全监控，其目的是缓解城市交通压力。国对多通道视频目标跟踪系统的研究起步相对较晚，研究领域涉与目标检测、跟踪、分类与运动行为分析等，并取得了较大的成果。目前，中科院自动化研究所、工业大学、清华大学、西北工业大学、交通大学等单位或学校正着手视频目标检测跟踪和人体运动分析等方面研究工作。中科院自动化所模式识别国家重点实验室借鉴英国雷丁大学研制的Views系统，设计出交通监控原型系统，实现交通视频场景中车辆的自动检测、定位、跟踪；工业大学模式识别与智能控制研究中心研究出一种基

44、于多区域视频对象的跟踪系统，该系统在短道速滑运动中得到广泛应用；清华大学电子工程系研制出一种智能监控系统，该系统以计算机为辅助，完成运动目标自动检测、跟踪和分类，可解决户外复杂背景下人体无法准确识别的难题。同时，国一些安防监控领域的开发商也致力于该方面的研究，如海康威视，长期以来致力于不断提升视频处理技术和视频分析技术，提供面向全球的领先监控产品，其智能视频监控产品已广泛应用于交通、金融、企业、家庭等各个方面。1.3 本文主要研究容与章节安排本文主要研究多通道视频目标跟踪系统包含的一些关键技术，并构建一实际场景下的系统运行平台，完成一个或多个目标在单个摄像机以与多个摄像机中的连续、接力跟踪。主

45、要容分为两个方面：多通道视频目标跟踪系统中的关键技术研究，包括单目标跟踪技术、多通道视频中的多目标跟踪技术；系统的构建，通过摄像机、图像采集卡、传输线、中心服务器共同搭建一应用于实际场景的系统平台，实现一个或多个目标的自动跟踪，并在目标由一个摄像机视野进入另一个摄像机视野时，实现对应目标的连续跟踪。下面简要地介绍本文两方面的主要工作。1. 多通道视频目标跟踪系统的关键技术研究（1）单目标跟踪技术对当前新兴的一种高效目标跟踪方法TLD研究分析，并加以改进提出了一种改进的TLD目标跟踪方法，能够获得比TLD算法更理想的跟踪效果。该算法具有以下的改进：在TLD的跟踪器中采用Cell FoT+进行设计

46、，取代原始TLD算法中的Grid FoT+FB+NCC法，该方法不仅具有较强的跟踪精度和鲁棒性，而且也提高了运算速度；在TLD的检测器中引入Kalman滤波器预测TLD在当前帧上的目标检测区域，从而缩小了TLD算法中的检测围，在跟踪精度基本保持不变的情况下提高TLD算法的处理速度；在TLD的检测器中加入了基于Markov模型的方向预测器，提高了TLD对相似目标交会后的辨识能力。（2）多通道视频中的多目标跟踪技术在改进的TLD目标跟踪方法的基础上，提出了一种基于改进TLD的多通道视频中多目标跟踪方法，该方法选取改进TLD方法中的目标位置、大小、目标模型、分类器四个量在线描述一个目标的信息，并支持

47、目标信息的在线更新。通过设计一个高效的多通道视频目标跟踪系统的数据表示格式记录所有视频通道中的全部目标信息。依次遍历各个视频通道的帧图像，在任一视频通道的帧图像中，根据多通道视频目标跟踪系统数据表示格式中记录目标信息遍历所有目标，找到该视频通道帧图像上存在的目标。2. 多通道视频目标跟踪系统设计设计一个应用于实际场景中的多通道视频目标跟踪系统，该系统由摄像机、传输线、图像采集卡、中心服务器组成。摄像机、传输线、图像采集卡作为图像数据的采集装置是整个系统的输入部分，每路摄像机负责相应图像信息的采集，通过传输线送入图像采集卡，接着由图像采集卡完成图像信息的数字化，三者相互协作完成多路图像的实时采集

48、；中心服务器实现系统的算法功能以与结果显示，通过分析和处理每一路图像序列，实现一个或多个目标在单个摄像机以与多个摄像机中的连续跟踪，且最终目标详细的运动信息在中心服务器上显示出来。基于上述的研究容，本文的章节安排如下：第一章是绪论。第二章详细介绍了TLD目标跟踪方法。第三章对TLD目标跟踪方法加以改进，提出了一种改进的TLD目标跟踪方法，并给出了与原始TLD方法在多个图像序列中的测试结果比较。第四章在改进后的TLD目标跟踪方法的基础上，提出了一种多通道视频中的多目标跟踪方法，并给出了该方法的测试结果。第五章采用摄像机、传输线、图像采集卡、中心服务器构建多通道视频目标跟踪系统的硬件架构，并融入基

49、于改进TLD的多通道视频中多目标跟踪技术，搭建一个实际场景下的多通道多目标跟踪系统。最后通过实验对所设计的目标跟踪系统进行了测试。第六章为总结与展望。对文中的工作进行了总结，指出工作中存在的一些不足，并明确了下一步的研究方向。第二章 TLD目标跟踪方法介绍目标跟踪是计算机视觉研究领域中的关键问题，其本质是根据参考图像帧中选定的目标在随后的实时图像帧中寻找目标的最正确位置，并在多个领域有着重要的研究和应用价值,如民用领域中的智能交通系统，军事领域中的导航、制导、以与防卫等系统。一套性能优良的跟踪系统面临着多个方面的挑战，如跟踪点变化、光照影响、快速运动、目标遮挡或消失、复杂背景等。标准的跟踪方法

50、，如光流法41在执行逐帧跟踪时都假设没有完全的遮挡或者目标消失，这类算法又被称为短期跟踪器，关于这类方法的研究工作目前都集中在提高速度、精度或者开发更可靠的方法来延长跟踪器作用时间42，这些研究都不直接解决发生跟踪错误后的处理方法，因此不能直接用在长时间目标跟踪的问题上。长期跟踪器要求跟踪器能够运行在一个无限长的视频流中，那么跟踪器自身应具备一定的检测能力，这样当被跟踪的目标被遮挡或者消失而导致跟踪失败的时候，可以利用检测器重新检测到再次出现的目标然后再进行跟踪。基于检测的跟踪方法43或者融合了检测器的跟踪方法44,45使得跟踪器具备了检测能力。但是，此类跟踪器所用的检测器必须在跟踪之前就进行

51、设计和训练，这样如果感兴趣的目标事先未知，这类跟踪器就不能使用。最重要的是，此类检测器的训练不光需要大量的已标签的训练数据46，而且需要一些相对复杂的方法47,48来提取训练数据。另外，这些方法会将检测器的训练和测试分成两个单独的过程，从而导致一些在训练集中未出现的表征目标外表变化的信息永远不能加入到模型中。长期跟踪器需要考虑多方面的问题，其中最重要的是当目标消失后再次出现在摄像机视野中，目标外表发生变化，而检测器如果仅由初始目标外表信息训练得到，将导致后续跟踪错误。自适应的跟踪方法能够很好的解决跟踪过程中目标外表变化的问题。此类跟踪方法大体上可以分为两类：逐帧更新法和有选择的更新法。逐帧更新

52、法49-51以当前时刻目标的最正确跟踪结果更新目标模型。在跟踪精度较高的情况下，这种方法能很好的解决目标外表变化的问题。但是，如果跟踪精度不高，这种方法也可能会加速跟踪的失败。有选择的更新法考虑到跟踪结果不总是正确的，因此只在跟踪所得目标与目标模型接近52或者新的未标签的数据能通过半监督学习的方式被融入到目标模型中时才对模型进行更新。TLD 53是当前新兴起的一种高效视觉目标跟踪方法，相比其他传统算法具有长期、在线、最少先验信息的特点。长期是指处理的图像序列可以是无限长并且可能含有帧修剪、快速的摄像机运动以与目标短暂消失等情况。在线是指只利用当前和之前时刻所能获得的信息来跟踪目标。最少先验信息

53、是指事先没有任何关于目标的信息，关于目标的唯一信息来自于在初始帧人为选定的目标区域。该方法只需要较少的先验信息就可以实现对任意目标的长期在线跟踪，运算速度快，实时性高，并且能有效的适用于目标被遮挡或者消失的场合和目标外表在跟踪过程中发生变化的情况，因此具有较高的研究实用价值。2.1 TLD算法框架结构TLD主要由三个部分组成：跟踪器、学习模块、检测器。跟踪器部分由一个短期自适应跟踪器构成，在帧间运动有限、目标可见的情况下，用来预测目标在连续帧间的运动。检测器部分为一个高效的级联分类器，创建使用了简单有效图像特征，可以对目标进行实时的检测，同时在必要的情况下纠正跟踪器。学习模块评估跟踪器和检测器

54、的性能，通过生成有效的训练样本完成检测器的更新，消除检测器误差。TLD算法的框架结构如图2.1所示。在跟踪目标的起始帧，通过给出目标的位置和大小，完成对TLD算法的初始化。在随后的跟踪过程中，对每一帧图像用跟踪器和检测器共同进行处理。跟踪器根据前一帧中目标的位置和大小信息来估计当前帧中目标所在的区域。检测器对当前帧窗口全局扫描，检测出一个或者多个可能的目标区域。检测结果和跟踪结果输入到融合处理模块，该模块给出当前帧是否存在目标、目标区域以与当前帧的跟踪轨迹是否有效等信息。这些融合处理结果、联合检测结果和跟踪结果一起输入到学习模块，学习模块完成对跟踪器和检测器的更新。图2.1TLD算法框架结构图

55、2.2 TLD算法主要模块本节对TLD算法各个模块进行详细的介绍。2.3.1节为跟踪模块的介绍，2.3.2节为检测模块的介绍，2.3.3节为学习模块的介绍，2.3.4节为融合处理模块的介绍。2.2.1 跟踪模块TLD中的跟踪模块为采用Median Flow 方法54所设计的短期自适应跟踪器。它采用了金字塔的Lucas-Kanade方法作为基本跟踪方法并融入了Forward-Backward Error54作为跟踪结果是否优良的评测手段。1. 金字塔的Lucas-Kanade方法和Forward-Backward Error方法介绍（1）金字塔的Lucas-Kanade方法Lucas-Kanad

56、e方法41是最常用的光流估计技术，它只需要每个感兴趣点周围小窗口的局部信息即可，计算速度快、应用简单。Lucas-Kanade方法的基本原理是对图像中的每一像素点赋予一个速度矢量，从而形成一个图像运动场。考虑光流矢量运动的连续性，若图像中目标与背景发生相对运动，表征目标的速度矢量将不同于邻域背景速度矢量，从而检测出运动的目标与位置。由于Lucas-Kanade方法只用到每个感兴趣点周围小窗口的局部信息，如果存在较大的运动这些点将会移出这个小窗口，从而造成后续帧中无法再找到这些点。金字塔的Lucas-Kanade方法可以很好的解决这个问题，即从图像金字塔的最高层（细节最少）开始向金字塔的底层（细

57、节最丰富）进行跟踪。这样金字塔的Lucas-Kanade方法允许用小窗口捕获较大的运动。（2）Forward-Backward Error金字塔的Lucas-Kanade方法是一个点跟踪问题，其实质是在时刻跟踪一个点，要求预测时刻该点的位置。但实际所跟踪的点中，会有一些点在跟踪过程中发生很大的变化或者突然的消失，这种情况经常会导致跟踪的失败。Forward-Backward Error能够很好地解决目标遮挡或者目标消失而导致点跟踪失败的情况。Forward-Backward Error的基本思想：跟踪器从初始帧到最后一帧跟踪每一帧图像上的一系列点，形成一个轨迹。接着，选择最后一帧上的点坐标作为

58、校验轨迹的起始点。跟踪器从最后一帧向初始帧进行点跟踪，形成一个校验轨迹。最后，对这两个轨迹进行比较，计算两者之间的差异用于评测跟踪的效果。Forward-Backward Error介绍如下。定义Forward-Backward Error的两个特征点轨迹，如图2.2所示。定义为一图像序列，为时刻的一点坐标。对点进行向前帧的跟踪，得到一个轨迹，其中代表向前跟踪，代表轨迹的长度。由于此处的目的是评估的误差，所以需要创建一个校验轨迹。对点向后进行跟踪，得到校验轨迹，其中。最后，通过计算两轨迹间的欧式距离得到Forward-Backward Error值，其计算公式为：。Forward-Backwa

59、rd Error的一个主要优势在于可以应用于多种点跟踪器中，并且实现简单方便。图2.2Forward-Backward示意图2. 采用Median Flow方法的短期自适应跟踪器的实现在实际的目标跟踪中，所跟踪的点往往是相互有关联的，比如说表征目标的点集往往是一起运动的。考虑到这些情况，TLD的跟踪器采用了一种新型鲁棒性强的Median Flow方法，将金字塔Lucas-Kanade方法作为基本跟踪方法，引入Forward-Backward Error作为跟踪效果在线评估手段，实现性能优良的短期目标跟踪。Median Flow短期自适应跟踪器的整体流程包括5个部分：初始化目标边界框点集、跟踪点

60、集、计算评估跟踪误差、去除错误点、更新目标边界框。如图2.3所示，整个流程的任务是要求通过在图片中获得目标初始化点集和目标边界框，跟踪得到在图片中表征目标的点集和目标边界框。具体讲，对边界框初始化一个1010的格子，生成100个点集。接着，这些点通过金字塔的Lucas-Kanade方法进行跟踪，得到一个从到的稀疏运动场。然后，两幅图像中的每对对应点通过Forward-Backward Error方法进行误差的评估，同时还引入常用的NCC（normalized cross-correlation）作为误差评估的一个补充。接着，所跟踪的点集中误差值最大的50%点被认为跟踪效果不佳而被去除。最后，剩

61、余的50%点将被用来预估目标边界框从到的位移和大小的变化。通过剩余的被认为跟踪准确的点来求取目标边界框的变化包括有两个任务，分别是二维空间的位移和边界框大小的变化。其中位移的变化是：首先计算所有剩余对应点的位移，然后求它们的中位值，该值即为边界框的空间位移变化。边界框大小变化的计算是：首先对每对点计算在当前图像中距离与在下一帧图像中的距离之间的比例变化，然后求取所有比例变化的中位值，该值即为边界框大小的变化。每一次跟踪，跟踪器都会在目标的边界框中重新初始化新的跟踪点集，从而使跟踪器具有了较好的自适应能力。Median Flow 方法所设计的短期自适应跟踪器实现方便、简单，同时，可靠性和鲁棒性强

62、，能够很好地适用于跟踪目标部分被遮挡的场合。图2.3基于Median Flow思想设计的短期自适应跟踪器的效果图2.2.2 检测模块检测模块是一套完整的跟踪系统中不可缺少的部分。一旦被跟踪的目标突然被遮挡或者消失而导致跟踪失败的时候，检测模块的检测器能够检测出再次出现的目标，使跟踪系统能够继续跟踪该目标。检测器要求快速、可靠，能够有效的调整决策域，处理在线模型中的特征数据。目前高效的实时目标检测器通常是基于AdaBoost算法46的检测器，这类检测器不仅需要大量的训练序列，而且数据训练的计算量大。而其他的一些检测器55尽管训练快速高效，但是检测器在逐渐适合于新的样本数据的同时会逐渐抛弃原先的样

63、本数据。而我们需要一种检测器，它能够将新的样本数据存放于在线模型，并一直保存在模型中，除非通过学习判断将其主动从模型中移去。TLD检测模块中的检测器是基于扫描窗口策略46，在初始帧图像上，根据初始目标的位置和大小，以子窗口的形式给出所有可能的具有不同位置与大小的目标边界框（子窗口），在接下来的每一帧图像中，以窗口扫描的形式通过一个级联分类器对每个子窗口的图像容进行判断，决定是否为目标。1. 先决条件（1）目标模型通常情况下，目标可以由它的状态表征。状态可以是目标的边界框，也可以是一个表示目标可见与否的标识值。边界框有固定的长宽比，长宽比通常由初始的边界框给出，表征边界框的参数通常是它的位置和大小。任意两边界框的相似度由两者之间的交叠程度度量。目标由图像区域表示，图像区域为一个从目标边界框采样并且归一化的大小为1515的灰度图像区域。图像序列中，每帧图像中的图像区域共同组成目标所有可能的外表特征轨迹，决定目标的可见与否。定义目标模型，用来表示目标以与周围的背景。它由一系列positive和negative图像区域组成，其中和分别代表目标和背景图像区