高性能目标跟踪系统设计及算法研究毕业论文

《高性能目标跟踪系统设计及算法研究毕业论文》由会员分享，可在线阅读，更多相关《高性能目标跟踪系统设计及算法研究毕业论文（32页珍藏版）》请在装配图网上搜索。

1、本 科 毕 业 设 计（论文）题 目：高性能目标跟踪系统设计及算法研究高性能目标跟踪系统设计及算法研究摘 要目标跟踪的研究是数字图像处理、计算机视觉和人工智能发展方向的一个重要课题。其应用领域也越来越广泛，在民宅、公共场合等的监视，智能交通中交通流量的监控、车辆异常行为检测，军事领域等场合中，目标跟踪发挥着越来越重要的作用。针对当前目标跟踪系统建立在PC机，携带不方便，实时性差等缺点，以及已有系统处理器性能低，不能运行复杂的目标跟踪算法的问题，本项目设计了一套浮点和定点通用的高性能DSP目标跟踪系统。整个系统分为硬件部分和软件部分，硬件设计的实现方法是将FPGA用于图像采集底板设计，与创龙公司

2、TL138-6748的DSP核心板相结合，搭建目标跟踪的硬件平台。软件方面，FPGA执行视频采集和转换功能，DSP运行相关跟踪算法，以完成稳健的目标跟踪，实现目标跟踪系统的小型化、智能化。测试表明，设计的系统能够运行较复杂的目标跟踪算法，满足目标跟踪中实时性的要求。关键词：目标跟踪；FPGA；DSP；视频采集The Design of High Performance Target Tracking System and Algorithm ResearchAbstractThe research of target tracking is an important topic in the

3、development of digital image processing, computer vision and artificial intelligence. And its application field is more and more widely. Target tracking plays a more and more important role in homes, public surveillance, traffic flow in intelligent traffic monitoring, vehicle behavior detection, mil

4、itary field and so on.The current target tracking system is based on PC, which has some shortcomings such as the carrying is not convenient and the poor real-time performance. As well as the existing system processors performance is so low that they cant run complex target tracking algorithms. This

5、project design a set of high-performance DSP target tracking system whatever the date is floating-point and fixed-point. Hardware design uses FPGA as Main controller, and combined with TL138-6748 DSP core board Designed by Guangzhou Tronlong Electronic Technology Company to build target tracking har

6、dware platform. In the software design, the FPGA is employed to capture and convert videos, and DSP runs correlation tracking algorithm in order to complete a stable target tracking system and make the system achieve miniaturization and intelligent. Tests show that the design of the system can run c

7、omplex target tracking algorithm and meet real-time requirements.Keywords：Target Tracking；FPGA；DSP；Video Capture目 录第1章 引言11.1 课题研究背景意义11.2 国内外研究现状11.3 系统结构31.4 论文的主要内容3第2章 系统方案设计52.1 系统架构方案52.1.1 系统结构52.1.2 数据通道简介52.2 DSP选型62.3 FPGA选型82.4 本章小结8第3章 系统硬件设计93.1 系统结构的设计93.2 电源模块设计93.3图像采集底板与DSP图像处理板接口模块

8、103.4 视频解码模块113.4.1 模拟视频解码模块113.4.2 Camera Link 协议113.4.3 数字视频解码模块133.5 串口模块143.6 网口模块153.7 JTAG接口153.8 本章小结16第4章 系统软件设计174.1 系统软件架构174.2 FPGA软件设计174.3 DSP软件设计184.3.1 DSP与FPGA通信设计184.3.2 TVP5147配置194.3.3 目标跟踪算法移植204.4 目标跟踪214.5 本章小结23第5章 总结24致 谢25参考文献26第1章 引言1.1 课题研究背景意义目标跟踪是一种以计算机科学与信号处理学科为理论基础的技术，

9、是模式识别、图像处理、计算机视觉、武器制导等领域的重要课题1。目标跟踪系统已经在诸多领域广泛应用2。在对重要场合诸如民宅、公共场合等的监视，智能交通中交通流量的监控、车辆异常行为检测，以及军事领域中，目标跟踪都发挥着不可替代的作用。由于背景环境的复杂多样以及目标遮挡变形等因素的影响，现有的跟踪系统往往不能对目标进行有效跟踪。如何对感兴趣的运动目标进行准确稳定的跟踪仍是我们需要解决的重点和难点问题。因此，本课题的研究具有实际使用价值。1.2 国内外研究现状当我们选定感兴趣的目标以后，目标跟踪的任务就是从视频序列的每一帧图像中找到目标。跟踪大致可分为以下步骤3：（1）描述目标：目标跟踪前我们需要对

10、目标进行特征提取来描述目标；（2）相似性计算：对搜索区域和目标模板进行相似度计算； （3）目标区域搜索匹配：我们通过某种方式，对目标可能出现的区域进行估算，只对目标可能出现的区域进行计算，这样可以有效的减少计算量，提高目标跟踪系统的实时性。目标跟踪系统一般包括视频采集单元、视频处理单元、伺服电机单元、上位机控制单元。视频采集单元负责接收相机的视频信号，转换视频格式后传送到视频处理单元。视频处理单元运行跟踪算法来对图像进行处理。视频处理单元由硬件和跟踪算法组成，是整个系统的核心，决定了系统的准确性、鲁棒性和实时性。高性能的硬件平台和高效的跟踪算法是跟踪系统准确、稳定、快速的必要条件。目标跟踪不仅

11、可以提供被跟踪目标的运动轨迹，并且能够为目标的行为检测和运动分析提供可靠的数据。现有目标跟踪方法可以分为基于特征、基于模型、基于区域、基于预测的方法4。（1）基于特征的跟踪方法根据目标的形状、颜色、纹理和边缘等特征对目标进行描述来实现跟踪任务。这些特征需要有高度的稳定性，不易随外界条件的改变而发生变化。这样，即使目标被部分遮挡，可以依靠目标的部分特征进行跟踪任务。（2）基于模型的跟踪方法此种方法依赖于目标的先验知识。首先训练图像数据对目标建模，通过匹配目标模型来跟踪目标。对人进行跟踪时，通常分为线图模型、2D模型和3D模型。对于车辆的跟踪多运用3D模型进行跟踪。（3）基于区域的跟踪方法 通常采

12、用基于纹理和特征、基于颜色的相关算法对图像进行处理。运行相关算法，将目标模板与视频图像中的区域进行比对来跟踪目标。当目标被较大遮挡或目标变形较大的场景容易导致目标的丢失。（4）基于预测的跟踪方法卡尔曼滤波是一种数据处理方法，能够极大减小均方误差，被广泛应用于目标跟踪。它只需要借助当前测量值和上一状态的估算值，引入状态空间就可以获得新的估算量。减少了计算量，加快了系统的运行速度。早在20世纪70年代，以Badler，Hogg和Potter等人为代表5已经开始了目标跟踪的研究；1988年，M. Kass，A.Witkin和D.Terzopoulos提出了Snake算法6，并成功应用该算法跟踪嘴唇的

13、运动。1997年美国国防高级研究计划署（ARPA）联合萨尔诺夫公司以及卡梅隆大学一起研发了视觉检测和监控系统VSAM（Visual Surveillance and Monitoring）7。该系统用于全天候实时监测重点设施和场合的安全。90年代末，欧盟IST设立重大项目ADVISOR（Annotated Digital Videofor Surveillanceand Optimised Retrieval）8旨在开发一个系统来有效的管理公共交通系统。美国马里兰大学研究的W4项目9。通过目标轮廓建立3D模型实现人体跟踪，系统不仅可以识别人体各身体部分，并能判断简单的人物行为和姿势。Huang

14、致力于研究车辆跟踪。他提出基于概率的跟踪算法，利用颜色均值对目标进行建模，默认转移时间满足高斯分布，通过权值分配将进行目标标识10。此外，还有提出了目标跟踪的多种算法。例如“模板匹配与相关系数法”、“光流分割法11-12”、“mean-shift算法13-14”等。模板匹配法，首先提取目标信息来建立模板，通过在图像序列中寻找目标模板的位置来实现跟踪。将图像序列中的区域与目标模板比较，找到与目标模板相关系数最大的子区域作为目标当前位置。光流分析法是运动目标检测的重要方法。它从图像中获得目标像素的运动矢量，可以在不知道背景条件下找到运动目标。但其在光线变化、环境改变情况下跟踪效果不理想，计算量大。

15、Mean-shift算法选择合适的核函数以及估计来描述目标模板，相似性度量函数使得目标周围邻域内相似性度量曲面为平滑的上凸曲面，然后用Mean-shift算法快速找到极值点来确定目标在当前帧中的位置。方法比较稳定，速度快，跟踪效果好。但不适用于目标运动速度较快的场合。国内近年来对目标跟踪也越来越重视，取得了不错的成绩。例如中科院自动化模式识别国家重点实验室建立了一套视频运动目标分析系统，系统能够实时监控室外场景，对目标进行运动状态分析，并可进行多生物特征识别。杭州海康公司也在着手研发下一代运动目标分析系统。但是当前目标跟踪系统多建立在PC机上，携带不方便，实时性差，并且没有一种算法能够很好的适

16、应各种环境。目标跟踪背景复杂多变、光照条件变化、目标被遮挡、目标变形、目标快速移动等都会导致跟踪目标丢失。因此，研发高性能的便携目标跟踪系统很有必要。1.3 系统结构为此本文设计了一种以TMS320C6748数字信号处理器为核心的目标跟踪系统。该系统由DSP图像处理板、图像采集底板、摄像头和显示屏构成。系统兼容模拟和数字视频输入，采用Cyclone II系列FPGA进行信号转换和滤波，将视频图像数据送入浮点和定点通用的DSP平台，运行相关算法处理视频图像，进行目标跟踪，将跟踪效果实时显示在LCD屏或PC机。该系统有效的提高了图像处理速度，方便携带，能够稳定、准确的进行目标跟踪。1.4 论文的主

17、要内容本文需要研究设计基于浮点DSP+FPGA的目标跟踪系统的硬件平台，对其进行软件设计并移植准确稳定的目标跟踪算法，使其满足小型化、智能化、实时、便携的需求。第一章，阐述了目标跟踪的研究背景，介绍了目标跟踪的几种方法及其优缺点，并回顾了国内外目标跟踪系统的发展。第二章，介绍了系统整体结构框架。根据系统要求分别对图像处理板和图像采集底板的核心芯片进行选型。第三章，介绍了系统硬件设计，分别从电源模块、图像采集底板与DSP图像处理板接口模块、视频解码模块、串口模块、网口模块、JTAG模块的设计详细展示了硬件系统构成。第四章，介绍了系统软件设计，分为FPGA和DSP软件设计。FPGA主要完成视频的采

18、集和格式转换；DSP则需要对各个模块进行初始化，并运行跟踪算法将跟踪结果显示在LCD显示屏或上位机。第五章，对项目工作进行总结，分析当前系统的不足，提出对未来工作的展望。第2章 系统方案设计2.1 系统架构方案2.1.1 系统结构本文提出的目标跟踪系统整体结构示意图如图2-1。图2-1 目标跟踪系统框图本目标跟踪系统兼容模拟和数字两种相机输入接口。模拟相机输出PAL制式视频信号通过解码芯片TVP5147进行解码，输出BT.656数字接口标准信号经由FPGA送至DSP核心板。与模拟相机不同的是，数字CamLink相机输出的LVDS差分信号不能被FPGA直接采集，CamLink解码芯片将LVDS差

19、分信号转换为TTL电平后，FPGA实现对视频数据进行预滤波及格式转换处理后送至DSP核心板。图像数据处理部分由DSP图像处理板和跟踪算法构成，通过对采集的图像数据进行算法处理实现跟踪。DSP运行目标跟踪算法后，LCD屏显示跟踪效果。同时，PC机也可通过RJ45网口获取视频。RS485总线用于上位机、核心板以及其他控制系统之间的控制信号传输。2.1.2 数据通道简介FPGA 与DSP 之间预留了VPIF（Video Port Interface）、UPP（Universal Parallel Port）、EMIF（External Memory Interface）、SPI（Serial Per

20、ipheral Interface）、I2C（Inter-Integrated Circuit）等多种通信总线。VPIF15通过两条输入输出通道进行视频信号的发送和接收。支持ITU-BT.656格式的数字视频流，同时也支持裸数据采集。UPP15是TMS320C6748数字信号处理器的高速并行数据传输总线，专门用于内存数据大量写入和读出。UPP总线支持同时收发数据。在DSP和FPGA或其他并口设备之间，UPP通常用来传输大规模吞吐量的视频图像数据。TL138核心板的UPP共有32位数据线，配置简单，数据吞吐量大。在本系统图像处理板中，UPP单通道吞吐量理论值可高达228MB/s。EMIF15外部

21、存储器接口属于DSP的中高速并行数据传输总线。用来进行逻辑控制或中等规模吞吐量的数据交换。EMIF传输性能优越，连接灵活方便。常用于DSP和FPGA、NOR FLASH 等并口设备的数据传输。SPI总线和I2C总线都是串行数据总线。SPI总线有三线和四线两种，四线可以实现全双工，能够传输比较连续的数据。I2C只有数据线和时钟线，读写时序固定，驱动编写简单。其所需数据线少，配置简单。DSP图像处理板可通过SPI和I2C总线对图像采集底板FPGA、解码器TVP5147端进行初始化设置。2.2 DSP选型随着目标跟踪技术在各个领域的广泛应用，对跟踪系统的精度和实时性要求也越来越高，这需要可靠的硬件支

22、持。由于DSP数据处理速度快，拥有强大的数据处理能力，能够对图像数据进行可靠迅速准确的处理，以DSP为核心的图像处理系统优势日渐明显，必将在图像处理领域占据主导地位。当前DSP厂商主要有：美国德州仪器（Texas Instruments ,TI）、美国模拟器件公司（ADI）、Motorola公司等。各厂商都有针对不同应用场合而设计的不同系列DSP。本系统对于DSP芯片的选型，考虑了以下几个方面：（1）DSP的数据处理能力。目标跟踪对图像处理数据量是比较大的，性能优越的DSP会提高运算速度，达到跟踪系统实时性的目的。（2）DSP运算精度。一般来说，浮点DSP的运算精度比定点DSP的精度要高。定点

23、DSP速度快，成本低，但是运算精度较低，适用于计算复杂度不高的控制、通信等领域。浮点DSP运算复杂度高，运算速度比定点计算慢，适用于精度要求高的场合。（3）DSP的开发难度。芯片开发难度会对开发周期产生重要影响。例如芯片开发环境是否便于搭建，现有资源是否丰富，之前是否开发过类似芯片等因素都是芯片选型的影响因素。（4）芯片的性价比。在芯片性能可以满足系统要求的前提下，尽量选择价格低的芯片来减少成本。（5）此外，芯片功耗也是需要考虑的重要指标。功耗过高，耗电大，发热快，不利于系统的稳定性。因此尽量选择功耗低、产热少的DSP芯片。综合以上因素，本系统图像处理板所采用的核心芯片是德州仪器（TI）推出的

24、C6000系列TMS320C6748。TMS320C6748是TI公司推出的浮点运算全新高性能处理器，拥有高达456MHz处理速度，同时更低的热量耗散，是业界功耗最低的浮点DSP。因此TMS320C6748能够满足目标跟踪系统高速数据处理、高精度、低功耗的要求。C6748提供了多种外设连接选择包括VPIF，EMIFA，UPP，还有I2C，USB，GPIO，SPI等接口，适应各种外设连接，满足系统扩展的要求。为尽量使用更多的有利资源，缩短系统开发周期，降低开发成本，在设计过程中，直接应用了广州创龙公司开发的SOM-TL6748工业级核心板作为图像处理板。SOM-TL6748是基于浮点TMS320

25、C6748数字信号处理器的工业级核心板，成本低、功耗低。并且集成了DDR2、NAND Flash 存储器，用于视频数据以及程序的存储，开发方便。此外，丰富的Demo例程和开发教程协助客户进行底板设计和调试以及软件开发，极大地降低了开发难度，缩减了开发周期。通过原装进口的B2B连接器引出CPU的VPIF、EMIF、UPP、SPI等全部接口资源，方便与图像采集底板以及LCD等外设的连接。其体积仅硬币大小，能够满足系统便携性的要求。SOM-TL6748核心板外观图如图2-2所示：图2-2 创龙公司SOM-TL6748工业级核心板外观图2.3 FPGA选型目标跟踪系统底板采用Altera公司Cyclo

26、ne II系列的EP2C20F484C8N。该芯片逻辑单元数为68416，提供622个用户I/O，内置存储器传输速率达1.1Mbits，满足该系统对硬件的要求16。Cyclone II器件拥有更高的逻辑密度，成本比第一代产品降低了30。同时，Cyclone II 器件能够运用SOPC Builder开发工具自定义NIOS II嵌入式处理器，实现模块化的硬件结构，充分利用FPGA的灵活性和可裁剪性。借助Altera公司强大的开发软件Cyclone II和丰富的IP核，设计人员可以方便的进行FPGA开发，缩短研发周期。Quartus II是针对Altera公司FPGA所定制的开发软件。它支持原理图

27、、VHDL、Verilog等多种输入方式，能够实现从设计输入、软件仿真、硬件配置的整体设计流程。开发界面友好，功能强大，满足程序开发、调试、下载需求，易学易用。Quartus II 提供SignalTap II Logic Analyzer工具，开发者可以对自己的设计进行仿真验证，查看寄存器数据，方便开发者对遇到的问题准确定位。此外，Quartus II支持Altera的IP核，使用户可以充分利用成熟的功能模块，简化了设计复杂性、缩短了开发周期17。由于Cyclone II 系列FPGA的低成本和优化特征，目前为汽车、通讯、视频处理、测试与测量等市场提供理想的解决方案。2.4 本章小结本章着重

28、介绍了该目标跟踪系统的整体框架结构以及实现方法。其次，介绍了FPGA与DSP之间的几种通信方式，包括对VPIF、UPP、EMIF、SPI、I2C总线的简介。最后，根据目标跟踪系统图像处理板和图像采集底板的硬件需求，分别介绍了核心芯片DSP以及FPGA的选型。第3章 系统硬件设计目标跟踪系统基本结构形式为图像采集底板+DSP图像处理板。以创龙公司开发的SOM-TL6748核心板作为DSP图像处理板，使系统构造简单化，减小占用空间。图像采集底板主要包括FPGA芯片，视频解码芯片，视频接口电路等。DSP+FPGA这种主从处理器的系统，能够发挥芯片自身优势，集成度高，调试方便，易于实现目标跟踪。3.1

29、 系统结构的设计目标跟踪系统顶层原理图如图3-1所示。图3-1 目标跟踪系统顶层原理图目标跟踪原理图分模块设计，包括电源模块、图像采集底板与DSP图像处理板接口模块、视频解码模块、网口模块、串口模块、JTAG模块、显示模块等。3.2 电源模块设计电源的设计是系统的心脏。本目标跟踪系统中，需要多种不同幅值电压：DSP 核心板需要5V供电，FPGA 需要3.3V和1.2V供电，AD 解码芯片需要1.8V电压。基于此，系统整体采用外部5V电源供电，利用3片单通道的降压型转换器XRP6658芯片分别产生不同模块所需要的3.3V、1.8V、1.2V电压。该芯片使系统可以实现高达97的降压转换效率。其中5

30、V转3.3V原理图如图3-2所示：图3-2 5V转3.3V电路原理图XRP6658芯片所产生的不同电压可通过式(3-1)计算： (3-1) (3-2)3.3图像采集底板与DSP图像处理板接口模块DSP图像处理板采用创龙公司SOM-TL6748核心板，这需要图像采集底板提供与核心板连接的接口。因此系统采用2对原装B2B连接器进行连接，导通性好，易插拔。连接器分为公座和母座，防止倒插。接口包括：核心板供电接口、EMIFA数据口、VPIF口等。接口部分原理图如3-3所示。图3-3 底板与DSP核心板接口原理图3.4 视频解码模块本系统兼容模拟视频信号以及CamLink协议的数字信号输入。3.4.1

31、模拟视频解码模块模拟视频解码模块采用TI公司研发的TVP5147M1。TVP5147M1是高品质、单芯片数字视频解码器，能够将当前流行的模拟视频格式信号转换成数字视频格式。该TVP5147M1解码器支持YpbPr信号的模数转换，以及将NTSC，PAL和SECAM复合视频进行A/D转换和解码成YcbCr信号。该解码器共有10个视频输入端子可以分别配置成YPbPr，CVBS，或者S-video视频的组合输入。本系统中PAL制式模拟视频由通道VI-2-C输入。模拟视频解码模块原理图如图3-4所示。图3-4 模拟视频解码电路原理图3.4.2 Camera Link 协议起初，数据传输采用TTL接口，但

32、数据传输速度慢，传输距离短，传输容量有限且抗电磁干扰能力差，这些缺点使TTL接口不适用于视频图像的远距离传输。1994年，美国国家半导体公司（NS）提出新的视频信号传输模式LVDS（Low-Voltage Differential Signaling）即低电压差分信号，其核心方法是采用极低的电压摆幅高速差动传输数据，功耗低、误码率低、辐射低、抗干扰性强，增大了数据传输距离，提高了数据传输准确性。因此，LVDS模式在传输距离远、对信号完整性、低抖动特性要求较高的系统中得到广泛应用。目前，很多数字视频解决方案采用LVDS 通信，例如RS-644。然而RS-644 LVDS是一种基于旧方法的改进，它

33、仍然需要笨重的电缆并且具有有限传输速率。为了解决这些问题，美国国家半导体公司开发了Channel Link摄像机链路标准。Channel Link是LVDS（低压差分信号）技术的发展。它使用并行-串行发射机和一个串行到并行接收器来传送数据，速率高达2.38G bps。Channel Link将28位TTL数据转换成四个LVDS数据流。同时第五通道发送时钟信号。Channel Link技术建立在现有的，很好理解的技术如TTL和LVDS之上，很容易学习。并且通道链路芯片组价格低廉，容易获得，有效降低成本。另外，由于它采用了低摆幅差分电流模式驱动器，信道链路降低电磁干扰。同时，数据线的多路复用能够大

34、幅度减少电缆的使用。Channel Link结构图如图3-5所示。图3-5 Channel Link结构图Camera Link标准在Channel Link标准的基础上增加了6对差分信号线，其中4对用于并行传输相机控制信号，其它2对用于相机和图像采集卡（或其它图像接受处理设备）之间的串行通信18。串并行数据相结合，能够在有限的传送电缆情况下传送尽可能宽的视频数据，充分利用了LVDS的高速传输能力。同时它对数据传输电缆、接插件等都作了明确的规定，规范了各类摄像机和采集卡产品之间的连接方式，使得符合Camera Link接口标准的产品之间能够直接进行数据互传。其基本配置如图3-6所示。图3-6

35、Camera Link基本配置结构3.4.3 数字视频解码模块DS90CR288A接收器实现LVDS-TTL电平转换。由于Camera Link相机输出的LVDS差分信号不能被Cyclone II系列FPGA直接采集，因此数据在送往FPGA之前，DS90CR288A先将4路LVDS数据流转换成28位TTL电平数据。并且将LVDS时钟信号转换成单端CMOS/TTL时钟信号输出。其中28位数据包括：24位图像数据（DA、DB、DC），4位同步信号（FVAL、LVAL、DVAL、Spare）。28位数据信号和1位时钟信号接入FPGA进行视频数据采集。在电平转换设计过程中，LVDS差分线通常跨接100

36、电阻进行阻抗匹配，以减少终端信号反射，提高传输质量。数字视频解码模块如图3-7所示。图3-7 数字视频解码模块3.5 串口模块RS-232接口符合美国电子工业联盟（EIA）制定的串行数据通信的接口标准，被广泛用于计算机串行接口外设连接。在RS-232标准中，字符数据以一串行的比特串传输，所需传输线少，配线简单。本系统中，RS232用来连接PC机与DSP进行串口调试。RS232串口模块原理图如图3-8所示。图3-8 串口模块原理图3.6 网口模块目标跟踪系统预留了网口模块，允许DSP将跟踪结果通过网线传输至PC机显示。RJ45共有8芯做成，通常用于计算机网络数据传输。网口模块原理图设计如图3-9

37、所示。图3-9 RJ45网口模块原理图3.7 JTAG接口系统中对FPGA和DSP进行程序下载均使用JTAG（Joint Test Action Group）测试协议。标准的JTAG接口是4线：TMS模式选择线、TCK时钟线、TDI数据输入线、TDO数据输出线。使用JTAG进行程序下载，非常方便，大大加快了开发进度。对FPGA和DSP进行程序下载所使用的JTAG接口分别是10Pin和14Pin接口。图3-10为FPGA的JTAG接口。图3-11为DSP的JTAG接口。图3-10 FPGA-JTAG 接口原理图图3-11 DSP-JTAG接口原理图3.8 本章小结根据上一章节提出的目标跟踪系统的

38、架构，本章提介绍了各模块的硬件结构，完成了系统的硬件结构设计。随后，本章分别介绍了电源、视频解码、串口、网口、JTAG等模块的设计原理以及要实现的功能和要求。第4章 系统软件设计4.1 系统软件架构图4-1 系统软件流程图系统软件设计分为FPGA软件设计以及DSP软件设计。系统软件框图如图4-1所示。4.2 FPGA软件设计FPGA程序设计主要完成将一帧帧的图像通过VPIF口传到DSP图像处理板。首先通过简单的程序设计使FPGA的I/O引脚输出固定电平，控制LED灯亮灭来验证电路设计和焊接的正确性。随后编写视频采集转换程序。对于模拟视频输入，FPGA可以直接将接收到的YUV制式视频信号传送到D

39、SP图像处理板。对于数字视频信号，FPGA首先将接收到的数据信号进行帧存储，运行格式转换程序，将接收到的视频信号转换成YUV格式，然后进行传送。4.3 DSP软件设计4.3.1 DSP与FPGA通信设计目标跟踪系统中DSP开发所采用的软件是TI公司研发的CCS5.5。CCS5.5是一款针对TMS320的DSP编程软件，其界面友好，功能强大，能够进行源程序编写、程序跟踪调试、程序下载等一系列操作，能够方便的对DSP进行调试开发。 CCS能够支持硬件在线编程模式和软件仿真器模式。这样，CCS不仅可以实时运行在DSP芯片上，与硬件开发板相结合在线编程和调试应用程序，还可以在PC机上模拟DSP的工作机

40、制，来进行前期算法编写以及调试19。 当焊接好图像采集底板后，将DSP图像处理板插在B2B连接器，测试DSP与FPGA之间的通信是否正常。测试的基本思想是DSP通过EMIF总线向FPGA发送数据。EMIF结构框图如图4-2所示。图4-2 TMS320C6748 EMIFA 结构框图DSP首先向FPGA发送0x5555，然后再发送0xAAAA，通过Quartus II 提供的逻辑分析仪来捕捉FPGA接收到的数据。接收到的数据如图4-3所示。图4-3 DSP与FPGA通过EMIFA总线通信经测试，FPGA与DSP通讯正常。4.3.2 TVP5147配置TVP5147作为模拟视频解码模块，提供多个通

41、道输入，多种输入制式，以及多种输出格式。在本系统中，将TVP5147配置为通道VI_2_C输入，对PAL制式模拟视频进行A/D转换，输出4:2:2 YUV格式的数字视频流。使能输出视频数据引脚和行、场同步信号。需要注意的是，DSP通过I2C对TVP5147进行配置前，需要对芯片进行复位以初始化寄存器。如图4-4所示。图4-4 TVP5147配置前的复位要求配置程序如下： CodecRegWrite(baseAddr, 0x03, 0x01);/复位 Delay(1000000); CodecRegWrite(baseAddr, 0x03, 0x00); Delay(1000000); Code

42、cRegWrite(baseAddr, 0x00, 0x06);/选择输入通道1:0x01 2:0x05 3:0x09 CodecRegWrite(baseAddr, 0x08, 0x00);/亮度控制 CodecRegWrite(baseAddr, 0x0E, 0x04);/色度/ AutioSwitch 04h CodecRegWrite(baseAddr, 0x04, 0x7F); CodecRegWrite(baseAddr, 0x34, 0x11);/输出 使能数据和时钟/Output Formatter 3 Register 35h CodecRegWrite(baseAddr,0

43、x35, 0xFE);/Output Formatter 4 Register 36h CodecRegWrite(baseAddr,0x36, 0xAF); CodecRegWrite(baseAddr,0x37, 0x00); CodecRegWrite(baseAddr, 0x02, 0x01);/视频标准选择 PAL: 0X02 Delay(9000000);配置完成后可通过CCS软件中的Image Analyzer工具查看DSP获取到的视频图像如图4-5所示。图4-5 CCS获取到的图片 4.3.3 目标跟踪算法移植输入图像处理板的为YUV图像，在运行跟踪算法之前，我们只提取YUV空

44、间中的Y亮度分量进行运算。这样，在保证跟踪效果的同时简化了计算量，提高了系统的实时性。在本系统中，移植目标跟踪的经典算法模板匹配和相关系数法，观测跟踪效果。其实现方法简单，跟踪准确，适用面广，抗噪声性能好，计算速度快。相关系数r用来衡量两个向量的相似程度。相关系数起源于余弦定理，如公式(4-1)所示： (4-1)式中：a，b，c为三角形的三条边，A为边a，b的夹角。如果两个向量相关系数r=1，说明它们完全相似，如果相关系数R=0；则它们完全不相似，如果相关系数r=-1，则它们完全相反。把余弦定理写成向量，如式(4-2)所示： (4-2)即： (4-3)式中：b，c为两向量，A为向量间夹角。在实

45、际应用中，将上述公式分子和分母减去向量均值，放大相关系数。如公式(4-4)所示： (4-4)但是根据公式(4-4)，计算量仍然很大，达不到系统要求的实时性。将原式化简为公式(4-5)： (4-5)式中：n为样本量。即便是这样，算法的速度仍然只是每帧100ms左右，仍然需要采取其他措施来提高算法速度。我们可以采取小区域搜索法，每次搜索只是在上次目标出现的区域周围进行，而不是对整帧图像遍历匹配。这样，可以大大减小计算量，提高速度。目标模板不能过大或过小。过大会使目标变化而不能有效跟踪，过小会使算法对目标变化太敏感而容易丢失目标。一般选取目标轮廓占目标模板30%50%左右为宜。将改进的相关算法移植到

46、设计的目标跟踪平台，观察跟踪效果。4.4 目标跟踪目标跟踪系统实物图如图4-6所示：图4-6 目标跟踪系统运行目标跟踪系统，对人物进行跟踪。LCD屏和PC机显示跟踪效果。测试证明本系统可以实现较稳定的跟踪。跟踪人脸效果如下：A.第100帧跟踪效果B.第200帧跟踪效果C.第300帧跟踪效果D.第400帧跟踪效果4.5 本章小结本章首先介绍了系统软件结构，分为FPGA和DSP的程序设计。随后重点介绍了相关算法的思想以及移植。（1）系统首先保证需要FPGA正确设计，这可以通过编写简单的Verilog程序，使FPGA输出特定的电平来点亮或熄灭LED灯实现。随后开始视频采集程序的编写。（2）DSP程序

47、设计包括配置A/D解码芯片、测试DSP核心板与FPGA通信、移植目标跟踪算法等。最后，将相关算法移植到目标跟踪系统，观察跟踪效果。第5章 总结本文主要设计了一款基于DSP图像处理板+FPGA图像采集底板的目标跟踪系统，并对跟踪效果进行展示。现将本文的主要工作总结如下：（1）完成了基于创龙公司SOM-TL6748核心板+FPGA图像采集底板的目标跟踪系统硬件设计，并介绍了跟踪系统的工作流程以及实现思路。（2）分别介绍了图像处理板和图像采集底板的核心芯片选型。芯片选型需要考虑到芯片运行速度、计算精度、开发难易程度等因素，根据系统要求最终确定了采用TI公司的TMS320C6748数字信号处理器和Cy

48、clone II系列EP2C20F484。（3）分模块介绍了目标跟踪系统的硬件组成，包括电源模块、DSP图像处理板与图像采集底板接口模块、视频解码模块、串口模块、网口模块、JTAG模块等，模块化的设计使系统易于调试。（4）对系统进行软件设计，分为FPGA和DSP的程序设计。FPGA负责视频信号的传输和格式转换，DSP设计包括初始化各个模块，跟踪算法移植以及跟踪效果显示。（5）详细介绍了目标跟踪的基本分类以及当前几种主流的目标跟踪算法，并移植相关跟踪算法，对跟踪结果进行显示。虽然本系统取得了一定的成果，也存在着一些不足之处。如：当前移植的跟踪算法并不能适应各种复杂的环境，例如剧烈光照变化和目标剧

49、烈形变。后续可以移植更加稳定高效的算法，亦或是系统可以根据不同的目标、不同的场景自动选择相应的算法。致 谢大学四年的学习生活弹指一挥间。或许毕业设计才是大学生活中最具考验的环节。毕业设计期间，遇到很多的问题与挫折，回首毕业设计期间整理思路、收集资料、设计电路、焊接调试直至论文完成的历程，不乏自己的努力，更应该感谢得到的帮助。首先，我非常感谢中国石油大学（华东），母校和老师给我提供了四年的学习机会，让我不断成长，丰富自我。其次，非常感谢我的导师宋华军副教授。宋老师平易近人，与学生之间没有隔阂。在毕业设计期间，当遇到问题的时候，宋老师远在国外也能第一时间帮助分析问题。宋老师常说：“思路是最重要的。

50、”有了正确的思路，才能够指引正确的方向，避免事倍功半的处境。再次，我要感谢姜昊师兄和肖渤涛师兄，姜昊师兄也参与了电路的前期设计，他们在我毕业设计期间热心解答项目中遇到的问题，提供了很大的帮助。最后，我要感谢我的父母。在我的成长过程中，父母倾注了数不清的精力，流了数不清的汗水。在此，向父母表达谢意。我将在今后的工作、学习中更加努力，取得更大的进步来回报父母。参考文献1 任清论. 微型飞行器中视觉跟踪系统的研究及应用D. 上海大学, 2004.2 孙红, 王晓婉, 吴钱忠, 等. 目标实时跟踪与预测算法研究J. 信息技术, 2014, (3):55-57.3 陈潇. 基于特征的视频跟踪算法研究D.

51、 西安电子科技大学, 2008. 4 赵瑶. 运动目标检测与跟踪方法研究D. 山东大学, 2008.5 Hogg D. A Methodology for Real Time Scene AnalysisC/IJCAI. 1977, 2: 627.6 Kass M, Witkin A, Terzopoulos D. Snakes: Active contour models J. International journal of computer vision, 1988,1(4): 321-3317 邓志辉, 路林吉. 一种综合运动检测和视觉跟踪的智能监控系统J. 微型电脑应用, 2010,

52、 26(6):27-30.8 WANG L, NING H, HU W, et al. Gait Recognition Based on Procrustes Shape Analysis C.IEEE, 2002:433-4369 W. Real-time surveillance of people and their activitiesJ. IEEE Trans Pattern Analysis & Machine Intelligence, 2000, 22(8):1 - 6. 10 李凯. 基于嵌入式平台的多摄像机目标跟踪系统研究D. 西安电子科技大学, 2012.11 Moln

53、r J, Chetverikov D, Fazekas S. Illumination-robust variational optical flow using cross-correlationJ. Computer Vision & Image Understanding, 2010, 114(10):11041114.12 魏国剑, 侯志强, 李武, 等. 融合光流检测与模板匹配的目标跟踪算法J. 计算机应用研究, 2014, 31(11): 3498-3501.13 Jia D, Zhang L, Li C. The Improvement of Mean-Shift Algorit

54、hm in Target TrackingJ. International Journal of Security and Its Applications, 2015, 9(2): 21-28.14 范乐伟. 实时图像序列目标跟踪算法研究D. 西安电子科技大学, 2008. 15 广州创龙电子科技有限公司. TL6748FI-EVM TMS320C6748+FPGA高速数据采集处理开发板, 2014 16 杨海钢，孙嘉斌，王慰. FPGA器件设计技术发展综述J. 电子与信息学报, 2010, 32(3):714-72717 Gordon Pocock. Cyclone II FPGA和Nios II嵌入式处理器具有低成本性能优势J. 单片机与嵌入式系统应用, 2005, (4).18 王宝珠, 刘伟. 基于ARM11的视频图像中运动物体检测跟踪系统J. 电子设计工程, 2012, 20(24):168-170.19 王靖宇. 基于FPGA的粮食颗粒图像特征提取方法研究D. 浙江大学, 2012.