毕业设计（论文）基于CPLDFPGA的图像采集系统的设计与实现

《毕业设计（论文）基于CPLDFPGA的图像采集系统的设计与实现》由会员分享，可在线阅读，更多相关《毕业设计（论文）基于CPLDFPGA的图像采集系统的设计与实现（47页珍藏版）》请在装配图网上搜索。

1、武汉*大学毕业设计（论文）基于CPLD/FPGA的图像采集系统的设计与实现学院（系）： 专业班级： 学生姓名： 指导教师： 武汉理工大学毕业设计（论文）目 录摘 要IAbstractII1 绪论11.1 课题提出的背景和意义11.2 设计研究的主要内容及预期目标21.3 论文结构22 系统方案设计32.1 系统总体设计方框图32.2 系统工作原理33 系统硬件设计43.1 系统整体硬件结构图43.2 FPGA控制系统设计43.2.1 主控芯片的选择43.2.2 控制部分电源设计53.2.3 时钟电路设计63.2.4 复位电路设计63.3 图像采集电路设计73.3.1 图像传感器的选择73.3.

2、2 图像传感器MT9M011的工作原理73.3.3 图像采集硬件电路83.4 外部存储器电路设计93.4.1 外部存储器的选择93.4.2 SDRAM简介93.5 D/A转换器电路设计103.5.1 ADV7123简介103.5.2 D/A转换硬件电路图设计114 系统软件设计124.1 图像传感器初始化程序设计124.1.1 I2C控制程序设计124.1.2 MT9M011初始化程序设计144.2 图像数据采集模块154.2.1 图像采集原理介绍154.2.2 图像采集模块的设计与仿真164.3 格式转换模块184.3.1 格式转换原理介绍184.3.2 模块程序的设计与波形仿真204.4

3、SDRAM控制器的实现224.5 VGA控制器234.5.1 VGA接口介绍244.5.2 VGA控制器的设计244.5.3 VGA控制器的仿真与实现265 系统调试与分析285.1 系统实物图285.2 系统调试285.2.1 系统调试过程285.2.2 系统调试中遇到的问题295.3 系统调试的体会30结束语31参考文献32附录1 图象采集部分源程序33附录2 电路图36附录3 实物图和采集图像39致 谢40摘 要 随着全球科技的不断发展，各种工业控制、模式识别以及计算机视觉对图像采集的要求越来越高。伴随着嵌入式系统的兴起和发展，设计一种价格合理、使用灵活的图像采集系统已成为可能，而这种图

4、像采集系统的设计也有着十分重要的实际意义。本文详细介绍了一种基于嵌入式技术的数字图像采集系统的设计方案。该系统采用FPGA作为主控芯片，来完成对图像传感器、SDRAM存储器以及VGA显示器的时序控制。该芯片内部由I2C配置模块、图像采集模块、图像数据格式转换模块、SDRAM控制器模块以及VGA控制模块组成。本设计的创新点在于充分发挥了FPGA在数字信号处理高集成、高速度的优点，很好的解决了图像采集数据量大、处理耗时、信号复杂等技术难点。另外，该设计的图像采集、处理及显示均没有PC机的参与，较好的解决了传统图像采集体积大、成本高的缺点。本文首先分析了图像采集系统的研究现状和意义，简单介绍了系统的

5、设计方案和工作原理，之后在论文的3、4章中，我分别对系统的硬件电路、软件程序进行了详细的原理介绍，并对各模块进行了设计和仿真。将每一部分的仿真结果都与理论结果进行了比较和分析，并在实物中进行了调试。在论文的第5章中，详细记录了调试中遇到的问题与自己的调试体会，并给出了实物调试结果。在实物运行中，系统能够实现图像的实时采集，且采集图像较为清晰，收到了预期的效果。关键字：FPGA；图像采集；VGA ；SDRAM存储器AbstractWith the continuous development of global science and technology, industrial control

6、, pattern recognition and computer vision for image acquisition have become increasingly demanding. Accompanied by the emergence of embedded systems and development, to design a reasonable price, the use of flexible image acquisition systems have become possible, and that the design of image acquisi

7、tion system also has important practical significance. This paper describes a technique based on embedded digital image acquisition system design. The system uses a FPGA chip as the master to complete the image sensor, SDRAM memory, and VGA monitor control of the timing. The chip is built up of inte

8、rnal configuration module by the I2C, image acquisition module, image data format conversion module, SDRAM controller and the VGA control module. The innovation of this design is to give full play to the FPGA digital signal processing in highly integrated, high-speed advantages of a good solution to

9、 many technical problems such as the large amount of image data collection, processing and time-consuming, complex signals. In addition, the design of image acquisition, processing and display machines are not involved in PC, which is a better solution of the bulky traditional image acquisition, the

10、 shortcomings of high cost. In this paper, I analyze the status and significance of the image acquisition system at first. After a brief introduction of the system design and operating principle, I introduce the principle of the system hardware circuits, software program in detail. At the same time,

11、 I design the modules and simulate them in Chapter 3 and 4. Each part of the simulation results with the theoretical results is compared and analyzed, and in-kind in the debugger. In the paper in Chapter 5, I record the problems encountered in testing and my own experiences in detail, and gives the

12、results of physical testing. In the physical operation, the system can achieve real-time image acquisition, the image acquisition is clear. This system has received the desired results.Key Words：FPGA；image capture；VGA；SDRAM memoryII1 绪论1.1 课题提出的背景和意义 人类有80%以上的信息来自于图像。随着全球工业化的不断深入，科学技术的不断提高，图像技术在众多科学

13、研究领域和日常生活中得到了广泛的应用。图像技术包括图像采集、图像传输、图像存储、图像处理和图像分析等。其中图像采集是图像技术的基础和前提。高速的图像采集和传输应用需求，极大地推动了图像技术的发展。 目前，图像采集系统广泛的用于国民经济、国防建设、科学研究等各个领域。在医学方面，如染色体分析以及超声、核磁共振和CT等技术，是利用图像系统对病人进行无痛安全直观地诊断和治疗；通讯方面的应用如可视电话、电视会议和新一代的手机功能；在卫星遥感方面，广泛用于土地测绘、资源调查、气象检查、环境污染监督、农作物估产、军事侦查和地形匹配等领域；在公安刑事侦察中的指纹识别、人脸组合与识别等；还有工业生产方面的产品

14、无损检测等等。 对于这些基于图像辨别而进行操作控制的应用系统，图像采集是它们不可或缺的前端设备。而多媒体通信、高清晰度电视以及图像处理、模式识别和计算机视觉等众多领域都对视频图像的采集与处理提出了越来越高的要求，显然图像采集技术的研究具有重要的现实意义。传统的数字图像采集、处理系统多采用计算机软件、单片机或专用DSP等来实现。这些方法要么处理速度较慢，无法满足现代图像处理系统的实时性要求；要么专业性太强，应用受限制。为了有效地提高各类图像采集速度和实现各类图像处理算法，许多用于视频图像采集和处理的芯片随之应运而生，芯片的处理功能也越来越强大，使用也越来越方便。而FPGA是一种较大规模的可编程逻

15、辑器件，可以用于任何的数字逻辑系统1，特别是实时处理方面，更有独特的优势2。FPGA本身的高性能（基于查找表LUT及逻辑模块结构）、高集成度（高达几十万甚至上百万个逻辑门）和低功耗的特点，己经使其具备了高速CPU的性能。用FPGA来做实时图像处理，由于可编程逻辑的大容量、灵活性，可以实现图像极大的并行处理能力，速度比PC机和数字信号处理芯片快，并可以实现SOPC系统3。如果采用FPGA结合外部存储器的方式，则它在处理像实时图像信号这样巨大的信息量时便显得游刃有余，满足系统对实时性的要求。如果将FPGA与一些现有的图像处理芯片结合起来，组成满足很多场合需求的嵌入式图像处理系统，这不仅能解决以上许

16、多问题，还可以大大提高系统图像处理的性能4。综上所述，与其他实现方式相比，利用FPGA来实现图像处理有其独特的优越性；FPGA芯片的可编程性和强大的处理能力，使其可以灵活、高效的运行和分析各种图像处理算法；并且它的高集成度，使我们可设计出较小的系统。因此，深入研究基于FPGA进行实时图像处理系统，对开发出高性能的图像处理产品具有极其重要的现实意义！1.2 设计研究的主要内容及预期目标 本设计研究的主要内容是：依照图像采集原理及FPGA技术，完成图像采集系统的设计。使系统在FPGA的控制下，将图像传感器中的数据正确的读出，并传送至液晶显示屏显示出来，以检测所采集的图像数据的正确性。本设计所要完成

17、的任务和预期目标是：（1）设计能够进行实时图像采集的图像采集系统的方案；（2）进行系统硬件电路的设计；（3）完成对FPGA的软件程序的编写并进行仿真调试；（4）在以上基础上进行实际调试，并能够在液晶屏上看到采集到图像。1.3 论文结构基于以上的设计目标和任务，本论文分为以下几个方面进行阐述所设计的图像采集系统：（1）第1章 绪论。主要概述图像采集系统的研究背景和意义；（2）第2章 系统方案设计。介绍系统的设计方案；（3）第3章 系统硬件设计。对系统的硬件电路进行分块设计；（4）第4章 系统软件设计。运用Verilog HDL语言对FPGA进行编程，并对各模块进行波形仿真验证； （5）第5章 系

18、统调试。介绍了调试方法；（6）结束语 对设计创新点进行了总结，并提出了设计的不足，对进一步的研究提出了展望。 2 系统方案设计2.1 系统总体设计方框图外界图像FPGAD/A转换器图像传感器VGA接口SDRAM存储器本系统主要由图像传感器采集模块、SDRAM存储模块、FPGA控制模块、D/A转换模块组成，系统总体设计方框图如图1所示。图1 系统总体设计方框图如图1所示，本系统使用的硬件芯片主要有以下4个：图像传感器、FPGA、SDRAM存储器以及D/A转换器。FPGA5选择ALTERA公司生产的具有大容量、低成本的Cyclone II EP2C70；图像传感器选择Micron公司生产的具有13

19、0万像素传感器的MT9M011；SDRAM选用4M16位的IS42S8800；D/A转换器选用ADI公司生产的ADV7123。2.2 系统工作原理如图1所示，本设计中FPGA为整个图像采集系统的控制核心，使用Verilog HDL6为编程语言。系统的工作流程主要有以下5个步骤：（1）FPGA通过I2C7协议对图像传感器芯片MT9M011的控制寄存器进行设置，设置它的工作方式（如曝光时间、工作模式等）；（2）对MT9M011初始化完毕后，FPGA为图像传感器提供主时钟，读出图像传感器的行、场、帧同步信号以及图像数据信号；（3）在FPGA中使用行缓冲加流水线的处理方式将读入的行数据实时转换成标准的

20、30位RGB数据；（4）将SDRAM数据端口仿真成四个虚拟的数据端口（2个写端口和2个读端口），对RGB数据进行存储；（5）在FPGA中产生VGA的同步信号，并从SDRAM中读出图像数据进行显示。3 系统硬件设计3.1 系统整体硬件结构图摄像头模块CMOS图像传感器DATAFVALLVALPCLKMCLKSDATASCLKFPGACMOS数据采集控制模块I2C控制器RGB数据转换模块VGA及AD转换控制器SDRAM控制器DA转换器、VGA接口DATAHSVSCLKSDRAMDATAADDRCTRL为了对系统的硬件结构有一个整体性的把握，下面对整个系统的硬件结构图进行讨论分析。图2 系统硬件结构

21、图由第2章的分析，可以得到系统硬件结构图如图2所示，硬件电路主要有FPGA控制电路、图像采集电路、SDRAM存储电路、D/A转换电路四个部分。系统上电后，FPGA内部的I2C控制器配置程序经过I2C总线引脚SDATA与SCLK传输至CMOS的寄存器中，使摄像头按照配置的模式工作，输出行场同步信号、像素时钟、图像数据。CMOS模块检测行场同步信号，生成写使能信号，在像素时钟的上升沿将数据采集到寄存器中，RGB数据转换模块将采集的原始RAW数据转换成RGB信号，通过SDRAM控制器模块将数据写入SDRAM。之后，FPGA产生行、场、帧同步信号，将数据通过DA转换器，将数据转换成VGA接口所需的模拟

22、信号，输出至液晶屏上显示。下面就针对FPGA控制电路、图像采集电路、SDRAM存储电路、D/A转换电路四部分硬件电路进行详细介绍。3.2 FPGA控制系统设计3.2.1 主控芯片的选择由于本设计为图像采集系统，要处理大量的图像数据，其运算需要大量的逻辑资源。因此FPGA的片内LE要很丰富，且其管脚必须满足外部器件连接的要求，另外考虑到将来功能的扩展综合，选择ALTERA公司生产的Cyclone系列EP2C70F896作为主控器件。EP2C70F896芯片参数8如表1所示。表1 EP2C70F896芯片参数逻辑单元68416M4KRAM块（4K比特512校验比特）105总比特数1152000嵌入

23、式18x18位乘法器150PLLs4最多用户I/O管脚622差分通道200由表1知，此芯片资源丰富，对于本系统的需要，完全可以满足。3.2.2 控制部分电源设计由于FPGA的工作电压为3.3V，而DA转换器等器件需要5V的电压。因此，电源需要两组：5V与3.3V。目前总的来说有三种电源解决方案，分别是线性稳压器电源（LDO）、开关稳压器电源、电源模块。由于开关稳压器电源较易实现且性能稳定，在本设计中选择该方法实现电源的设计，电源设计电路图如图3所示。图3 电源设计电路图 由于自己手上有一个9V的变压器，应此，对于220V电压到9V电压的转换在这里就不再设计。如图3所示，在该电源的设计中主要使用

24、了78LS05及LM2676两个稳压管，实现了5V和3.3V电压的获得。3.2.3 时钟电路设计 目前在时钟电路设计中，一般选用晶振来作为时钟源，而晶振又分为有源晶振和无源晶振。无源晶振无源晶振是有2个引脚的无极性元件，需要借助于时钟电路才能产生振荡信号，自身无法振荡起来。它的信号电平是可变的，根据起振电路来决定，同样的晶振可以适用于多种电压，且价格通常也较低，无源晶振相对于有源晶振而言其缺陷是信号质量较差，通常需要精确匹配外围电路（用于信号匹配的电容、电感、电阻等），更换不同频率的晶体时周边配置电路需要做相应的调整。而有源晶振有有源晶振有4只引脚，是一个完整的振荡器，不需要外部振荡器，信号质

25、量好，比较稳定，而且连接方式相对简单，不需要复杂的配置电路。由于本设计对时钟信号的精度要求较高，时钟信号的不稳定很容易造成图像采集和显示的失败。因此，综合考虑，在本设计中选择有源晶振作为系统时钟的发生器。时钟电路设计图如图4所示，分别将1、2、4脚对应接上电源和地之后，在3脚上就输出自己所要的时钟信号。由于DA转换器以及VGA接口电路的频率为50M赫兹，故此有源时钟选择50M赫兹。图4 时钟电路设计图3.2.4 复位电路设计为保证系统工作的稳定性，需要在电路设计中加入复位电路，它的基本功能是：在系统上电时提供复位信号直至系统上电稳定后撤消复位信号，以此防止在系统上电时，由于电平不稳而对系统器件

26、造成的冲击。同时它还要用来时刻检测电源的状态，在电源失效时及时的复位系统，并且可以根据需要（如系统陷入不可知的错误运行状态时）手动的复位系统。一般常用的RC复位电路可以实现上述基本功能，但是解决不了电源毛刺和电源电压不足的问题，而且调整RC常数来改变延时会令系统驱动能力变差9。为此，本设计采用本系统中采用复位芯片SP70SS进行复位电路的设计，它可在上电时产生复位信号，也可使用复位按钮手动复位。在信号的连接设计中，SP70SS芯片的MR管脚为手动复位管脚，复位电路设计图如图5所示。输入低电平有效，当此管脚上的电平被下拉到低于LOW时产生有效低电平复位信号。RESET输出的有效复位信号一般持续2

27、00ms左右。图5 复位电路设计图3.3 图像采集电路设计3.3.1 图像传感器的选择目前的图像传感器主要有CCD和CMOS两种。与CCD传感器相比，CMOS传感器不仅成本远低于CCD产品，而且CMOS传感器可轻松实现较高的集成度，另外CMOS传感器拥有超低功耗的优点。本系统图像采集用于监控领域，对于图像的质量要求不是非常高，而对传感器的功耗要求必须很低，因此本系统的图像采集部分选用了CMOS图像传感器。为了获得更好的效果，在设计中，我选用Micron公司生产的CMOS传感器MT9M011，它为1/3英寸的主动式数字图像传感器，其有效图像序列范围为 12801024，结合了众多数码照相机具有的

28、功能如行列跳跃、快照模式等等，可以通过一个两线的串口来实现可编程操作，并且具有功耗低的特点10，帧有效和行有效信号将在特定的引脚上输出，并且还配有像素时钟同步响应的有效数据。3.3.2 图像传感器MT9M011的工作原理 图像传感器MT9M011内部原理框图11如图6所示，它包括一个13161048的图像采集阵列、一个模拟信号处理器、一个控制寄存器、一个时序控制器以及一路A/D转换器。13161048图像阵列模拟信号处理器控制寄存器时序控制器模数转换器I2C控制信号同步信号图像数据图6 MT9M011内部原理框图FPGA通过I2C协议对图像传感器MT9M011的控制寄存器写入命令，对图像传感器

29、MT9M011进行初始化。MT9M011初始化之后，按照控制寄存器所设定的工作方式启动时序控制器来控制MT9M011的各采样点对外界景象进行采样，并控制模拟信号处理器将采样到的数据以一定的方式通过模数转换器转化成数字信号输出。与此同时，时序控制器产生与采集数据对应的行、场、帧同步信号，来产生所采集图像数据的坐标，以便后续处理。3.3.3 图像采集硬件电路图7 MT9M011硬件电路图由3.2.2中介绍的MT9M011的工作原理，可以画出MT9M011硬件电路图如图7所示，SDATA与SCLK为I2C总线的数据和时钟线，CLKIN接主时钟25M赫兹，DOUT9-DOUT0为图像传感器的数据线，P

30、IXCLK为像素时钟、LINE_VALID为行有效信号、FRAME_VALID为帧有效信号。由于MT9M011内部自带时钟发生器和ADC，因此只需通过SDATA与SCLK两条总线配置好MT9M011的控制寄存器之后，为MT9M011提供CLKIN时钟信号，其就可将采集到的图像数据连同像素时钟、行有效信号以及帧有效信号一起输出至FPGA。3.4 外部存储器电路设计3.4.1 外部存储器的选择本系统采集的一帧图像分辨率大小为640480，色深是24位，采集时需要在存储器中缓存12两帧，因此存储器的容量至少为：64048032=1.8432M Byter由于需要的容量太大，不可能存放在芯片内部的RA

31、M中，所以必须使用外部存储器来解决。从系统时钟来考虑，系统时钟为50M赫兹，对于SRAM、SDRAM和 DDRSDRAM，这个时钟都可以满足，所以，时钟的限制可以忽略。从成本来考虑，在同等容量的存储器中，SRAM的成本要比DRAM的成本高很多13。从器件体积考虑，单片SRAM的容量很小，需要多片来组合，这样体积就比采用DRAM的要大很多。从控制的复杂度来考虑，SRAM的控制最简单，不需要刷新操作，其次是SDRAM，它的控制难点在于需要刷新操作，控制最复杂的是DDRSDRAM，它在时钟的上升沿和下降沿都要进行数据传输。综上所述，从单片容量、时钟、体积、控制复杂度等几方面综合考虑，SDRAM是最佳

32、选择。它的优点是成本低，速度和体积也完全可以满足我们的要求。虽然控制比SRAM要复杂一些，但现在都有成熟的解决方案，况且价格比SRAM便宜很多，可以有效的降低设计成本。因此设计选用SDRAM。对于SDRAM的型号，选用ISSI公司的IS42S16400A，存储容量大小4Mbit（1Mbits16bits4Banks），运行时钟为166、133或100MHz，可编程的突发长度及突发方式，可编程的/CAS等待时间（2或3周期）。3.4.2 SDRAM简介随着数据处理技术的进一步发展，对于存储器的容量和性能提出了越来越高的要求，SDRAM（Synchronous Dynamic Random Acc

33、ess Memory）即同步动态随机存储器，同步是指Memory工作需要步时钟，内部命令的发送与数据的传输都以它为基准；动态是指存储阵列需要不断的刷新来保证数据不丢失；随机是指数据不是线性依次存储，而是由指定地址进行数据读写。3.4.3 SDRAM硬件电路设计SDRAM硬件电路设计图如图8所示，FPGA输出信号DRAM_D0.15为图像数据信号，将其直接接至SDRAM的数据端口D0-D15；FPGA输出信号DRAM_A0.11为FPGA的地址信号，将其分别接至SDRAM的地址端口A0-A11；另外FPGA根据图像传感器传来的各类时序信号产生SDRAM的控制信号来控制SDRAM的读写。图8 SD

34、RAM硬件电路设计图3.5 D/A转换器电路设计 由于FPGA输出的图像信号为数字信号，而我的显示屏为VGA接口，其需要的信号为模拟信号。因此，在FPGA与液晶屏之间就需要一个数模转换器，在本设计中选择ADI公司的ADV712314作为图像数字信号的D/A转换器。 3.5.1 ADV7123简介ADV7123最高可以支持100HZ刷新频率时16001200像素的分辨率。ADV7123内部含三路最高可达240MS/S的10位视频D/A转换器，时钟频率为50MHZ。ADV7123原理框图如图9所示，ADV7123由完全独立的3个10位高速的D/A转换器组成，RGB数据分别从R9-R0、G9-G0、

35、B9-B0输入，在CLOCK的上升沿锁存到数据寄存器中，然后经高速D/A转换器转换成模拟信号，3个独立的视频D/A转换器都是电流型输出，可以接成差分输出，也可以接成单端输出，在此设计中接成单端输出。为满足工业要求，在模拟输出端使用75欧电阻接地。消隐及同步逻辑控制输出信号的同步和消隐，低电平有效的BLANK信号是复合消隐信号。当BLANK信号为低电平时，模拟视频输出消隐电平，此时从R9-R0、G9-G0、B9-B0输入的所有数据被忽略。同样是低电平有效的SYNC信号是复合同步信号，控制输出信号的同步。BLANK与SYNC信号都是在CLOCK的上升沿被锁存的。图9 ADV7123原理框图 3.5.2 D/A转换硬件电路图设计D/A转换硬件电路图如图10所示，FPGA输出的图像数据信号VGA_R0.9、VGA_G0.9、VGA_B0.9分别接至ADV7123的R0-R9、G0-G9、B0-B9引脚。同时FPGA为ADV7123提供消隐信号VGA_BLANK以及同步信号VGA_SYNC。ADV7123输出三