微飞行器视觉下自主着陆跑道识别技术研究毕业论文

《微飞行器视觉下自主着陆跑道识别技术研究毕业论文》由会员分享，可在线阅读，更多相关《微飞行器视觉下自主着陆跑道识别技术研究毕业论文（55页珍藏版）》请在装配图网上搜索。

1、哈尔滨工程大学本科生毕业论文摘 要随着应用的需要和航空技术的发展，近年来在世界范围内掀起了微飞行器的研究热潮。基于视觉的微飞行器自主着陆得到了广泛的研究。本文主要研究了微飞行器着陆过程中，利用机载照相设备获取微飞行器着陆姿态、识别跑道的技术。 本文以微型无人直升机飞行过程中拍摄到的着陆场景图像为研究对象，选择着陆平台为图像处理中特征提取的目标，研究利用机器视觉的理论，通过数字图像处理的方法以及代数与几何的知识，实时提取着陆过程中的飞行参数，为微飞行器自主着陆提供导航信息。首先，对拍摄到的图片运用MATLAB进行图像处理，消除噪声并提取出跑道特征；其次，对着陆平台进行直线检测，深入分析了特征直线

2、和图像边界线与微飞行器姿态角之间的关系，确定了从着陆平台直线参数中求解微飞行器偏航角和俯仰角的方法，因微飞行器降落过程中滚转角很小，是一个小角度量，在降落过程中可以不予考虑。微飞行器的姿态角是它稳定飞行和安全着陆的重要导航参数。理论分析和实验结果表明，基于视觉的微飞行器自主着陆导航是可行的，具有一定的实时性和较高的计算精度，可以对微飞行器实现自主着陆。关键词：微飞行器；图像处理；跑道识别；飞行参数ABSTRACTWith the demands of applicatoin and development of aeronautic technology, more and more atte

3、ntions are paid to the research on Micro Air Vehicle(MAV) all over the world in recent years. A lot of research on computer vision-based for MAV autonomous landing has been done. In this paper ,we do some research on how to segment the runway area out of the image and obtain the attitude of the MAV

4、with the vision technology.In this article, we process the image sequence of the runway which is got from an onboard camera, estimate the attitude and position of the aircraft. This article select the landing platform to target feature extraction for image processing, the theory of the use of machin

5、e vision, digital image processing methods, and knowledge of algebra and geometry, real-time to extract the parameters of the flight in the landing process, to provide navigation information for automomous landing of the MAV. In order to obtain the attitude information of the MAV, we research the re

6、lations betwwen the characterristics of a straight line and the image boundary line and the attitude. From the linear parameters of the landing platform, the yaw angle and pitch angle can be found.The theoretical analysis and the experiment result show that the extraction and conversion of vision-ba

7、sed navigation information for aircraft autonomous landing are feasible. It has a certain real-time and a high precision, so very suitable for a real-time navigation for MAV autonomous landing.Key words: MAV; image processing; runway recognition; flying parameter哈尔滨工程大学本科生毕业论文目 录第1章 绪论11.1 微飞行器应用背景1

8、1.2 国内外研究现状11.3本文的研究内容4第2章 方案设计的论证62.1 微飞行器的选择62.2 已有视觉导航技术的概述62.3 直升机非线性数学模型的组成92.3 本文的设计方案112.4 本章小结14第3章 数字图像预处理153.1 图像的灰度化处理153.2 图像分割163.2.1 图像去噪处理173.2.2 图像分割的具体实施193.3 直线提取223.3.1 边缘检测223.3.2 Hough变换253.4 本章小结29第4章 姿态角估计304.1 坐标系设定304.1.1 地面坐标系与机体坐标系304.1.2 摄像测量相关的坐标系324.1.3 坐标系变换关系344.2 偏航角

9、的估计364.3 俯仰角的估计384.4 仿真结果分析414.5 本章小结45总结与展望46参考文献48致 谢50第1章 绪论1.1 微飞行器应用背景微型飞行器被认为是未来战场上的重要侦察和攻击武器，能够以可接受的成本执行某一有价值的任务。这种飞行器能够传输实时图像或执行其它功能，有足够小的尺寸、足够的巡航范围和飞行时间，可深入复杂或条件恶劣的地区完成各种高风险的任务。目前，微飞行器的应用范围已扩大至军事、民用、科研三大领域，得到越来越多的研究。在军事上，用于军事侦察，可装备到士兵班，进行敌情侦察及监视，还可用于战争危险估计、目标搜索、通信中继，监测化学、核或生物武器，侦察建筑物内部情况，适用

10、于城市、丛林等多种战争环境；在民用上，可用于城市环境监测，自然灾害的监视，用来搜寻灾难幸存者、有毒气体或化学物质源，消灭农作物害虫等；在科研上，可用于对核生化污染区的采样与监控，对鸟类和昆虫的研究等1。与传统飞行器相比，微飞行器具有如下优点：第一，成本低，效费比好，使用维护费用低；第二，无人员伤亡的风险，可深入各种复杂或条件恶劣的环境完成高风险的任务；第三，生存力强，有较强的隐蔽性和突防能力，机动性好。因此，微飞行器的研究受到越来越多科研人员的关注。微飞行器在执行任务的过程中，着陆阶段是最为重要的阶段，为适应各种应用环境，要求微飞行器具有全天候、短距自主起飞和自主精确着陆的能力。其着陆阶段对跑

11、道的识别具有较强的研究价值2。1.2 国内外研究现状1.佛罗里达大学的研究工作从上个世纪90年代以来，美国的一些大学和科研机构展开了基于计算机视觉的飞行器自主着陆技术的研究。在系统中，无人直升机被限定在预先设计好的几何形状的着陆目标物上，所有的特征点都在一个平面上，从而使得视觉算法是快速的，而且计算量较小。美国的佛罗里达大学和美国海军在微型飞行器图像导航方面做了大量的工作，其基本思路是利用微型飞行器所拍摄的地面图像中的地平线信息提取微型飞行器的俯仰角和滚转角3。其方法如图1.1所示。 图1.1 微型飞行器自主飞行控制示意图视觉导航技术由于其视场大、非接触、速度快、信息丰富等特点，是一种MAV末

12、端导引的有力手段。所谓视觉导引着陆技术，就是利用计算机使用各种视觉算法处理和分析机载摄像机得到的场景图像序列，由此估算出MAV着陆平台的相对位姿，引导MAV完成着陆任务。该方法可以单独使用，也可以和INS、GPS等导航手段相结合4。佛罗里达大学已经成功研制出低成本、高性能的机载视觉识别与定位系统，实现了微飞行器的垂直起降。2.加州大学伯克利分校的研究工作该校研究工作的图片资料如图1.2所示，图中(a)是实验用的无人直升机，(b)是人造着陆平台的灰度图，(c)是(b)的二值图，研究了无人直升机在着陆过程中的几个部分：图像处理、姿态估计和着陆控制，并给出了实际的飞行试验结果5。 （a） (b) (

13、c) 图1.2 加州大学伯克利分校研究工作的图片资料图像处理包括了图像的二值化、图像分割和特征点提取，图像的特征是角点，通过角点提取，可以将特征点标注出来。在状态估计中，已知平面目标中的几个点和它们之间的几何尺寸，通过对应的像点位置及它们在图像中的几何尺寸就可以得出相机坐标系和着陆平台坐标系之间的位置和姿态6。最后，该校对无人直升机的控制飞行进行了试验，结果表明该视觉导航系统可以使无人机的着陆精度达到：轴向定位精度5cm，姿态角精度5，这个结果说明视觉导航系统是实际可行的。需要指出的是在图像处理的过程中特征点的选取很重要，它关系到状态估计的精度。在加州大学的研究工作中，他们选择角点这个特征是因

14、为角点具有透视投影不变性，实际目标中的角点在透视投影中也总是表现为角点，而且具有目标的几何形状信息。因此，将着陆平台设计成这种形状，在一定程度上简化了图像处理的难度。3.北京航空航天大学的研究在国内，北京航空航天大学较早开始研究基于视觉的无人机自主着陆。设计了无人机基于视觉的半自主导引系统，利用安装在地面上的视觉识别与定位系统搜索、跟踪空中渐进着陆的无人战斗机(UCVA)，获取无人机的图像；再利用地面设备对获取的无人机图像进行图像预处理，获取无人机的特征信息，然后将特征信息、摄相机参数等视觉信息经过上行数据链上传到无人机；机载信息融合系统（采用多速率Kalman滤波方法）将视觉信息和机载的惯导

15、系统、高度表系统等给出的信息进行信息融合，得到无人机的位姿估计7。其系统结构图如图1.3所示。 图1.3 基于视觉的无人机半自主导引系统结构1.3本文的研究内容以上简要叙述了国内外几所大学的研究工作，他们的研究工作都取得了很好的研究成果，也推动了视觉导航技术的发展，本文的研究中以无人直升机为研究对象，主要是讨论无人直升机在着陆过程中，视觉技术的应用，上述的研究成果给了本课题的研究很大的启迪和帮助。本文的研究内容是研究通过图像处理得到无人直升机姿态角的方案，主要是算法的设计，理论上进行仿真研究。本文选用的着陆场景是H形的人造着陆平台，可以简化图像处理的过程。由于H形目标区域矩具有透视投影不变的特

16、征，在具体的实施过程中，首先对大量图像上的H形目标区域矩进行统计，得到一个统计量作为该目标区域矩的正确值，实际飞行过程中，将计算的矩值与正确值比较，如果在误差范围内，则认为目标被识别，如果在误差范围外，则目标错误。当目标被正确识别后，将着陆平台上H的横向中心线作为特征值，可由H在图像中的位置来进行状态估计，得到无人直升机的定位参数，最后送入控制系统。下面的内容就是探讨怎样通过特征提取，获得无人直升机的姿态角。论文的整体分为四个章节：第一章是绪论，介绍了微飞行器的应用背景以及国内外发展现状，概述了本文的研究内容；第二章是方案设计与选择的论证，结合国内外的各种研究方案，确定本文的设计方案；第三章是

17、跑道识别，设计了跑道识别的步骤，并对实验结果进行了对比和分析；第四章是着陆中飞行参数的获取，通过图像处理获得着陆平台的特征值，然后利用摄像机线性模型和光学测量技术，以及地面坐标系、摄像机坐标系、飞机坐标系之间的相互关系，获得着陆时的偏航角、俯仰角、滚转角、距离着陆平台的高度等飞行参数。最后是对课题工作的总结和对未来工作的展望。 第2章 方案设计的论证 由于微飞行器体积小，现有大型飞行器中的线加速度、角加速度传感器不能简单地缩小尺寸就用到微飞行器上，而MEMS技术还不够成熟，这就决定了微飞行器上不可能有过多的传感器。加速度计或者陀螺仪本身都有漂移，误差会随时间的推移而发散，因此传统的惯性导航技术

18、，或者无线电导航并不适用于微飞行器，而视觉导航技术只需要携带机载摄像设备，实时性强，可以满足微飞行器的要求，下面将对本文的方案设计进行选择论证。2.1 微飞行器的选择常见的飞行器有按翼形可分为固定翼和旋翼两种，固定翼主要有喷气式飞机，而旋翼主要是直升机。固定翼飞机在起降的过程中，对于跑道有较高的要求，跑道要有一定的长度、宽度，跑道周围必须是一片开阔地，没有建筑物的遮挡，对跑道的要求很高。旋翼机由于可以垂直起降，降落地点为直升机降落平台，所以对跑道的要求较低。本课题在进行微飞行器起落跑道识别技术研究时，应尽量选择起落跑道设计简单的飞行器为研究对象。飞行器在降落过程中机载摄像机拍摄到的图片需要传输

19、到地面控制计算机中，由地面计算机处理图像解算出飞行姿态，并发出控制指令，控制飞行器平稳降落。从飞行器传出图片至计算机发出控制指令需要一定的时间，固定翼飞行器由于飞行速度较快，当接收到控制指令时，飞行姿态已经发生了很大的变化，控制精度会大大降低。而旋翼机飞行速度较慢，并且可以悬停，对数据处理的速度要求较低，接收到控制指令时，飞行姿态并没有发生大的变化，因此实时可控性较强，控制精度较高。综合上述起落跑道的设计和对数据处理时间的要求，本文选择无人直升机为研究对象，其起落跑道可设计为H形的着落平台。2.2 已有视觉导航技术的概述随着机器视觉技术的发展，飞行器降落过程中的跑道识别技术已经日趋成熟，国内外

20、各研究机构都已经研究出了基于视觉的不同的跑道识别方法，着陆过程中的视觉导航技术已经在无人机上的得到了应用。实际应用中，微飞行器的主要任务是侦察监视，一般都携带有机载摄像设备和图像传感器，图像中包含有大量的信息，如果能从图像中获得着陆的必要信息，对微飞行器的发展有很大的促进作用。因此，基于视觉的跑道识别技术有很大的研究价值。下面将对已有的视觉导航技术进行对比研究，以确定最终的设计方案。1.方案一：通过检测地平线得到飞行器的姿态角无人飞行器的机载摄像头为前置摄像头，飞行器在离跑道较远时，跑道在图像中完整可见，但跑道远处的横向边界太小，提取过程中，容易产生误差；飞行器离跑道较近时，跑道近端的横向边界

21、已不可见。因此将跑道的两条纵向边界作为特征量。由于跑道区域较为开阔，前置摄像头可以看到一条清晰可见的地平线。而地平线和飞行器的俯仰角、滚转角有密切的联系，由它们的关系可以解算出飞行器的俯仰角和滚转角8。佛罗里达大学的研究中，提出了一种基于模式识别中分类概念的地平线检测算法，处理的是彩色图像9。其思想为认为天空和地面是特征差别较大的两个类别，地平线是这两个类别的分界线，检测地平线的过程就是确定天空、地面两个类别分界线的过程。该算法假设地平线是一条直线，直线两侧的像素点是分属两个类别中的元素，以像素点的彩色分量R,G,B作为该点的特征量，则对天、地特征的度量就是对类别中所有元素的特征量统计特征的度

22、量。算法中对图像中每一条直线，判断他所区分的两个类别特征值的差异，找出差异最大的那条直线，并认为它是地平线。算法的关键有两点：一是像素点特征量的选取，另一个是判断类别差异的判据的选取。从佛罗里达大学的研究成果可以看出，该方法可以有效的检测出地平线，并由地平线在图像中的位置解算出飞行器的俯仰角和滚转角。2.方案二：借助跑道边缘线和着落线间的交点提取姿态角对跑道场景中的两条跑道边线和一条着陆线进行检测，这样做不需要人为设置着陆标志，而且这些线具有明显的可视性和直线性，可直接算出飞行器的姿态角10。一个直观的例子，飞机距离机场较远时，机场跑道在图像上的显示就会很窄；当两条跑道线和着陆线构成的三角形不

23、是等腰三角形时，说明飞机已经偏离了跑道中心线，或者机身有滚动。因此，利用两条跑道边线的交点和两条跑道边线与着陆线的两个交点，借助于跑道是矩形这一特征以及跑道的宽度，最终可以求得飞机的飞行姿态。具体做法为，利用地面坐标系、摄像机坐标系、飞机坐标系三者之间的相互关系和相互转换，着陆线与两条跑道边线的交点，两条跑道边线的交点这三点在图像中的坐标来计算飞机的姿态角参数。这种方法的应用很广，只需要事先知道跑道的宽度并且检测出跑道边线和着陆线，限制条件较少。3.方案三：传统的P3P或P4P方法计算飞机飞行参数的最初方法是通过地面上的多个特征点与它们在图像平面上的像点建立对应关系，通过解方程组的方法求得飞机

24、的位置参数11。所谓P3P问题，就是已知地面三个点之间的距离以及它们在像平面中的对应像点坐标，通过某种算法计算出这三个点的具体位置12。该方法应用到导航中需要先确定三个点作为P3P中需要的点而且需要求解非线性方程组，计算量较大，精度不是很高。P4P问题与P3P类似，应用到飞机导航中时，由于飞机跑道通常都是矩形，并且该矩形的长度和宽度都是已知的，因此通过该矩形的四个顶点以及其在像平面中的对应像点可以用P4P的方法求解出各点的具体位置，从而可以确定出飞机的飞行姿态13。由于这四个点在特殊的位置，可以用一些技巧很简单地计算出满足条件的唯一解。需要注意的是，识别跑道上四个顶点的像点有一定的困难，可能会

25、造成较大的误差。4.方案四：地平线拟合的视觉导航实际的视觉导航中，前置摄像头拍摄到的图像中地平线很大的可能上并非一条直线，实际中的地平线会受到树木和建筑物等物体的干扰，Hough变换很难发挥作用，这就使地平线的检测变为拟合过程14。首先，从航拍视频序列中提取单帧图像，并作采样去噪等相应预处理；其次，初始化禁忌搜索算法的初始解等参数，结合适配值函数，拟合图像中的地平线；然后，用禁忌搜索算法的特赦准则和收敛准则评判拟合的准确性，直到适配值函数值满足收敛准则为止，得出最优解。此算法最关键的两个步骤是图像预处理和最优解搜索算法，图像处理方法的好坏直接决定了系统输入数据的有效性，搜索算法的优劣决定了算法

26、的实时性和准确性。该算法可以有效地消除地面和天空的干扰，准确地检测出图像中的地平线，然后通过地平线算法得到飞机的飞行参数。上述的已有的视觉导航技术都已经逐渐成熟，各种方法都可以实现飞行器的着陆导航，但其适用对象有所区别，方法也有优劣，课题的研究中要结合已有的技术来设计选择本文的设计方案。在确定本文的设计方案前，需要先来了解直升机非线性数学模型的组成。2.3 直升机非线性数学模型的组成直升机气动力/力矩的主要贡献来自旋翼，旋翼力/力矩的计算模型是直升机建模的关键环节。旋翼力/力矩由桨叶气动力向机体轴系分解而得，桨叶气动力采用叶素分析法进行计算。直升机尾桨操作系统简单，仅有尾桨总距，没有尾桨周期变

27、距，挥舞效应小，简化模型的计算中仅考虑尾桨拉力，只分析尾桨总距的影响15。直升机刚性机体的六自由度动力学方程与固定翼飞机相同。机体的六自由度动力学方程普遍建立在机体轴系，机体轴系中质心的动力学方程是： （2.1）机体绕质心转动的动力学方程是： （2.2）作用在直升机质心处的合力/合力矩表达式为： （2.3） （2.4）式中，下标分别表示旋翼()、尾桨()、机身()、垂尾()和水平安定面()。姿态角与机体角速度之间的运动学关系为： （2.5）式中，是全机质量，是机体三个轴方向的惯量矩，是惯量积，是重力加速度，并假设它们都为常数。，是质心速度在坐标轴上的速度分量，是机体的角速度在坐标轴上的分量，分

28、别为滚转角速度、俯仰角速度、和偏航角速度。，分别是机体坐标系相对地面坐标系的滚转角、俯仰角和偏航角。直升机的非线性数学模型为，式中表示直升机动力学方程的全部状态量，表示直升机的操纵量。直升机的数学模型有助于了解直升机的飞行运动，对降落过程中的飞行姿态有更加深入的了解，对本文的方案设计有很大的指导意义。2.3 本文的设计方案2.1节中已经确定了微飞行器的类型和起落跑道的设计，微飞行器选择为无人直升机模型，跑道场景设计为H形着陆平台。无人直升机在降落过程中一般为垂直起降，不像固定翼飞机那样滑翔降落，因此机载摄像设备不能像固定翼飞那样采用前置摄像头。无人直升机在垂直降落的过程中，为了方便图像采集，本

29、课题设计将机载摄像设备安装在无人直升机的正下方，摄像头向下拍摄图片，这样可以更好地识别跑道。由于摄像机安装在飞行器的下方，向下拍摄图片，所以利用地平线检测法检测姿态角并不太适合。而且上述方案一中基于模式识别中分类概念的地平线检测法和方案四中的地平线拟合算法计算量都比较大，计算时间较长。方案一中的地平线检测法，需要对图像中每一条直线，判断它所区分的两个类别特征值的差异，找出差异最大的那条直线，需要判断的直线条数很多，而且所处理的图像是彩色图像，数据处理量大。方案四用禁忌搜索算法搜寻最优解时，搜索域内适配值函数值的变化有较强的方向性，令其从一个初始可行解出发，选择一系列的特定搜索方向作为试探，选择

30、使适配值函数值增大最多的移动，从而在保证搜索质量的同时较大幅度地减少搜索空间。这样做虽然提高了算法的实时性，但是选择一系列的特征搜索方向作为试探时，仍有很大的计算量。方案二和方案四基于地平线的检测算法虽然不适用于本文的研究，但是其根据地平线在图像中的位置变化来解算飞行器姿态角的原理有很大的参考价值，本文可以根据着陆平台上的H在图像中的位置变化来分析飞行器的姿态角。方案二提出了较为新颖的飞行参数的算法，但不适合于无人直升机的垂直起降。方案三中P4P的方法比较适用于本设计中的跑道识别，可以选取H形着落平台的四个顶点作为需要的点，但实际操作中，从图像上识别出四个顶点有一定的困难，而且需要求解非线性方

31、程组，计算量较大，精度不够高，可能最终会造成很大的误差。根据上述的分析可以得知，无人直升机的机载摄像头安装在机身的正下方时，对于跑道的识别和姿态角的解算可以借鉴地平线检测算法。地平线检测算法中，由地平线在图像中的斜率和位置可以解算出飞行器的滚转角和俯仰角，而在本文的研究中，机载摄像头在飞行器的下方，可以根据着陆场景中H的横向中心线在图像中的斜率和位置解算飞行器的偏航角和俯仰角。下列图片就显示出了飞行器不同姿态角时拍摄到的图片。 图2.1 无人直升机在某一位置拍摄的基准着陆图像 (a) (b) 图2.2 无人直升机有偏航角时拍摄到的着陆图像 (a) (b) 图2.3 无人直升机有俯仰角时拍摄到的

32、着陆图像由上述的三组图像可以看出，无人直升机在不同的姿态位置时，拍摄到的图片中着陆平台上的H在图像中的位置不同。图2.2是飞行器有偏航角时拍摄到的图像，H的横向中心线在图片中的斜率和飞行器的偏航角有密切的联系，可根据H的横向中心线的斜率来解算偏航角。图2.3是飞行器有俯仰角时拍摄到的着陆场景，不同俯仰角时，着陆场景中的H在图像坐标系中纵轴的位置不同，有俯仰角时H在纵轴上位置与没有俯仰角时H在图像中的基准位置进行对比，可以解算出飞行器的俯仰角。微型无人直升机因为体积小，在飞行过程中如果遇到较大风速的干扰，易发生侧翻，滚转角不宜设置过大，相对于俯仰角和偏航角，它是一个小的角度量，在降落过程中对着陆

33、的稳定性影响较小，作为一个小角度量处理，在本文的方案设计中，不研究着陆姿态中滚转角。微飞行器的飞行高度，采用激光测距仪进行测量，在本文的研究设计中，将其作为已知量考虑，本设计主要研究跑道的识别和姿态角的解算。2.4 本章小结在本章中主要介绍了已有的视觉导航技术，并结合已有的研究确定出本文的设计方案。首先，由本课题的实验条件和对数据处理时间的要求，确定了微型飞行器的机型和着陆场景的设计；然后，对已有的视觉导航技术进行对比研究，了解不同视觉导航的原理，其中基于地平线的检测算法对本文的研究有很大的借鉴作用；最后，结合本课题的实验环境，研究出了适合无人直升机着陆过程中的视觉导航算法，选用着陆平台上的H

34、在图像中的位置来解算降落过程中的姿态角。本章只是对降落过程中的姿态解算作了理论上的分析，具体的跑道识别和飞行参数的获取将在后面的章节中具体分析。第3章 数字图像预处理由机载摄像设备拍摄到的图像一般都存在或大或小的噪声，对于本文中的跑道检测和边缘提取有很大的干扰作用，因此，对数字图像进行预处理显得非常重要。进行图像预处理可以减少图像中无用的信息，增强本课题研究中需要的信息并抑制噪声，有助于后续的研究。下面几节内容将着重介绍介绍本文图像预处理算法中用到的几种方法，包括图像灰度化、阈值分割二值化、边缘检测等。3.1 图像的灰度化处理本课题研究中用机载摄像头拍摄到的都是RGB彩色图像，处理彩色图像时，

35、要分别对RGB三种分量进行处理，实际上RGB并不能反映图像的形态特征，只是从光学的原理上进行颜色搭配。在实际处理图像时，只是需要用到图像的形态特征，而且图像灰度化处理后可以减小图像的存储量，减小数据处理量和处理时间。在RGB模型中，如果R=G=B时，彩色则表示一种灰度颜色，其中R=G=B的值叫灰度值，因此，灰度图像中每个像素只需要一个字符存放灰度值，灰度范围为0-255。一般有四种方法对彩色图像进行灰度化，分别为：分量法、最大值法、平均值法、加权平均法。由于人眼对绿色的敏感较高，对蓝色的敏感较低，因此对RGB三个分量进行加权平均可以得到较为合理的灰度图像。加权平均法的算法为： （3.1）在本文

36、的灰度化处理算法中，采用加权平均法对拍摄到的着陆场景图像进行灰度化处理，灰度化处理后的效果图如下所示： 图3.1 灰度处理前的图片 图3.2 灰度化处理后的图片3.2 图像分割 本文研究中，需要识别的是着陆区域上H形的着陆平台，因此需要将H从图像背景中分离出来，在图像分割的过程中，图像中的噪声会给图像分割带来一定的干扰，因此需要先对图像进行滤波处理，减小图像中的噪声，以便进行图像分割。下面的研究内容将对此进行详细的分析。3.2.1 图像去噪处理由上述灰度化处理的图像可以看出，图像的背景色上有很多白色的斑点，这些白色的点都是图像中的噪声，给本文中的图像处理工作带来了很大的干扰。为了改善视觉效果或

37、者便于人和机器对图像的理解和分析，需要根据图像的特点或者存在的问题采取简单的方法减小图像中的噪声。对于拍摄到的跑道区域，需要提取的是跑道区域中的H形着陆平台，它在图像中显示为白色，而图像的背景色为灰色，为将白色的H形区域凸显出来，需要对图像进行增强，即增加图像的对比度。在图像增强中，本文使用imadjust函数直接进行灰度调整。imadjust函数可用于简单的图像增强处理，增强对比度实际上是增强原图像中各部分的反差。下列图片显示出了不同对比度范围时灰度调整的效果。 图3.3 默认对比度灰度调整后的图像 图3.4 对比度范围为0.5 0.9处理后的图像 图3.5 对比度范围为0.6 0.95处理

38、后的图像由上述三张图片的对比效果，可以看出对比度范围为0.6 0.95时，图像增强的效果较好，特征区域可以很好地从背景中区分出来。图像增强处理后，需要采用滤波的方式减小图像中的噪声，滤波的方式主要有平滑滤波、中值滤波、锐化滤波。平滑滤波对像素及其领域进行了平均化，使图像看起来显得比较平滑 ，用于模糊处理和减小噪声；中值滤波是把数字图像或数字序列中某一点的值设置为该点的一个领域中所有像素点灰度值的中值；而图像锐化是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰。在以上的三种滤波方式中，中值滤波对消除椒盐噪声非常有效，常用来保护边缘信息，是经典的平滑噪声方法。本文所处理的图像中的噪

39、声大多是离散的白色斑点，可以看作是椒盐噪声中的盐噪声，因此，选用中值滤波的方法对图像进行消噪处理比较好。中值滤波处理后的图像如图3.6所示： 图3.6 中值滤波处理后的图像 上图显示，中值滤波已经有效地减小了图像中的噪声，为了将着陆区域中的H从背景中分离出来，还需要对图像进行分割处理。3.2.2 图像分割的具体实施 机载摄像设备拍摄到的无人直升机实际着陆场景的图像中，着陆平台区域的识别对飞行器的着陆有着重要的作用，它关系到无人直升机能不能降落在跑道区域内，因此为使无人直升机能在跑道合理的区域内着陆，视觉导航系统需要将跑道从整个场景中分割出来，分析跑道的位置、区域大小等内容，确定无人直升机的航向

40、信息和位置信息，然后送入控制系统以使无人直升机安全着陆。要实现上述目标，需要一个算法来完成跑道的分割，以备后续处理之用。本节将探讨研究如何从整个场景中提取出跑道区域的问题。在图像处理的研究应用中，人们通常把感兴趣的图像信息额外分割出来，称之为兴趣区域，他们是图像中特定的具有独特价值的区域。为了更好地分析兴趣区域，就需要用特殊的方法将之分离出来，在此基础上才可以对目标进行下一步的分析，图像分割就是将图像分成各具有特点的区域并提取出兴趣区域的技术和过程。在许多情况下，图像中不同类型区域内部各自的灰度分布是均匀或相对均匀的，但区域之间的灰度或平均灰度是不同的，可以将灰度的均一性作为依据进行图像的分割

41、和区域的提取。常用的图像分割方法主要是将图像按灰度分成不同的等级，然后通过设置阈值的方法确定出有意义的区域和边界。最常用的阈值处理就是图像的二值化处理，通过一个阈值（0-255之间）将图像转换为黑白二值图像，用于图像分割及边缘提取等预处理。图像二值化阈值处理的变换函数表达式为： 为阈值 （3.2）标注为1的像素对应于对象，标注为0的像素则对应于背景。对于阈值的选取主要有取全局阈值和取局部阈值两种情况，阈值选取方法的依据基础是图像灰度直方图。为常数时，这种方法称为全局阈值处理。允许阈值变化的方法称为局部阈值处理。阈值分割的优点是实现简单，对于不同类的物体灰度值或其他特征值相差很大时，它能有效地对

42、图像进行分割。虽然局部阈值分割可以进一步提高图像的分割质量，但是其分割算法时间复杂度很高，处理图像尤其是处理大分辨率彩色图像的速度很慢，而且其最终效果与全局阈值法相差无几。因此，在本文的研究中，选用全局阈值来处理图像。阈值分割的方法主要有人工选择法、迭代式阈值选择、最大类间方差法(Otsu)和最小误差阈值选择法。人工选择法是阈值分割最为简单的方法。人工选择的方法是通过人眼的观察，应用人对图像的知识，在分析图像直方图的基础上，人工选择出合适的阈值。这种方法需要反复试验，挑选不同的阈值，直到观察者觉得产生了较好的结果为止。下述所示图像是不同阈值时，阈值分割的结果：(a) 阈值=150(b) 阈值=

43、190(c) 阈值=230 图3.7 不同阈值时图像分割的结果上述的图像显示，当阈值=230时，跑道区域中的H已经完全从图像背景中显现出来，图像转化为二值图像，在二值图像中进行边缘检测和直线提取显得较为容易。图像分割为后面的直线提取打下了坚实的基础。3.3 直线提取 图像处理的目的是为了检测出着陆区域中的H，识别跑道，在本课题设计的着陆平台中，H的边界均为直线，因此通过直线提取可以识别出着陆区域中的H。直线通常对应着重要的边缘信息，先要对图像进行边缘检测。3.3.1 边缘检测边缘检测技术对于处理数字图像技术非常重要，因为边缘是所要提取目标和背景的边界线，提取出边缘才能将目标和背景区分开来。图像

44、边缘包括了机场图像的绝大部分有用信息，成功检测出机场着陆区域的边缘就成功了一半，因此边缘检测是图像处理中基础而又重要的课题。图像边缘处理的主要目的是突出图像中的细节或者增强被模糊化的细节，把景物的结构轮廓清晰地表现出来。其中的原理在于图像的边缘和轮廓都位于灰度突变的地方，图像的边缘检测就是基于微分的作用，通过求一阶导数极值点或二阶导数过零点来检测边缘。常见的算子主要有Sobel算子，Roberts算子，Laplace算子等，其中Sobel算子，Roberts算子是一阶算子，Laplace算子是二阶算子。下面将详细介绍每个算子的原理和具体实现。1.Roberts边缘算子Roberts边缘算子是一

45、种斜向偏差分的梯度计算方法，梯度的大小代表边缘的强度，梯度的方向与边缘走向垂直。该算法通常由下列计算公式表示：（3.3）式中，是具有整数像素坐标的输入图像，平方根运算使该处理类似于在人类视觉系统中发生的过程，Roberts算子是两个模板作用的结果，模板如下所示：模板1： 模板2： Roberts边缘算子定位精度高，在水平和垂直方向效果较好，但对噪声敏感。2.Sobel边缘算子Sobel算子是一组方向算子，从不同的方向检测边缘。Sobel算子不是简单求平均再差分，而是加强了中心像素上下左右4个方向像素的权重，运算结果是一幅边缘图像。该算子通常由下列计算公式表示： （3.4） （3.5） （3.6

46、）式中、分别表示方向和方向的一阶微分，为Sobel算子的梯度，是具有整体像素坐标的输入图像。Sobel算子的模板一共有两个，一个是检测水平边缘的，一个是检测竖直边缘的。两个模板如下：检测水平边缘模板： 检测竖直边缘模板：Sobel算子与Roberts算子相比加入了加权局部平均，不仅能检测图像的边缘，还能进一步抑制噪声的影响，由于进行了加权局部平均，它得到的边缘较粗，对于飞机跑道检测来说，需要获取的边缘有一定的宽度，因此该算子更适用。3.Laplace边缘算子Laplace算子是一个二阶导数算子，前面提到的两种算子均为一阶导数算子。该算子是一个与方向无关的各向同性边缘算子（旋转轴对称）。若只关心

47、边缘点的位置而不顾其周围的实际灰度差时，一般选择该算子进行检测。该算子通常由下列计算公式表示：（3.7）式中表示数字图像中每个像素关于轴和轴的二阶偏导数之和，即处理后像素处的灰度值，是具有整数像素坐标的输入图像。由于Laplace算子为二阶差分，其方向信息丢失，常产生双像素，对噪声有双倍加强作用，因此很少直接用于边缘检测。而且二阶微分处理对细节有较强的响应，如细线和孤立点，形成的增强细节比一阶微分多，不利于跑道的检测。因此在本文的边缘检测时，选择Sobel算子。结合阈值分割的Sobel算子图像边缘检测的结果如下所示： 图3.8 Sobel算子边缘检测的结果3.3.2 Hough变换利用Houg

48、h变换法提取直线是一种变换域提取直线的方法，它将直线上的点坐标变换到过点的直线系数域，巧妙地利用了共线和直线相交的关系，使直线的提取问题转化为计数问题。Hough变换提取直线的主要优点是受直线中的间隙和噪声影响较小。平面上的直线方程为：其中和分别是直线的斜率和截距。一条给定的直线，对应一个数组，反之，给定一个数组，则对应一条直线。即平面上的直线和平面上的一个点一一对应，这种关系称为Hough变换。平面上的一条直线与平面上的一点也一一对应。因此，如果平面上有一条直线，那么它上面的每一点都对应于平面上的一条直线，这些直线相交于点。利用这个性质可以检测共点线。由于直线的斜率可能会接近无穷大，为了使变

49、换域有意义，需要采用直线方程的法线式表示： （3.8）式中是直线到坐标系原点的距离，是直线法线与轴的夹角。坐标平面中的一条直线和坐标平面中的一点一一对应，坐标平面中的一点与中的一条直线一一对应，而且很容易看出中的共线点所对应的的曲线交于一点。已知中一条直线上的各点对应着的一个点。如果对这一点的曲线进行计数，结果会是比较大的数值。因此可以根据精度将平面划分为等间隔的小直方网格，这个直方网络对应于一个计数序列。对于平面中的每一点，按Hough变换的原理可以再平面中画出它对应的曲线，凡是这条曲线经过的小方格，对应的计数阵列元素加1，计数阵列元素的数值等于共线的点数。利用这个方法检测直线称为Hough

50、变换直线检测方法。本文要识别的是着陆区域中的H，而且需要检测出H的横向中心线在图片中的斜率和位置，用Hough变换进行直线检测是一种很好的方法。根据Hough变换法检测直线的原理，需要对和的范围进行确定并且量化。图像在坐标系中处于第一象限，角是直线的法线与轴的夹角，所以的范围是，量化单位为1；是直线到坐标原点的距离，始终为正值，假设图片的矩形框的长为，宽为，则 （3.9）的范围是，量化单位为1个像素。图3.9就是对图3.8进行Hough变换后的结果。 图3.9 Hough变换图像中的亮点对应的就是图像中的直线，点越亮，表示直线上的像素点越多。图像中虽然存在其他的干扰点，但着陆区域中的H的边界始

51、终对应平面中最大的三个局部最大值，所以，只需找出最大的三个局部最大值对应的直线就可以了。本文设计中使用houghpeaks函数来寻找Hough变换矩阵的峰值，在Hough变换结果图上叠加峰值标志，程序的运行结果如下： 图3.10 Hough变换矩阵中寻找峰值点前面的Hough变换理论中，曾提到坐标平面上的一条直线和坐标平面中的一点一一对应。只要找到了平面上最亮的三个点，即为平面上的H所对应的三条边界。用houghlines函数找到图像中的直线，并在原图像中画图，运行的结果如下所示：图3.11 直线检测的最终结果3.4 本章小结本章主要介绍了算法中图像预处理的部分，包括图像的灰度化，人工选择的方

52、法进行全局阈值处理，三种图像边缘检测算子的原理与对比。通过对着陆场景图片边缘处理的对比确定使用一阶微分算子，然后通过对噪声的抑制效果确定使用Sobel算子作为本文的边缘检测算子。由于最终要识别的是着陆区域中的H，需要将H提取出来，本文采用Hough变换来实现这一目标。先详细介绍了Hough变换的算法原理，根据Hough变换的步骤逐步进行直线检测，在进行直线检测的过程中，需要根据具体的情况来改变Hough变换中的参数，以使达到本课题研究需要的效果。第4章 姿态角估计在上一章中，详细介绍了图像的预处理和直线提取算法，通过对着陆区域的特征提取，已经可以初步识别跑道。但是，这都只是图像特征提取的过程，

53、并不是图像处理的最终目的，图像处理的目的是通过对提取的图像特征进行分析，得到对无人直升机着陆有用的导航定位信息。因此，需要研究着陆平台上的H在无人直升机着陆过程中随无人直升机的姿态变化而有什么样的变化，通过H在拍摄到的图像中位置的变化来获取一些有用的信息。第2章中，曾分析过，机载摄像设备安装在无人直升机质心的正下方，向下拍摄图片时，如果无人直升机有偏航角，则着陆平台上H的横向中心线在图像坐标系中的斜率会发生变化；无人直升机有俯仰角时，着陆平台上的H在图像坐标系中纵轴的位置不同。本文可以通过提取着陆平台上H的横向中心线，以其在图像坐标系中的斜率和位置来判断无人直升机的偏航角和俯仰角。以下几节的内

54、容会对这其中的关系作深入的探讨。4.1 坐标系设定在本文的整个研究过程中，主要涉及三个物理实体：着陆平台、无人直升机、摄像机。成像的原理是将地面上的一点通过成像原理最终在图像上形成成像点，为了描述这一过程，需要建立不同坐标系间的相互转换关系。这里主要有三个坐标系：地面坐标系、机体坐标系和摄像机坐标系，下面对它们的相互关系进行研究。4.1.1 地面坐标系与机体坐标系为描述无人直升机相对地面着陆平台的角度关系，需要建立机体坐标系和地面坐标系。如图4.1所示，是地面坐标系，原点取地面上某一点，在无人直升机着陆过程中，可以取为着陆平台中H的中心点，处于地平面内并指向H的纵轴方向，在地平面内且垂直于指向

55、右方，垂直于地面指向地心。是机体坐标系，原点取在无人直升机质心，坐标系与无人直升机固连，与无人直升机机身的设计轴线平行，处于无人直升机对称面内，垂直于机体对称面指向右方，在无人直升机对称面内，且垂直于指向下方。 图4.1 地面坐标系与机体坐标系地面坐标系与机体坐标系的关系，用无人直升机的姿态角来表示。无人直升机的姿态角包括：偏航角：机体轴在地面上的投影与地轴间的夹角，以机头右偏航为正；俯仰角：机体轴与地平面的夹角，以抬头为正；滚转角：机体轴包含机体轴的铅垂面间的夹角，无人直升机向右倾斜时为正。4.1.2 摄像测量相关的坐标系图4.2为摄像测量所需各坐标系之间的关系图，为世界坐标系，为摄像机坐标

56、系，为图像物理坐标系。其定义如下： 图4.2 摄像测量的坐标系统1.世界坐标系世界坐标系也叫全局坐标系，是由研究者任意定义的一个三维空间坐标系，将被测物体和摄像机作为一个整体来考虑。上述图4.2中的是以摄像头的光心为原点，通过平移世界坐标系得到的辅助坐标系。实际应用中，可以把地面坐标系看成是摄像测量坐标系统中的世界坐标系。2.摄像机坐标系摄像机坐标系的原点为摄像机的光心，轴与摄像机的光轴重合，取摄影方向为正。、轴通常与图像物理坐标系的、轴平行，如图4.3中所示。无人直升机飞行过程中，机载摄像设备固定在无人直升机上，摄像机的像平面与无人直升机的平面平行。因此，可以用世界坐标系和摄像机坐标系间的关

57、系来表述无人直升机机体坐标系和地面坐标系之间的角度关系。 图4.3 图像与摄像机坐标系3.图像坐标系图像坐标系包括图像像素坐标系和图像物理坐标系，如图4.3所示。两者之间的关系就是像点和对应空间位置的相互换算，其定义分别为：图像像素坐标系：图像像素坐标系就是以图像左上角的顶点为坐标原点，以像素为坐标单位的直角坐标系。、分别表示某像素在数字图像中的列数和行数。图像物理坐标系：图像物理坐标系是以光轴与像平面的交点为原点，以毫米为单位的直角坐标系。、轴分别与图像像素坐标系的、轴平行。4.1.3 坐标系变换关系上一节，定义了各种空间直角坐标系，为达到摄像测量的目的，需要建立各坐标系间的相互转换关系。1

58、.世界坐标系与摄像机坐标系之间的关系世界坐标系中的点到摄像机坐标系的变换可以由一个正交变换矩阵和一个平移变换矩阵来表示： （4.1）其中，是世界坐标系原点在摄像机坐标系中的坐标，矩阵为： （4.2）正交变换矩阵是摄像机坐标系相对世界坐标系的方向余弦的组合，含有三个独立的变量：偏航角，俯仰角，滚转角。它们与，共六个参数决定了摄像机坐标系在世界坐标系中的空间位置和姿态。2.图像坐标系与摄像机坐标系之间的关系如图4.3所示，摄像机坐标系中的物点在图像物理坐标系中的像点的坐标为： （4.3） （4.4）将上式的图像物理坐标系转换为图像像素坐标系： （4.5） （4.6）其中，是图像中心的坐标，和分别是

59、一个像素在轴和轴上的物理尺寸，分别为轴和轴方向上的采样频率。由式4.34.6可以得出物点与像素图像中的像点之间的变换关系： （4.7） （4.8）式中，分别定义为轴和轴方向上的等小焦距。、均为摄像机的内部参数，只与摄像机的内部结构有关。3.世界坐标系与图像坐标系之间的关系式（4.1）代入式（4.7）和式（4.8），可以得到世界坐标系与图像坐标系之间的关系： （4.9） （4.10）上式又叫共线方程，表征了空间物点的坐标与对应像点之间的数学关系。根据式（4.9）和式（4.10）可知，在摄像机内部参数确定的情况下，利用若干个已知的物点和其对应的像点坐标，可以求解出摄像机在世界坐标系中的空间位置和姿

60、态。4.2 偏航角的估计从上述的坐标系设定和角度的定义中可以看出，着陆平台上的H的横向中心线的直线倾斜角与无人直升机的偏航角有直接的联系。下面将分析这两个角度之间的关系。在无人直升机飞行过程中，机载摄像设备安装在无人直升机质心的正下方，且摄像机的像平面与无人直升机的平面平行，假设摄像机坐标系的原点在无人直升机的轴上，则从无人直升机的正上方沿无人直升机的机体轴向下看，几个主要的坐标系、平面和直线如图4.4所示。其中为光轴，与无人直升机的机体坐标系的轴重合，为像平面，为着陆平台上的H的横向中心线，设直线与图像物理坐标系的轴的夹角为，从图中可以看出和这两个角是相等的。当摄像机坐标系和机体坐标系之间只有平移关系时，其角度关系不变。因此，图像中的角和角是等价的，这样就可以从着陆平台上的H的横向中心线的直线参数中得到无人直升机的一个姿态角偏航角。 图4.4 H的横向中心线的直线参数与偏航角的关系在第3章的数字图像