图像融合算法的研究和实现

《图像融合算法的研究和实现》由会员分享，可在线阅读，更多相关《图像融合算法的研究和实现（37页珍藏版）》请在装配图网上搜索。

1、 摘 要数字图像融合是将两个或两个以上的传感器所获得的同一场景的多幅图像进行融合；或者是将同一传感器在不同时刻获得的同一场景的多幅图像加以综合，生成一个新的图像的过程。图像融合技术可以有效的减少被感知对象或环境解释中存在的不确定性和误差，最大限度的利用源图像的信息，有利于对图像进行增强、特征提取、去噪、目标识别与跟踪及三维重构。本文主要研究了一种基于小波变换的图像融合方法，首先利用小波变换将源图像分解成高频分量和低频分量，在高频域内，选择邻域平均绝对值较大的多源图像系数作为重要小波系数；在低频域内，新的逼近系数通过对多源图像的小波系数进行加权平均得到，然后对重要小波系数和加权逼近系数进行小波反

2、变换，即可得到融合之后的图像。使用MATLAB软件对本文研究的融合算法进行实现和仿真，实验结果表明通过基于小波变换的图像融合方法得到的融合图像更加清晰，更具有识别力且图像质量得到了较大提高，并可广泛应用于多种研究领域。关键词：图像融合；小波变换；MATLABABSTRACTDigital image fusion is the process, which combines many images from two or more sensors in the same scene or from the same sensors in different time in the same s

3、cene. The image fusion technology can effectively reduce the uncertainty and error that is existed in cognitive object or environmental interpretation. The image fusion technology can also make the most of the source image information to make the image enhancement, feature extraction, denoising, tar

4、get identification, tracking and 3D reconstruction. This paper mainly researches the image fusion method which is based on wavelet transform. Firstly, it uses wavelet transform to break down the source image into low-frequency and high-frequency components. Secondly, in the high frequency domain dec

5、omposition, the paper selects the larger coefficient in average absolute value multi-source image as important wavelet coefficients. Thirdly, in the low frequency domain, through the weighted average from the wavelet coefficients of the multi-source image, this paper gets the new approximate coeffic

6、ient. Finally, using the important wavelet coeffients and weighted approximate coefficient to make the wavelet transform, we get the image after image fusion. Using MATLAB software to implement and simulate the fusion algorithm that this design researched, the experimental results show that through

7、the image fusion required from wavelet transform image fusion method has more discrimination and much more quality improved. It is useful in a broad range of research filed. Key Words: Image fusion; Wavelet transform; MATLAB. 目 录1图像融合概述11.1图像融合的定义11.2图像融合的主要研究内容11.2.1图像融合的层次11.2.2图像融合的步骤31.3图像融合的发展与

8、现状41.4图像融合的意义与价值52MATLAB简介62.1MATLAB简介62.2MATLAB特点62.3M语言编程73常用图像融合方法93.1线性加权图像融合法93.2金字塔图像融合法93.2.1图像的高斯金字塔分解93.2.2图像的拉普拉斯金字塔分解103.2.3基于拉普拉斯金字塔分解的图像融合103.3PCA图像融合法124基于小波变换的图像融合方法154.1小波变换154.1.1小波变换的概念及发展154.1.2连续小波变换154.1.3离散二进小波变换164.1.4Mallat算法174.2基于小波变换图像融合算法的概述174.2.1小波变换法图像融合的发展背景174.2.2小波变

9、换在图像融合中的应用174.2.3基于小波变换融合的物理意义174.3基于小波变换图像融合的算法原理184.3.1基于小波分解的融合算法流程184.3.2高频系数融合规则194.3.3低频系数融合规则215小波变换MATLAB程序及运行结果比较245.1基于小波变换图像融合算法的MATLAB仿真245.2小波变换程序结果25结 论27参考文献28致 谢301 图像融合概述1.1 图像融合的定义图像融合在20世纪70年代后期被提出，是将多传感器所采集的同一目标的图像经过预处理，提取各信道的信息综合成一幅图像的一门新兴技术。由于不同模式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像

10、传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，将这几幅源图像融合后生成的新图像可以更全面描述所研究的对象，所以图像融合技术目前在国家受到很高重视也取得了相当的发展1,2。图像融合技术形式可分为三种：（1）多个传感器在不同时刻获得的图像的融合；（2）多个传感器在同一时刻获得的图像的融合；（3）统一传感器在不同时间或者不同环境下获得的图像的融合；图像融合技术广泛应用与计算机视觉、遥感及军事领域，其主要的目的在于：（1） 图像的增强，经过图像融合的的图像，会获得比源图像更加清晰的图像，增加图像中有用信息的含量；（2） 去噪（3） 特征提取（4） 三维重构（5） 目标识别与跟踪1.2 图

11、像融合的主要研究内容1.2.1 图像融合的层次图像融合的层次可分为像素级、特征级和决策级三个部分。（1）像素级图像融合像素级图像融合是指在严格配准条件下对各传感器输出的信号直接进行信息综合处理的过程。像素级图像融合是直接在原始数据层上进行融合，该层次的融合准确性最高，相比其他层次上的图像融合该层次上的图像融合具有的更精确、更丰富、更可靠的细节信息，有利于图像更进一步的理解与分析。像素级图像融合是特征级和决策级图像融合的基础，也是目前应用最广泛图像融合方式。但像素级图像融合也是有缺点的，缺点是预处理的信息量最大，处理时间较长，对通信带宽的要求高，因此在此层析上进行图像融合之前必须先对参加融合的图

12、像进行精确的配准，加大了工作量。像素级图像融合通常用于：图像分析和理解、多源图像复合。联合的属性说明特征提取像素级图像融合关联校准数据1数据2数据n图2-1 像素级数据融合原理示意图 (2)特征级图像融合特征级图像融合是指对不同传感器的多源信息进行特征提取（包括形状、边缘、区域、轮廓、纹理、角等），然后再对从多个传感器获得的多个特征信息进行综合的分析和处理的过程。特征级图像融合属于中间层次，为决策级图像融合做准备，它既保留了重要信息，有对信息进行了压缩，便于实时处理。特征级图像融合可以分为两大类：目标状态数据融合和目标特性融合。目标状态数据融合主要用于多传感器目标跟踪领域；目标特性融合就是特征

13、层次的识别。目前特征级图像融合的方法有：加权平均法、贝叶斯估计方法、聚类分析方法等。联合的属性说明特征提取特征级图像融合关联校准数据n数据2数据1图2-2 特征级数据融合原理示意图 （3）决策级图像融合决策级图像融合是指对每个图像的特征信息进行分类、识别等处理，形成相应的结果，进行进一步的融合过程，最终的决策结果是全局最优决策。决策级图像融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。决策级图像融合的方法主要是基于认知模型的方法，需要大型数据库和专家决策系统，进行分析、推理、识别和判决。此种融合实时性好，并且有一定的容错能力，但其预处理代价较高，图像中的原始信息的损失最多。特征

14、级图像融合关联属性说明校准特征提取数据1属性说明属性说明数据2联合的属性说明数据n图2-3 决策级数据融合原理示意图1.2.2 图像融合的步骤图像融合的步骤一般分为两大步：预处理阶段和融合阶段。逆变换特征融合特征变换滤波、校准特征变换滤波、校准 图片1 图片n 预处理阶段 融合阶段图2-4 图像融合一般步骤示意图由上示意图可以看出图像融合的一般步骤：将n幅原始图像分别经过滤波和校准之后，进行相应的特征变换，然后对每幅图想获得的特征采用适合的方法进行融合得到融合后的特征，再对这些融合后的特征进行逆变换就得到了融合结果。1.3 图像融合的发展与现状数据(信息)融合的概念开始出现于二十世纪七十年代初

15、期，是从八十年代以来逐步发展起来的一门新兴技术，当时称之为多源相关、多传感器混合或数据融合。八十年代以来，数据融合技术得到了迅速地发展，对它的称谓也逐渐统一。现在多称为数据融合或信息融合。融合(Fusion)是指采集并集成各种信息源、多媒体和多格式信息，从而生成完整、准确、及时和有效的综合信息的过程。数据融合技术是研究如何加工、协同利用多源信息数据，并使不同形式的信息相互补充，以获得对同一事物或目标的更客观、更本质认识的信息集成处理技术。经过融合处理所得到的信息比直接从各信息源得到的信息更简洁、更少冗余并有着更大的用途。作为人类最重要信息载体的图像是一类特殊的数据，关于图像融合技术的相关研究也

16、是数据融合领域内的一个研究重点与热点。1979年，Daily等人首先把对雷达图像和Landsat-Mss图像的复合图像应用于地质解释，其对图像的处理过程可以看作是最简单的图像融合。1981年，Laner和Todd对Landsat-RBV和Mss图像数据进行了融合试验。到80年代中后期，图像融合技术逐渐开始引起人们的关注，陆续有人将图像融合技术应用于遥感多光谱图像的分析和处理。90年代开始，图像融合技术开始成为遥感图像处理和分析中的研究热点之一。对遥感图像进行融合处理的目的主要有锐化图像、改善几何矫正、色彩矫正、改善分类特性、弥补某种图像中丢失的数据、检测/观测大地环境的变化等等。这个时期人们采

17、用的融合方法主要有IHS变换、平均、加权平均、差分及比率、主分量分析(PCA)、高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行。到80年代末，人们才开始将图像融合技术应用于一般图像处理(可见光图像、红外图像等)。90年代后，图像融合技术的研究呈不断上升趋势，应用的领域也遍及遥感图像处理、可见光图像处理、红外图像处理、医学图像处理等3。作为一门综合了传感器技术、信号处理、图像处理和人工智能的新兴技术。近年来，图像融合已成为一种十分重要的图像分析与计算机视觉技术。它在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用领域有着广泛的应

18、用前景。目前随着传感器技术的发展，单一的可见光模式逐渐发展为多种传感器模式。因此，多传感器图像融合是一个正在兴起的并有着广泛应用前景的研究领域。为了满足实际中的需要，充分利用多传感器的数据信息，各种数据融合技术都在快速的发展，图像融合是数据融合的一个重要的分支。总的来说图像融合技术研究才刚刚起步，还是由很多问题没有解决。一、图像融合技术缺少理论的指导，虽然目前对图像融合的报道有很多，但都是针对具体问题进行分析，没有一个统一的理论框架，建立一个图像融合的理论框架是目前研究发展的一个方向。二、由于图像的特殊性，再设计图像融合算法是一定要考虑到计算速度和所需的存储量，因此，得到实时、稳定、可靠、使用

19、的融合算法和硬件电路也是目前研究的热点。三、建立可观的图像融合技术评价标准也是一个急需解决的问题。1.4 图像融合的意义与价值图像融合将带来以下好处：1 利用多个传感器提供的冗余信息可提高融合图像的精确性及可靠性。融 合图像具有较强的鲁棒性，即使个别传感器故障也不会对融合图像产生严重影 响。2 利用多个传感器提供的互补信息，融合后的图像包含了更为全面、丰富的信息，其更符合人或机器的视觉特性、更有利于对图像的进一步分析处理以及自动目标识别。 3 在不利的环境条件下（例如烟、尘、云、雾、雨等），通过多传感器图像 融合可以改善检测性能。例如，在烟、尘、云、雾环境下，TV（可见光）图像质量差（甚至无法

20、看清目标） ，而毫米波雷达获得的图像对于烟、云、尘、雾却 有较强的穿透能力，尽管信号会有些衰减，但仍然可获得较清晰的图像。目前，图像融合技术在许多领域都得到了广泛的应用，包括遥感图像的分析 和处理、自动识别、计算机视觉、医学图像处理。举个例子来说，当我们在获取同一场景的多幅图像的时候，由于各种原因导致第一幅图片左半边模糊，第二幅图片右半边模糊，当我们将这两幅图像融合以后就可以得到一个清晰的图片，保留了两幅源图像的有用信息，通过对图像融合的了解，我决定将图像融合作为我毕业设计研究的课题2 MATLAB简介2.1 MATLAB简介MATLAB 的名称源自 Matrix Laboratory ，它是

21、一种科学计算软件，专门以矩阵的形式处理数据。 MATLAB 将高性能的数值计算和可视化集成在一起，并提供了大量的内置函数，从而被广泛地应用于科学计算、控制系统、信息处理等领域的分析、仿真和设计工作，而且利用 MATLAB 产品的开放式结构，可以非常容易地对 MATLAB 的功能进行扩充，从而在不断深化对问题认识的同时，不断完善 MATLAB 产品以提高产品自身的竞争能力4。一种语言之所以能如此迅速地普及，显示出如此旺盛的生命力，是由于它有着不同于其他语言的特点，正如同FORTRAN和C等高级语言使人们摆脱了需要直接对计算机硬件资源进行操作一样，被称作为第四代计算机语言的MATLAB，利用其丰富

22、的函数资源，使编程人员从繁琐的程序代码中解放出来。MATLAB最突出的特点就是简洁。MATLAB用更直观的，符合人们思维习惯的代码，代替了C和FORTRAN语言的冗长代码。MATLAB给用户带来的是最直观，最简洁的程序开发环境。2.2 MATLAB特点一、语言简洁紧凑，使用方便灵活，库函数极其丰富。MATLAB程序书写形式自由，利用起丰富的库函数避开繁杂的子程序编程任务，压缩了一切不必要的编程工作。由于库函数都由本领域的专家编写，用户不必担心函数的可靠性。可以说，用MATLAB进行科技开发是站在专家的肩膀上。二、运算符丰富。由于MATLAB是用C语言编写的，MATLAB提供了和C语言几乎一样多

23、的运算符，灵活使用MATLAB的运算符将使程序变得极为简短。三、MATLAB既具有结构化的控制语句（如for循环，while循环，break语句和if语句），又有面向对象编程的特性。四、程序限制不严格，程序设计自由度大。例如，在MATLAB里，用户无需对矩阵预定义就可使用。五、程序的可移植性很好，基本上不做修改就可以在各种型号的计算机和操作系统上运行。六、MATLAB的图形功能强大。在FORTRAN和C语言里，绘图都很不容易，但在MATLAB里，数据的可视化非常简单。MATLAB还具有较强的编辑图形界面的能力。七、MATLAB的缺点是，它和其他高级程序相比，程序的执行速度较慢。由于MATLAB

24、的程序不用编译等预处理，也不生成可执行文件，程序为解释执行，所以速度较慢。八、功能强大的工具箱是MATLAB的另一特色。MATLAB包含两个部分：核心部分和各种可选的工具箱。核心部分中有数百个核心内部函数。其工具箱又分为两类：功能性工具箱和学科性工具箱。功能性工具箱主要用来扩充其符号计算功能，图示建模仿真功能，文字处理功能以及与硬件实时交互功能。功能性工具箱用于多种学科。而学科性工具箱是专业性比较强的，如control,toolbox,signl proceessing toolbox,commumnication toolbox等。这些工具箱都是由该领域内学术水平很高的专家编写的，所以用户无

25、需编写自己学科范围内的基础程序，而直接进行高，精，尖的研究。九、源程序的开放性。开放性也许是MATLAB最受人们欢迎的特点。除内部函数以外，所有MATLAB的核心文件和工具箱文件都是可读可改的源文件，用户可通过对源文件的修改以及加入自己的文件构成新的工具箱。2.3 M语言编程MATLAB是美国MathWorks公司开发的用于教育、工程与科学计算的软件产品，它向用户提供从概念设计、算法开发、建模仿真到实时实现的理想集成环境。无论是进行科学研究、产品开发，还是从事教育事业，MATLAB产品都是非常有效的工具5。相对于其他类似于MATLAB的仿真软件，MATLAB的一个显著特点就是它提供了一种用于编

26、程的高级语言M语言。通过这种语言，用户可以用类似于数学公式的方式来编写算法，大大降低了编程所需的难度并节省了时间，从而让用户把主要的精力集中在算法的构思而不是编程上。在MATLAB中，在给变量赋值之前，不需要定义它的类型。例如对变量var1赋值1000，并没有事先定义var1的数据类型。MATLAB会自动决定变量的类型，并为它分配内存空间6。对上述变量var1，MATLAB将它默认定义为双精度浮点型，分配8个字节的存储空间。M语言中的变量名（包括函数名）是以英文字母开头的英文字母、下划线和阿拉伯数字的组合，有效长度不超过31。M语言支持类似于数学公式的编程。例如，C=A+B就可完成矩阵A和矩阵

27、B的相加运算，并把结果存储在C中。MATLAB中所有的变量都没有维数的限制（维数自动扩展），并且是以数组（array）的方式存储。但在数学意义上，基本上可以把所有的变量都当作矩阵来理解，尤其是对数值变量（对于结构数组，元胞数组最好不要当作矩阵来理解）7。例如在C=A+B中，变量A和B都是以22维数组的方式存储的（存储方式为按列存储，而C/C+中的数组变量是按行存储的，这个区别需要注意），在数学意义上可将A和B当作两个22维的矩阵，C=A+B完成的便是两个矩阵的相加运算。同样的，U，S，V=svd(A)实现对矩阵A的奇异值分解。在MATLAB中所有变量的维数都可自动扩展，但始终保持它的矩形结构8

28、。3 常用图像融合方法3.1 线性加权图像融合法线性加权法是一种简单的图像融合方法，他直接对多幅图像的对应像素点进行加权叠加，如为n幅图像在对应位置的灰度值，那么融合后图像可以通过下式得到：，其中 （3-1）线性加权法的优点在于概念简单，计算量非常小，适合实时处理；其缺点是融合后的图像包含很强的噪声，特别是当融合图像的灰度差异很大时，就会出现明显的拼接痕迹，视觉效果差。3.2 金字塔图像融合法用金字塔在空间上表示图像是一种简单方便的方法。概括地说金字塔图像融合法就是将参加融合的每幅图像作金子塔表示，将所有图像的金字塔表示在各相应层上以一定得融合规则融合，可以得到合成的金字塔。将合成的金字塔用金

29、字塔生成的逆过程重构图像则可得到融合图像9。金字塔可分为：拉普拉斯金字塔、高斯金字塔、梯度金字塔、数学形态金字塔等。3.2.1 图像的高斯金字塔分解由于图像的拉普拉斯金字塔的构成是在高斯金字塔的基础上演变而来的，因此首先得对图像进行高斯金字塔分解。设源图像为，以作为高斯金字塔的第0层（底层），对原始输入图像进行高斯低通滤波和隔行隔列的下采样，得到高斯金字塔的第一层；在对第一层图像低通滤波和下采样，得到高斯金字塔的第二层重复以上过程，构成高斯金字塔。高斯金字塔的构建过程为：假设高斯金字塔的第1层图像为： （3-2）式中，N为高斯金字塔顶层的层号；和分别为高斯金字塔第l层的行数和列数；是一个二维可

30、分离的5*5窗口函数，表达式为： （3-3）至此，由，就构成了高斯金字塔，其中为金字塔的底层（与源图像相同），为金字塔的顶层。可见高斯金字塔的当前层图像是对其前一层图像先进性高斯低通滤波，然后作隔行和隔列的降2采样而生成的。当前层图像的大小依次为前一层图像大小的1/4。3.2.2 图像的拉普拉斯金字塔分解 将内插方法，得到放大图像，使得的尺寸与的尺寸相同，表示为：，（3-4）式中， （3-5）令 （3-6）式中，N为拉普拉斯金字塔顶层的层号；是拉普拉斯金字塔分解的第l层图像。由，构成的金字塔即为拉普拉斯金字塔。它的每一层图像是高斯金字塔本层图像与其高一层图像经内插方法后图像的差，此过程相当于带

31、通滤波，因此拉普拉斯金字塔又称为带通金字塔分解。由式（3-6）可得： （3-7） 式（3-6）说明，从拉普拉斯金字塔的顶层开始逐层由上至下按式（3-6）进行递推，可以恢复其对应的高斯金字塔，并最终得到原图像。3.2.3 基于拉普拉斯金字塔分解的图像融合图像拉普拉斯金字塔分解的目的是将原图像分别分解到不同的空间频带上，融合的过程是在各空间频率层上分别进行的，这样就可以针对不同分解层的不同频带上的特征与细节，采用不同的融合算子已达到突出的特定频带上特征与细节的目的。即有可能将来自不同图像的特征与细节融合在一起。设和分别为源图像A和B经过拉普拉斯金字塔分解后得到的第层图像，融合后的结果为（），当=N

32、时，和分别为源图像A和B经过拉普拉斯金字塔分解后得到的顶层图像。对于顶层图像的融合，首先计算以其各个像素为中心的区域大小为M*N（M，N取奇数且）的区域平均梯度： （3-8）其中，和分别为像素在与方向上的一阶差分，定义如下： （3-9） （3-10）因此对于顶层图像中的每一个像素和都可以得到与之相对应的区域平均梯度和。由于平均梯度反映了图像中的微小细节反差和纹理变化特征，同时也反映出图像的清晰度。一般来说平均梯度越大，图像层次也越丰富，则图像越清晰。因此顶层图像的融合结果为： （3-11）当时，则对于经过拉普拉斯金字塔分解的第层图像，首先计算其区域能量： （3-12） （3-13）这里，则其他

33、层次图像的融合结果为： （3-14）在得到金字塔各个层次的融合图像后，通过式（3-6）重构，便可得到最终的融合图像。3.3 PCA图像融合法主分量变换（PCA）变换又称K-L变换，它是一种基于目标特性的最佳正交变换。在进行许多问题的分析时，多个变量的情况是经常遇到的。变量太多，无疑会增加分析问题的难度和复杂性，而且在许多实际问题中，多个变量之间具有一定的相关性。能否在各个变量之间相关关系研究的基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来的变量所反应的信息，主分量分析就是实现这个目标的一种强有力的方法10。它是把原来多个变量化为少数几个综合指标的一种统计分析

34、方法，从数学角度来看，这是一种降维处理技术，用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量地反映原来较多指标所反映的信息，同时它们之间又彼此独立。针对主成分分析的特性，将其应用于图像融合，可以把多波段的图像信息最大限度的表现在融合后的新图像中。主成分分析法的几何意义是把原始特征空间的特征轴旋转到平行于混合集群结构轴的方向去，得到新的特征轴。实际操作时将原来的各个因素指标重新组合，组合后的新指标是互不相关的。在由这些新指标组成的新特征轴中，只用前几个分量图像就能完全表征原始集群的有效信息，图像中彼此相关的数据被压缩，而特征得到了突出，此方法在对于具有相关因子的多源

35、遥感数据进行融合时具有显著优势。（1）主分量分析原理各源图像的原始数据可表示为： （3-15）其中，m和n分别为源图像个数(或称变量数)和每幅图像中像素数；矩阵中的每一行向量表示一幅源图像。一般图像的线性变换可以用下面的式子表示： （3-16）式中X为待变换图像数据矩阵，Y为变换后的数据矩阵，T为实现这一线性变换的变换矩阵。如果变换矩阵T是正交矩阵，并且它是由源图像数据矩阵X的协方差矩阵C的特征向量所组成，则上式的线性变换称为K-L变换，并且K-L变换后的数据矩阵的每一行向量为K-L变换的一个主分量。 （2）主分量变换的过程用于图像的K-L变换的过程如下：根据原始图像数据矩阵X，求出它的协方差

36、矩阵C：X的协方差矩阵为: （3-17） 求出协方差矩阵的特征值和特征向量，并组成变换矩阵，具体如下：写出特征方程： （3-18） 式中：I为单位矩阵，U为特征向量。解上述的特征方程即可求出协方差矩阵C的各个特征值，并将其按的顺序排列，求得各特征值相对应的单位特征向量(经归一化) ： （3-19）得到变换矩阵，其中，是以各个特征向量为列构成的矩阵，且矩阵是正交矩阵，即矩阵满足： (单位矩阵)。将变换矩阵T代入Y=TX，将得到K-L变换的具体表达式： （3-20）式中Y矩阵的行向量为第j个主分量。经过K-L变换后，得到一组m个新的变量，它们依次被称为第一主分量，第二主分量，第m主分量。在PCA反

37、变换时，只需运用到前m个主分量，这也正是主分量名称的由来。PCA变换用于图像融合的基本原理是:首先计算参加融合的两幅源图像的协方差矩阵，然后求其特征值对应的特征向量，最后利用与最大特征值相对应的特征向量来确定两幅图像的加权系数。 低空间分辨率多光谱图像 PCA正变换 高空 间分 第一 第二 第N 辩率 主成 主成 主成 全色 分量 分量 分量 图像 以第一主成分为标准直方图匹配全色图 PCA逆变换 融合图像 图3-1 基于PCA变换的图像融合方法PCA融合算法的优点在于，它适用于多光谱图像的所有波段(IHS变换只能用3个波段)，但其不足之处在于，由于PCA融合算法中只是用高分辨率图像简单替换低

38、分辨率图像的第一主成分，故低分辨率图像第一主成分分量会损失一部分反映光谱特性的信息，使得融合后图像的光谱畸变严重。用PCA方法确定加权系数优于加权平均融合方法中提到的根据像素灰度值自适应确定加权系数的方法，得到的融合图像效果相对较好，但是对比度的提高没有显著的效果。4 基于小波变换的图像融合方法4.1 小波变换4.1.1 小波变换的概念及发展小波变换的概念是1984年法国物理学家J.Morlet首先提出来的。其后A.Grossman采用平移和伸缩建立了小波变换的理论体系。1985年，法国数学家Y.Meyer第一个构造出具有一定衰减性的光滑小波。1988年，比利时数学家I.Daubechies证

39、明了紧支撑正交标准小波基的存在性并成功构造了它，使得离散小波分析成为可能，1989年S.Mallat提出了多分辨率分析概念，统一了小波的构造方法，特别是提出了二进制离散小波变换的快速算法，使小波变换走向了实用。小波变换分析方法是一种窗口大小固定但形状可以改变，时间窗和频率窗都可以改变的时频域化方法，即在低频部分具有较高的频率分辨率和较低的时间分辨率，在高频部分具有较高的时间分辨率和较低的频率分辨率，所以小波被称为数学显微镜11。 小波变换具有很好的时域特性，因此，在信号分析和处理中得到了很好的应用。平面图像可以看成二维信号，因此小波分析很自然地被运用到图像处理领域。目前小波分析已经被运用到图像

40、处理中几乎所有的分支：如图像融合、边缘检测、图像分割、图像压缩等。4.1.2 连续小波变换所谓小波（wavelet）是由满足条件: （1） （4-1）（2） （4-2）其中 （4-3）的解析函数经过平移、缩放得到的正交函数族 （4-5）小波变换是用小波函数族按不同尺度对函数进行的一种线性分解运算： （4-6）对应的逆变换为： （4-7）小波变换有如下性质：（1）小波变换是一个满足能量守恒方程的线形运算，它把一个信号分解成对空间和尺度（即时间和频率）的独立贡献，同时又不失原信号所包含的信息； （2）小波变换相当于一个具有放大、缩小和平移等功能的数学显微镜，通过检查不同放大倍数下信号的变化来研究其

41、动态特性12； （3）小波变换不一定要求是正交的，小波基不唯一。小波函数系的时宽-带宽积很小，且在时间和频率轴上都很集中，即展开系数的能量很集中； （4）小波变换巧妙地利用了非均匀的分辨率，较好地解决了时间和频率分辨率的矛盾；在低频段用高的频率分辨率和低的时间分辨率（宽的分析窗口），而在高频段则用低的频率分辨率和高的时间分辨率（窄的分析窗口），这与时变信号的特征一致； （5）小波变换将信号分解为在对数坐标中具有相同大小频带的集合，这种以非线形的对数方式而不是以线形方式处理频率的方法对时变信号具有明显的优越性； （6）小波变换是稳定的，是一个信号的冗余表示。由于a、b是连续变化的，相邻分析窗的绝

42、大部分是相互重叠的，相关性很强13； （7）小波变换同傅立叶变换一样，具有统一性和相似性，其正反变换具有完美的对称性。小波变换具有基于卷积和QMF的塔形快速算法。 4.1.3 离散二进小波变换在实际应用中，常常要把连续小波变换离散化。若对连续小波变换的伸缩因子和进行采样，选取，则可得到离散的二进小波变换： （4-8） （4-9）这里，采样率由于离散二进小波变换是对连续小波变换的伸缩因子和平移因子按一定规则采样而得到的，因此，连续小波变换所具有的性质，离散二进小波变换一般仍具备。 4.1.4 Mallat算法Mallat算法是便于计算机软件和硬件实现的快速离散算法。这是Mallat在Burt和A

43、delson的图像分解和重构的塔式算法的启发下，根据多分辨率框架提出的算法。此算法在小波分析中的地位相当于FFT在经典傅立叶分析的地位。 按Mallat算法，我们可以把函数f(x)分解为不同频率通道的成分，并把每一频率通道的成分按相位进行分解，频率越高，相位划分越细，频率越低，相位划分越粗。Mallat算法完全是离散的，便于数值计算。 4.2 基于小波变换图像融合算法的概述4.2.1 小波变换法图像融合的发展背景图像融合技术在采集多源信息的基础上采用融合算法对原始图像信息进行处理，从而获得统一目标或事物更全面、更丰富的图像信息。最早采用的图像融合方法是空间域法，即将两幅或多幅在空间坐标下直接进

44、行运算和叠加，这种方法操作简单，过程直观，但精度往往不高。到了90年代提出了变换域法，基于小波变换的图像融合方法得到了广泛的应用4.2.2 小波变换在图像融合中的应用图像融合技术不同于一般意义的图像增强，它涉及到了计算机视觉、图像理解等多个领域。图像融合分为三个阶段，即像素级融合、特征级融合和决策级融合。像素级融合中多分辨率图像融合算法是其中一个非常重要的算法，而小波变换法是多分辨率分析中一种常用的算法。基于小波变换的图像融合可以很好的减少层间的相关性，得到更好的融合结果。4.2.3 基于小波变换融合的物理意义小波变换是多尺度、多分辨率分解，其对图像的多尺度分解过程可以看作是对图像的多尺度边缘

45、提取过程，从而可以较大尺度上看见大的特征，在较小尺度上看见小的细节。同时，小波的多尺度分解还具有方向性，从而将小波变换应用于图像融合处理，就可以在不同尺度上针对不同的大小、方向的边缘和细节进行融合处理。小波变换具有空间和频域局限性，利用小波变换可以将融合图像分解到一系列频域通道中，这样对图像融合处理是在不同的频域通道分别进行的。而人眼视网膜就是在不同频域通道中进行处理的，因此基于小波变换的图像融合是可能达到更好的视觉效果的。小波变换具有方向性，人眼对不同方向的高频分量具有不同的分辨率，若在融合处理是考虑到这一特性就可以有针对的进行融合处理，以获得良好的视觉效果。对参加融合的各图像进行小波塔形变

46、换分解后，为获得更好的融合效果并突出重要的特征细节信息，在融合处理时不同频率分量、不同分解层、不同方向均可以采用不同融合规则及进行融合算子进行处理；另外，统一分阶层的不同局部区域上采用的融合算子也可以不同，这样就可能充分挖掘被融合图像的互补及冗余信息，有针对性地突出或强化所感兴趣的特征和细节信息。4.3 基于小波变换图像融合的算法原理应用小波进行图像融合的原理是将融合方法应用到原始图像的小波分解的低频分量和高频分量中。小波变换在图像融合中有着非常重要的应用，基于小波分析的图像融合是近年来国内外一个活跃的研究领域，二维小波分析用于图像融合是小波分析应用的一个重要方面，基于小波变换的图像融合能取得

47、良好的结果，使图像融合成为小波理论最成功的应用领域之一。在一幅图像的小波变换中，绝对值较大的小波系数对应于边缘这些较为显著的特征，所以大部分基于小波变换的图像融合算法主要研究如何选择合成图像中的小波系数，也就是三个方向上的高频系数，从而达到保留图像边缘的目的。虽然小波系数(高频系数)的选择对于保留图像的边缘等特征具有非常主要的作用，但尺度系数(低频系数)决定了图像的轮廓，正确地选择尺度系数对提高合成图像的视觉效果具有举足轻重的作用。4.3.1 基于小波分解的融合算法流程该算法是指对图像进行小波分解，以得到图像的高频信息，作为后期目标判决的依据，小波变换应用于图像融合的优势在于它可以将图像分解到

48、不同的频率域，在不同的频率域运用不同的选择规则，得到合成图像的多分辨分解，从而在合成图像中保留原图像在不同频率域的显著特征。根据小波变换的图像融合算法的思想，其主要步骤如下：(1) 对多源图像进行几何精确配准；(2) 选取合适的小波基以及分解层数，对原始图像进行多层小波分解，获取各自的近似系数和细节系数。(3) 根据具体需要，选择小波系数的融合规则。比如可以小波系数进行均值滤波或者中值滤波等。(4) 对小波系数反变换后，得到融合后的图像。根据这一思路可以对多源图像进行融合。在融合算法中，对原始图像进行小波分解，这里就存在选取合适的小波基以及分解层数。不同的小波基的选择对最后分解的结果有很大的影

49、响，并且小波变换的分解层次并不是越多越好。原理框图如图4-1图像A小波变换高频分量低频分量融合原则1图像B小波变换高频分量低频分量融合原则2小波逆变换融合的结果图4-1 融合算法原理框图4.3.2 高频系数融合规则在图像融合过程中，融合规则至关重要，它的选择直接影响着融合的效果。经典的融合准则是比较单个像素的特征，由单个像素的特征大小决定像素的取舍。显然，更合理地决定像素取舍应该是通过考察以输入像素为中心的某一邻域内图像的特征来决定，区域特征明显的中心像素被选中，用区域内的量比较代替单个像素的量的比较应该更能反映图像的特征和趋势。方差是统计量中重要的特征量，某邻域的方差是用于描述该邻域内的小波

50、系数的变化程度和分散程度，在该邻域的方差越大，其小波系数的变化越大越分散14。在一幅图像的小波分解中，绝对值较大的小波系数对应于图像中对比度变化较大的边缘等特征，而人眼对于这些特征比较敏感。所以，对于高频率域我们总是希望尽可能地保留输入图像丰富的细节信息，因此特别重视突出图像中的高频成分。为此，与以往小波图像融合方法的融合规则和算法不同，这里提出了基于系数绝对值取大和区域均值方差最大化的新融合准则和算法。以两幅图像A、B的融合为例，融合后图像为F。对二维图像进行N层小波分解，最终有(3N + 1)个不同频带，其中包含3N个高频带和一个低频带。具体的融合规则和融合算法为：(1) 对源图像A、B分

51、别进行N层小波分解；(2) 融合图像F的低频部分，取源图像A、B分解后的加权平均，即 （4-10） 其中， 、分别表示参加融合的源图像A和B在小波分解尺度N上的低频分量，表示融合图像F在小波分解尺度N上的低频分量。(3) 在最高分解层上，比较A、B图像的3个方向高频分量的小波系数，取绝对值大的小波系数作为融合图像F的小波系数，即DiN ,F = DiN ,A if| DiN ,A| | DiN ,B|DiN ,F = DiN ,B else 其中，DiN ,A 、DiN ,B ,分别表示参加融合的源图像A和B在小波分解尺度N上i方向上的小波系数，DiN ,F表示融合图像F在小波分解尺度N上i方

52、向上的小波系数。(4) 在中间分解层上，理像素为中心的局部区域(这里取3 3)的均值方差最大的图像A或B的小波系数作为融合图像F对应的小波系数，即Dij,F = Dij,A if MSEAMSEBDij,F = Dij,B else其中分解尺度j取1到N - 1 ；MSEA 、MSEB分别表示源图像A和B在分解尺度上方向上对应局部区域上的方差。方差MSE定义为： （4-11）其中，M、N分别为局部区域的行数和列数(这里为3)；为当前局部区域内的一个像素的灰度值，为当前局部区域像素灰度值的平均值；(5) 确定融合图像F的各小波系数后，进行逆小波变换，即得到融合图像F。4.3.3 低频系数融合规则

53、虽然小波系数(高频系数)的选择对于保留图像的边缘等特征具有非常主要的作用，但尺度系数(低频系数)决定了图像的轮廓，正确地选择尺度系数对提高合成图像的视觉效果具有举足轻重的作用15-17。因此在考虑小波系数选择规则的前提下，还重点研究了尺度系数的选择方案。对于低频段尺度系数的选择，本文设计了三种方案。第一种就是采用平均的方法，用数学公式表示就是：（4-12） （4-13） （4-14） （4-15） （4-16） （4-17） （4-18）对低频系数直接采用平均法，没有考虑图像的边缘等特征，这样就会在一定程度上降低图像的对比度。第二种方案就是Burt提出的平均与选择相结合的方法。首先用一个小区域

54、Q内的能量来表示显著性，如果用 表示图像X在P点处尺度系数的显著性，则： (4-19)其中(q) 表示权值，离p点越近，权值越大。同样可定义。接着定义匹配矩阵R： (4-20)就选择两幅图像尺度系数的加权平均值作为合成图像在这一点的尺度系数。这时融合函数可描述为：匹配矩阵各点的值在0和1之间变化，接近零就说明两幅图的相关程度低，接近1就说明相关程度高。当匹配矩阵在某一点的值较小时(小于某一阈值a)，就选择显著性高的尺度系数作为合成图像的尺度系数；当匹配矩阵的值较大时， (4-21)其中和按下式计算： (4-22) 第二种方案考虑了两幅图像的相关性，并根据相关性的不同，分别采用选择和平均的方法1

55、8,19。当两幅图像的相关性较强时，就采用平均的方法；当两幅图像的相关性较弱时，就选择局部能量较大的点。这种选择原则在一定程度上符合人眼对较显著的点比较敏感这一事实。所以可以推断，采用这种方案获得的融合图像会比直接用平均法得到的融合图像效果好。但是，第二种方案还是没有考虑到图像的边缘这些显著特征，这样有时就会影响融合图像的效果。因此我们就提出了第三种方案。第三种方案就是基于边缘的选择方案。对于图像X的尺度系数定义一个变量E (4-23)其中* 表示卷积 (4-24) (4-25) (4-26) 同样，对于图像Y，可定义变量。变量E在一定程度上反映了图像在水平、垂直和对角线方向的边缘信息。因此为

56、了较好地保留原图像中的细节，可对两幅图像的尺度系数计算出变量E，并选择E较大的尺度系数作为合成图像的尺度系数，这样就能在融合图像中最大程度的保留原图像的边缘信息。融合函数表达如下： (4-27)其中， （4-28）第三种方案在多幅原图像中选择最有可能是边缘的点加以保留20，所以可以预测这种方法得到的合成图像比较清晰，细节较为丰富。 5 小波变换MATLAB程序及运行结果比较5.1 基于小波变换图像融合算法的MATLAB仿真load bust %导入待融合图像1X1=X;map1=map;subplot(131);image(X1);colormap(map1);title(原始图像1);axis squareload mask %导入待融合图像2X2=X;map2=map;for i=1:256 %对灰度值大于100的像素进行增强，小于100的像素进行减弱for j=1:256if(X2(i,j)100)X2(i,j)=1.2*X2(i,j);elseX2(i,j)=0.5*X2(i,j);endendendsubplot(132)image(X2);colormap(map2);title(原始图像2);axis squarec1,s1=wavedec2