神经网络重建高分辨力图像及在红外成像中汇总

《神经网络重建高分辨力图像及在红外成像中汇总》由会员分享，可在线阅读，更多相关《神经网络重建高分辨力图像及在红外成像中汇总（11页珍藏版）》请在装配图网上搜索。

1、- 1 -神经网络重建高分辨力图像及在红外成像中的应用1张楠，金伟其，苏秉华北京理工大学信息科学技术学院光电工程系（100081）Email:zhangnan摘 要：数字图像技术的广泛应用对图像分辨力的要求越来越高。传统的插值方法由于不能增加新的高频信息，因此无法真正提高分辨力。采用多帧技术重建高分辨力图像是一种有效方法，但由于计算量大和获取图像序列不易而限制了它的实际应用。本文提出了一种用神经网络进行高分辨力图像重建的新方法。利用神经网络建立低分辨力和高分辨力图像中高频分量之间的映射关系。得到的高分辨力图像无论是在视觉还是定量分析（采用MSE 和MAE 评价参数）都优于传统帧内插值方法。对红

2、外图像也能得到满意的结果。并且由于采用单层线性网络，计算量小，易于实时实现。关键词：图像重建；红外；高频分量；神经网络；MSE；MAE1引言就典型的光学成像系统而言，镜头的衍射效应和焦平面上的欠采样是造成获取图像分辨力降低的两个非常重要的因素。随着数字图像技术的广泛应用，人们对清晰的高质量的图像需求日益迫切。因而，高分辨力图像重建问题具有非常重要的意义。由一幅低分辨力图像中的信息重建高分辨力图像是一个病态问题。传统的图像插值算法，由于不能产生新的高频信息，所以不能真正提高分辨力。因此人们提出了一些采用非线性技术的单帧重建算法，如多卷积核和非线性滤波法、Bayesian 分析法1等。但由于这些方

3、法所基于的假设与实际情况有一定差距，因此无法保证复原高频信息的准确性。多帧图像重建技术从相互之间存在亚像素位移的图像序列中抽取一幅高分辨力图像，由于每幅低分辨力图像中包含相关而又不同的高分辨力图像信息，因此这种方法得到的效果较好2。在红外成像系统中，由微扫描机构产生各帧图像之间的相互位移重建出高分辨力图像，称为微扫描技术。实践证明，微扫描可有效消除由欠采样引起的频率混淆，提高系统的分辨力3。但在实际应用中，多帧图像重建技术存在计算复杂不能实时实现和图像序列不易获得等问题。而微扫描技术多采用光机扫描，机械结构复杂，并会降低红外FPA 的灵敏度。因此，研究有效的单幅图像高分辨力重建方法在一些具体应

4、用中具有更高的应用价值。针对单幅图像，本文提出了一种用神经网络进行高分辨力图像重建的方法。由于图像中的高频分量决定了图像边缘的锐利度，直接影响观察效果。因此，利用神经网络的学习特性，建立起低分辨力和高分辨力图像中高频分量之间的映射关系，将神经网络输出高频信息与原低分辨力图像相加，即可实现高分辨力图像重建。实验结果证明，该神经网络具有较强的泛化能力，并且训练时间短，计算量小，易于实时处理。该方法得到的放大图像无论是在视觉1本课题得到高等学校博士学科点专项科研基金（项目编号：20020007006）资助- 2 -还是定量分析中都优于一般插值算法，特别对红外图像也能取得满意的结果。2用神经网络重建高

5、分辨力图像的原理Burt 和Adelson 曾引入基于高斯函数的编码策略4：用具有高斯脉冲响应的低通滤波器L H , 对一幅图像0f 进行滤波得到低频图像01f (式(1, 原图0f 减去低频图像01f 得到高频分量0H (式(2,0H 保存了精细的边缘信息。再对低频图像01f 降采样得到1f (式(3。这一过程在降采样后的图像上迭代进行, 最终得到只包含一点(直流分量 的图像m f 。迭代公式如下： n L n f H f =+01 (101+=n n n f f H (2(011+=n n f subsample f (3式中11, 0=m n L 。m f 和1m H 2m H 0H 组

6、成了图像的金字塔表示。同编码过程相反，对图像1+n f 进行升采样，恢复到降采样前的大尺寸图像01+n f ，然后迭加上相应的边缘信息图像n H 可以重建n f 。迭代执行解码算法将重建原始图像0f 。由金字塔结构的解码过程可知，一幅低分辨力图像升采样后加上相位一致的高频边缘图像可以得到高分辨力图像。如果能够构造出一幅图像在更大尺度上具有一致相位的高频信息，就可以重建出比简单插值算法具有更多细节的高分辨力图像。假设低分辨力图像是由高分辨力图像经过低通滤波加降采样以后得到的，低分辨力图像的大小为N N 。首先将低分辨力图像1f 用线性插值法进行增采样得到大尺度(2N 2N 上01f 的估计为(1

7、01f Z f = (4 式中算子 (Z 表示升采样操作。图像01f 中的高频分量为 01010f H f H L = (5 根据(1式和(2式关系，上式可写为0000(H H f H f H H L L L = (6 用G 表示0H 和0H 之间的逆向映射关系有 00H G H = (7 根据(2式和(7式，得到高分辨力图像0f 的估计为010010H G f H f f +=+= (8 将(4式中的估计值代入上式，可以得到我们的算法对高分辨力图像的估计为 ( ( (1110f Z H f Z G f Z f L += (9 我们用线性神经网络学习0H 和0H 之间的逆向映射关系G ，便可以

8、得到大尺度上相位- 3 -一致的高频信息，与插值后的图像叠加便可得到高分辨力重建图像。算法实现过程如图1所示。 3具体实现方法3.1 图像预处理由高分辨力图像降采样得到低分辨力图像的方法是：首先将高分辨力图像沿行和列方向分别进行一次低通滤波，以避免抽样时产生混频。滤波后的图像表示为51283, ( 3, (6128 1, ( 1, (38 , (64 , (+=y x f y x f y x f y x f y x f y x f LC (10128, 3( , 3(6128 , 1( , 1(38 , (64 , (y x f y x f y x f y x f y x f y x f LC

9、 LC LC LC LC L +=然后抽取偶数行和偶数列，得到低分辨力图像的大小为原来的1/4。3.2 线性神经网络的结构在线性位移不变系统假设条件下，我们采用分块处理的方法来估计高频分量，不但可以减小网络的规模，还可以减小所需训练图像的数量。图像子块的大小必须不小于低通滤波的支撑域。本文中输入低分辨力图像中图像子块大小为77，输出高分辨力图像子块的大小为55。低分辨力图像子块和高分辨力图像子块的中心重合，依次扫过整幅图像，将子块中像素按行列方向展开为列矢量，分别得到神经网络的输入和输出矢量，对应的线性神经网络有49个输入，25个输出。3.3 高分辨力图像重建用神经网络重建高分辨力图像时，首先

10、将低分辨力图像插值放大，可以选用任何已有的图像插值算法，本文中选用双线性插值算法，然后按式(1(2中方法分离高频分量。按前述方法将低分辨力高频分量划分为图像子块作为神经网络的输入，输出为相应的理想高频图像子块，拼合为一幅图像后与升采样图像相加即得到高分辨力图像。4实验及结果分析我们以128128的lena 、jane 和lily 图像作为原始的高分辨力图像对神经网络进行训练。以128128的cat 和cameraman 图像作为测试原图像。使用一维高斯低通滤波器，截高分辨力高频 图1 算法实现过程- 4 -止频率为8/，在行列方向进行二次低通滤波以分离高频分量。为了评价放大图像的效果，采用均方

11、差(MSE和平均绝对差(MAE作为评价参数。=1010210210( (N k N l kl N k N l kl kl f f f MSE ， =10101010|N k N l kl N k N l kl kl f f f MAE (11MSE 和MAE 的值越小说明重建图像越接近于原图像。与传统双线性插值方法的比较结果由表1给出。数据表明：本方法能获得比插值方法更加精确的重建结果。图2给出了对cat 图的实验结果。为了说明频谱拓展，图2中还给出了相应的频谱图。由图2可以看出，用本文方法获得的图像无论是从图像的主观视觉锐利度还是频谱的拓展观察，增强效果都非常明显。 表1 与传统插值方法的比

12、较MSE MAE图像名称 双线性 本文方法 双线性 本文方法 Lena 0.0401 0.0163 0.1745 0.0935cat 0.0316 0.0108 0.1532 0.0728cameraman 0.0563 0.0405 0.2006 0.1779(a原图像 (b双线性插值图 (c本文方法重建的图像 (d原图像频谱 (e插值图像频谱 (f重建图像频谱(g 重建图与原图频谱相关图 (h 插值图与原图频谱相关图图2 cat图实验结果- 5 -图3为一幅实际红外图像。图4给出分别用双线性插值法和本文方法对图3中虚线框内局部图像(3232 进行4倍放大的图像。可以看出本文方法的视觉效果更

13、佳。 图3 红外图像 5结论 本文提出了一种用线性神经网络重建高分辨力图像的方法。利用神经网络的学习能力建立低分辨力与高分辨力图像中高频分量之间的映射关系，从而得到更精确更清晰的高分辨力图像估计。并且由于高频分量图像中没有低频信息，因此神经网络需要学习的种类大大减少，使网络具有很强的泛化能力，训练时间缩短。实验结果表明，本文方法适用于各类图像的精确放大，对红外图像也能给出边缘清晰的结果。由于采用单层线性神经网络，计算量很小，易于实时实现。参考文献1 Schultz R R, Stevenson R L. A Bayesian approach to image expansion for im

14、proved definitionJ. IEEE transimage processing, 1994, 3(3: 233242.2 Russell C H et al. High-resolution image reconstruction from a sequence of rotated and translated frames andits application to an infrared imaging systemJ. Optical engineering, 1998, 37(1: 247260.3 Fred P B, Dr Peter N J D, Dr Derek

15、 J B. The Effects of Microscan Operation on Staring Infrared SensorImageryJ. SPIE,1991, 1540: 653664.4 戴天荣, 张立明. 一种改进的非线性外推图像增强算法及在高分辨率图像重建中的应用J. 红外与毫米波学报, 2003, 22(3: 197202.Dai tianrong, Zhang liming. An improved image enhancement algorithm by nonlinear extrapolation in frequency space and the app

16、lication to high resolution image reconstructionJ. J. Infrared Millim. Waves, 22(3: 197202.5 Plaziac N. Image interpolation using neural networksJ. IEEE Trans image processing, 1999, 8(11:16471651.6 柏森, 张邦礼, 曹长修. 神经网络图象复原方法的研究进展J. 中国图象图形学报, 2002, 7(11:11051112.Bai sen, Zhang bangli, Cao changxiu. Re

17、view of neural network for image restorationJ. Journal of image and graphics, 2002, 7(11: 11051112.7 Binghua Su, Weiqi Jin, Lihong Niu, Guangrong Liu. MLP neural network super-resolution restoration for theundersampled low-resolution imageJ.SPIE, 2002, 4787: 232235.8 Freeman W T, Jones T R, Pasztor

18、E C. example-based super-resolutionJ. IEEE computer graphics andapplications, 2002, 5665.(a 双线性插值图 (b 本文方法重建的图像 图4 红外图实验结果 High Resolution Reconstruction by Neural Network and The Application to Infrared Images Nan ZHANG WeiQi JIN BingHua SU Department of Optical Engineering, School of Information S

19、cience and Technology, Beijing institute of technology , Beijing 100081, China 1. Abstract Along with digital image techniques are widely used today, the requests for high resolution images become stringent. Traditional single-frame interpolation techniques can not add new high frequency information

20、 to the expanded images, so can not improve resolution in deed. Multiframe-based techniques are effective ways for high resolution image reconstruction, but their computation complexities and the difficulties in achieving image sequences limit their applications. An original method using an artifici

21、al neural network is proposed in this paper. Using the inherent merits in neural network, we can establish the mapping between high frequency components in low-resolution images and high-resolution mages. Example applications and their results demonstrate the reconstructed images by our method are a

22、esthetically and quantitatively (using the criteria of MSE and MAE superior to the images acquired by common methods. Even for infrared images this method can give satisfactory results with high definition. In addition, a single-layer linear neural network is used in this paper, the computational complexity is very low, so this method can be realized in real time. Keywords: reconstruction; infrared; high frequency component; neural network; MAE; MSE -6-