基于偏微分方程的图像修复毕业论文

《基于偏微分方程的图像修复毕业论文》由会员分享，可在线阅读，更多相关《基于偏微分方程的图像修复毕业论文（53页珍藏版）》请在装配图网上搜索。

1、I摘 要图像复原领域中的数字图像修复技术是近几年来比较热门的一个研究课题，它利用图像中已知的有效信息，按照一定规则对破损的图像进行信息填充，得到连续、完整、自然的图像视觉效果。该技术广泛应用于文物保护、老照片的修复、图像中文本信息的去除以及障碍物的去除、影视特技制作以及图像压缩、增强等方面，具有很高的实用价值。本文所做的工作主要体现在以下几个方面：（1）在阅读和查找图像修复算法的相关文献时，基于个人理解的基础上，整理了一些经典的修复模型或算法，详细介绍和描述这些模型和及其算法原理，如基于偏微分的修复模型包括 BSCB 模型、TV 模型、CDD 模型、调和模型等，基于样本块的纹理合成算法如 Cr

2、imini 算法，最后且对这些模型的优缺点进行比较。（2）在之前的基础上，结合 TV、CDD 模型优缺点,针对扩散系数进行改进，提出了一个基于偏微分方程的修复模型，它涵盖了 TV、CDD、指数曲率模型、对数曲率模型这些子模型，为了仿真实现方便，继而给出了该修复模型及其子模型的离散型模型。通过 MATLAB 实现该算法，证明该修复模型对于较小区域的图像修复和去噪有很好的效果。（3）最后总结本论文的创新点和不足点，继而提出该论文可以后续研究探讨的内容。关键词：数字图像修复；偏微分；纹理合成；II ABSTRACT The digital image inpainting technique in

3、the field of image restoration is a hot reseach topic in recent years,using the known valid image information, inpainting the missed or damaged image information according to some rules, to make the image to the extent that the inpainted image looks continuous, intact and natural perceptually. Curre

4、ntly, image inpainting technique has been abroad applied in image processing field, such as digital restoration of ancient paintings for conservations purposes, restoration of the old photos, text,object removalation in images for special effects, vision analysis, data compression and enlargement an

5、d so on, which is full of pratical value. This paper attempts to research on digital image inpainting techniques base on the ensemble learning techniques. The main content of this dissertation is described as follows. (1) On the basis of personal understanding of digital image inpainting algorithms

6、got in the process of seaching and reading revelent inferences, this paper reorgnizes some typical inpainting models or algorithms, introducing and describing these models and their algorithm principles in details, like as partial differential equation models including BSCB, TV, CDD etc, and the tex

7、ture completion exemplar-based inpainting method such as Crimini, at the last making a comparation between these models. (2) According to the previous discussion, combining with the advantages and disadvantages of TV,CDD, coming up with improvement a model based on partial diffrential equation,which

8、 inlcuds TV model,CDD model, the exponent curvature function model,the logarithm curvature function model. To make the algorithm come true easily, then discrete models of those models are given.Through MATLBA simulink ,which proves this inpainting method has a good inpainting effect, also in image .

9、 (3) At the end of the paper, on the basis of sumrizing up the navigations and disadvantages,it has come up with some problems for subsequent research.Key words：Digital Image Inpainting；Partial Differential Equation；Texture Synthesis;I目 录 第一章 绪论 .1 1.1 数字图像修复技术的背景、目的和意义 .1 1.2 数字图像修复技术国内外研究现状 .2 第二章

10、 数字图像修复算法综述.4 2.1 图像的数学描述 .4 2.2 图像修复的相关理论 .6 2.2.1 变分法.6 2.2.2 梯度和散度.8 2.2.3 卷积.9 2.2.4 纹理合成.9 2.3 数字图像修复算法 .10 2.3.1 BSCB 模型 .10 2.3.2 P-LAPLACE 图像修补模型 .13 2.3.3 基于样本的纹理合成算法.20 2.4 各种修复模型算法比较 .23 2.5 本章小结 .24 第三章 TV 模型改进及其实现 .24II 3.1 预备知识.24 3.2 连续型模型.26 3.3 离散型模型.27 3.4 模型的仿真.31 3.5 模型的评价.31 3.6

11、 本章小结.32 第四章 展望 .32 参考文献.33 致 谢.40江西理工大学 2011 届本科生毕业设计（论文）0第一章 绪论1.1数字图像修复技术的背景、目的和意义 一般情况下，一幅完整的图像是没有任何破损和杂质的。但在经历了时间、等外在因素影响，就会导致图像发生退化，图像就会产生破损，对破损区域的修复就是需要进行修复和补全。 欧洲文艺复兴时期，为了恢复美术作品中丢失或缺损的部分，保持作品的整体效果，人们开始对中世纪美术作品进行修复，主要是填补美术作品上所出现的裂痕。而这局限于手工修复，手工修复面临着一个致命的缺点，即直接在原始作品上修改容易造成的微小失误会破坏珍贵的原作。随着美术博物馆

12、的数字化，作品被扫描到计算机里，通常只需要简单的人际交互工作就可完成修复。数字图像修复技术相应地带来了极大的自由，比如可避免直接在原作上进行修复，出现错误的时候或逐步增强修补效果的时候，不会破坏珍贵的原画。毫无疑问，数字图像修复技术为修补古老的艺术作品提供了安全便捷的途径。 数字技术的发展带动了数字图像技术在数字产品中如扫描仪、数码相机等的广泛应用，而在获取数字图像的过程中，会有诸多因素造成数字图像局部范围或大块信息的缺损1： (1)原本有缺损的图片经过扫描得到的图像； (2)基于某种特殊目的对图像进行一些处理而留下的空白区，如移走图像上的目标物或文字 信息； (3)在数字图像的获取、处理、压

13、缩、传输和解压过程中，因信息丢失而造成的信息缺损区。 所谓图像修复是对根据图像已有信息对图像上信息缺损区域按照一定规则进行填充的过程，其目的是为了恢复有缺损的图像，使其接近或者达到原图像的视觉效果。由于没有足够的信息可以保证唯一正确地修复破损图像，因此图像修复是个病态问题。因此人们从视觉心理学的角度出发，提出各种假设限定来解决这个问题。随着科学技术的发展及待修复作品客观因素的要求，图像修复也从手工修复发展到如今的数字图像修复。 随着数字图像技术的发展，越来越多的领域期望能够对图像进行一定的修改，因此数字图像修复技术成为当前计算机图形学和计算机视觉中的一个研究热点，在文物保护、影视特技制作、多余

14、目标物体移除、图形缩放、图像的有损压缩、视频通信的错误隐匿等方面有重大的应用价值。目前的一些图像处理软件虽有专业的特效处理和图像修复处理，但这要求用户掌握必要的图像处理知识。因此简单、自动、快速的修复算法正被人们热切期望着。 Bertalmio 等在 2000 年的一次学术会议上，首次提出数字图像修复技术这江西理工大学 2011 届本科生毕业设计（论文）1个术语。现在，数字图像修复技术正被广泛研究，基于不同原理提出了各种不同修复算法，这些算法致力于简单实用，只要求用户简单选择要修复的区域，剩下的工作则由计算机自动完成。1.2 数字图像修复技术国内外研究现状 目前存在两大类图像修复技术：一类用于

15、修复小尺度缺损的图像修补技术（image inpainting technique） ，也可称为基于变分 PDE 的图像 inpainting算法。一类用于填充图像中大块丢失信息的图像补全技术（image completion technique）,这一技术包含两种方法：基于图像分解（结构部分和纹理部分）的修复技术和基于块的纹理合成技术。如图 1.1 所示。Digital image inpainting（数字图像修复）Image inpainting（图像修补）Image completion（图像补全）Variation and PDE（变分和偏微分）Image division（图像分解

16、）Texture synthesis based on block（基于块的纹理合成）Total variation（全变分）PDE（偏微分）Structure part（结构部分）Synthesis part（纹理部分）图 1.1 数字图像修复方法（Method of digital image inpainting） 小尺度破损图像目前主要使用变分 PDE 方法，其主要思想是利用待修补区域的边缘信息，确定扩散信息和扩散方向。这种基于 PDE 方法的思想首先由Bertalmio, Sapiro, Caselles, Bellester2提出，他们利用带修补区域的边缘信息，采用一种由粗到精的方

17、法来估计等照度线的方向，并采用传播机制将信息传播到待修补的区域内，以便得到较好的修补效果。本质上，他是一种基于偏微分方程（partial differential equation, PDE）的 inpainting 算法，该类方法的主要思想是利用物理学中的热扩散方程将待修补区域周围的信息传播到修补区域中，其典型的方法包括 BSCB2（Bertalmio, Sapiro, Caselles, Bellester）模型用三阶 PDE 来模拟平滑传输过程及 Chan-Shen 提出的用三阶PDE 来模拟 CDD3（curvature driven diffusion）等。在这类方法中，还有一种是基

18、于几何图像模型的变分修补技术，该类算法的主要思路是模仿修补师手江西理工大学 2011 届本科生毕业设计（论文）2工修复图像的过程，该类算法认为修补一幅缺损图片主要依赖于以下两个因素：(1) 如何观察并读懂图片的现存部分 ，其用数学语言表达，也就是如何建立图像的数据模型（data model） ；(2) 原始图片 I 属于哪类图像，其用数学语言表达就是，也就是如何获得图像的先验模型（image prior model） ，即通过建立图像的先验模型和数据模型，将修补问题转化为一个泛函求极值的变分问题。这类算法主要包括全变分（total variation, TV）模型4、Eulers elasti

19、ca 模型5、Mumford-Shah 模型6,7、Mumford-Shah-Euler 模型8 等。由于偏微分方程与变分法是可以通过变分原理相互等价推出的，因此，可把这一类方法统称为基于变分 PDE 的图像 inpainting 算法。 另外一类是用于填充图像中大块丢失信息的图像补全技术（image completion） 。基于图像分解的技术将图像分解为结构部分和纹理部分，其中结构部分用 inpainting 算法修补，纹理部分用纹理合成方法填充。基于块的纹理合成技术填充丢失的信息，该种算法的主要思想，首先从待修补区域边界选择一个元素，以其为中心，根据图像纹理特征，选择大小合适的纹理块。再

20、在待修补区域的周围寻找与之最相配的纹理块，来替代该纹理块。目前的数字图像修复算法也可以分为基于非纹理结构的修复算法和基于纹理结构的图像修复算法。变分和偏微分方法都属于非纹理结构性的算法。 由于数字图像修复技术是近几年发展起来的一个课题，国外的研究正处于初步发展阶段，国内也随后进行相关的研究，逐渐成为国际的热点研究课题。1.3 图像修复算法 的客观评价一幅的原灰度图像，为受损图像，其复原后图像质NM ),(yxI),(0yxI),(yxI量的评价测度有：(1) 均方差测度(MSE) 211,),(1MxNyyxIyxIMNMSE(2) 信噪比测度(SNR) 211112,),(),(lg10Mx

21、NyMxNyyxIyxIyxISNR(3) 峰值信噪比测度(PSNR)江西理工大学 2011 届本科生毕业设计（论文）3 2112,),(1255lg10MxNyyxIyxIMNPSNR(4) 改进信噪比测度(ISNR) 2111120,),(,),(lg10MxNyMxNyyxIyxIyxIyxIISNR 图像修复较常用的客观评价测度为峰值信噪比测度(PSNR)和改进信噪比测度(ISNR)，它们的值越大时，表示修复效果越好。本文仿真实验中用到的是峰值信噪比测度(PSNR)。江西理工大学 2011 届本科生毕业设计（论文）4第二章 数字图像修复算法综述2.1图像的数学描述 数字图像修复技术隶属

22、于图像复原的研究领域。图像复原是试图利用退化现象的某种先验知识进行重建或复原被退化的图像。一般图像复原的数学表达式如下： (2.1)0IKIN 式中，为最初观察得到的图像，为原图像,为退化函数，为加性白噪0IIKN声， “*”表示卷积。退化过程即一个退化函数和一个加性噪声项，图像复KN原的目的是获得关于原始图像的近似估计值，后面文章中也同时代表修复II后的图像。图像退化复原整个过程模型的示意图见图 2。 图 2.1 图像退化/复原过程模型10 一幅数字图像都是二维离散图像用表示，简记为。一幅缺损图片( , )I x yI可由两个因素来描述：数据模型和图像先验模型（也称图像模型） 。数据模型用来

23、描述图像现存部分,图像模型用来描述原图的类型。图 3 是一幅图像修补示意图，表示整个图像区域, D 表示息丢失需要修补的区域, 表示已知信息 D区。已知DI0|待修复区域 DD 图 2.2 图像修复示意图江西理工大学 2011 届本科生毕业设计（论文）5对于大多数图像修补问题来说，数据模型可以描述为： (2.2)0|*DDIKIN 假设图像只考虑噪声，即，NIIyxNyxIyxI00),(),(),(也可简记为其中为具有零均值，方差为的高斯白噪声，即有。N222)(, 0)(NENE 数据模型的能量函数 E，可常用最小均方误差定义9： (2.3)00| ()2DE IIIIdx 由于待修补区域

24、无任何可用的数据，因此，图像(先验)模型对图像修补D算法来说，比其他传统的复原问题(如去噪，去降晰)变得更为重要。图像模型可以从图像数据中经过滤波、参数或非参数估计以及熵方法得到，这些统计方法虽对具有丰富纹理图像的修补很重要，然而，对大多数的修补问题来说，修补区域常常丢失的是图像的重要几何信息(如边缘)，为了重建这些几何信息，图像模型要事先解决这些几何特征，而多数传统的概率模型则均缺乏这种特征。幸运的是，在很多文献中，由几何信息激发的“能量”形式的确存在，如Rudin，Osher 和 Fatermi 模型4副以及 MumfordShah 模型6,7。这就是所谓的变分法。在变分方法中，图像修补问

25、题转化为一个约束最优化问题： (2.4)02min | E IstE II 其中，为图像先验模型的能量形式，表示高斯白噪声的方差，它可 E I2以用适当的统计估计器来估计。用 Lagrange 乘子法可将该约束问题转化为以下无约束问题： (2.5)0min | E IE II通常，用于均衡匹配项与正则化项。对于正则化项，即图像0| E II E I E I的先验模型，常由“能量”泛函实现。比如 Sobolev 范数：；Rudin 等的全变分模型4: ;Mumford-shah 模2 |E IId |E II d型67：，其中表示 1 维 Hausdroff 测度，21( , )|( )DE I

26、IdH 1H江西理工大学 2011 届本科生毕业设计（论文）6则为图像的边缘集。 （以上积分表达式中的积分实际为二重积分，） 。ddxdy2.2 图像修复的相关理论 图像修复问题就是根据数据模型和图像先验模型，建立和求解能量泛函问题，其修补后的图像就是该能量泛函的极值。变分法研究的是一个函数的极大值和极小值问题，因此它可看成是一个变分问题。由于变分法和偏微分法可以相互等价表示，下面先介绍相关的一些概念和定理。2.2.1 变分法 (1) 泛函：设y(x)为已知的类函数，如果对于这类函数的每一个函数 y(x),变量 v 都有一个值和它对应。则变量 v 称为这类函数y(x)的泛函。记为v=vy(x)

27、 (2) 泛函的变分定义：，其中为的近似值。0 xyFFFuxuyu ( )y x( )y x在泛函极值的曲线上，它的变分=0.v 变分预备定理：设为某平面区域，它的边界为，函数，DD( , )()f x yC D以及对任意函数，且，都有,则( , )()x yC D( , )|0Dx y( , ) ( , )0Df x yx y dxdy在区域上，。D( , )0f x y 求解变分问题可以化为微分问题11进行求解. 泛函，函数对于都是二次连续可导，也1 ( )( , ,)baJ y xF x y y dxF, ,x y yy是连续的。设的增量为，变为，则泛函的值变化为：( )y xy( )

28、y xy (2.6) ( ,)( , ,)babaJ yyJ yF x yy yyF x y ydxFFyydxyy上式称为泛函的变分，记为。泛函取极值的必 ( )baFFJ y xyydxyy江西理工大学 2011 届本科生毕业设计（论文）7要条件是。由分部积分法， ( )0baFFJ y xyydxyy (2.7) ()()()bbaabbaabaFF dy dxy dxyy dxFdFyy dxydxydFy dxdxy 必要条件成为。 (2.8)()0baFdFyy dxydxy由变分预定理知，相应的欧拉方程即为 (2.9)()0FdFyydxy泛函取决于两个函数的情况，变分问题2(

29、), ( )y x z x的欧拉方程为 ( , , , )0baJF x y z y zdx0,0FdFydxyFdFzdxz(2.10)泛函取决于及其高阶导数的情况。例如变分问题3( )y x的欧拉方程为( , ,)0baJF x y y yydx (2.11) 23230FdFdFdFydxydxydxy泛函取决于多元函数的情况。变分问题4( , )u x y( , , ,)0 xyJF x y u u udxdy的欧拉方程为 （2.12）0 xyFFFux uy u 附加条件下的变分问题。用欧拉方程解这类问题，可以仿照函数的条件极值5问题，运用 Lagrange 乘子法。江西理工大学 2

30、011 届本科生毕业设计（论文）82.2.2 梯度和散度(1) 方向导数：设二元数量函数在点的某邻域内有yxf,000, yxP 20RPU定义，为从点出发的射线，为上且含于内的任一点，以表n0PyxP,n0()U P示与两点之间的距离，若极限存在，则称此极P0P000( )()limlimnff Pf P限为函数在点沿方向的方向导数，记作。f0Pn00| ,()PnffPn定理：若函数在点可微，则在点处沿任一方向的方向导数都f000, yxPf0Pn存在，则有，为方向的方向余弦， coscos000PfPfPfyxncos,cosn有。1coscos22(2) 梯度：若存在对所有自变量的偏导

31、数，则称向量为函yxf, 00,PfPfyx数在点的梯度（gradient） ，记作。引进符号f0P 00,PfPffgradyx（称为哈密顿算符） ，则 。yx,grad ff 设为单位向量，则，由梯度和方向导数的定义和定理知，ncos,cosnff ngrad f nn (3) 散度：设空间区域上的向量函数，对上每一点V yxQyxPyxF,V，定义数量函数，称它为向量函数在的散度yx,yQxPyxD,Fyx,（divergence） ，记作。由散度和梯度的定义可知，yxFdivyxD,。divFF 拉普拉斯算符：数量函数，算符的内积常记yxf,2222yfxff作，则有，称为拉普拉斯算符

32、。ff 江西理工大学 2011 届本科生毕业设计（论文）92.2.3 卷积 两个函数,由这两个函数的积分生成第三个函数( ), ( )f t h t称为的卷积，记作( )( ) ()z tfh td( ), ( )f t h t。( )( ) ()( )( )( )( )z tfh tdf th tf th t2.2.4 纹理合成在一般的计算机图形图像的研究中，纹理出现在图像的边缘区域范围大的图像中或图像的边缘线有规律的图像中。Jain12给纹理下的定义如下：纹理一般是指图像的基本纹理元素纹元的重复。而纹元一般是由几个像素构成，纹元的位置多数是呈现出周期性的、类似周期性的或随机性的。日常研究中

33、，自然纹理常常表现为随机性的，人造纹理多为确定性或周期性的。纹理和图像的区别在于纹理出现在图像上，但图像不一定都会含有纹理，也就是说纹理图像是一种特殊的图像。 如图 2.3 所示，纹理图像大致可分为三种1314：（1）结构性纹理图像。指包含有机构纹理局部特性的最小纹理块，整个纹理图像是由一系列的纹理块及摆放规则决定。（2）随机性纹理图像。指没有规则的纹理图像。（3）半结构性纹理图像。介于结构性纹理和随机纹理图像之间，大多数图像是属于这一类。（a）机构性纹理（b）随机性纹理（c）半结构性纹理 图 2.3 纹理的表现形式其中，纹理单位(用 T 表示)是指一幅图像中具有相似视觉表现的像素或像素的集合

34、。对于随机性纹理图像，具有相同颜色 C 的像素可以看作为同种纹理单位；当cT江西理工大学 2011 届本科生毕业设计（论文）10整个纹理由不同颜色构成，则可区分多种纹理单位，表达为12,.,nC CC。纹理合成目标是：生成的图片要以一个给定样本纹理为基础，12,.,nCCCTTT形成新的且满足视觉要求的纹理图像。由于全局性是纹理的基本特征，通过对图像纹理的描述可以了解图像上全部或局部区域所对应景物的表面性质。所以可以得出，图像的纹理特征所描述的不仅仅是基于单个某个像素点的特征，而是对含有图像中的区域块进行统计和计算得出的。 现有的纹理合成技术主要有三种算法：纹理映射的纹理合成算法、过程纹理合成

35、算法和基于样本的纹理合成算法。通常，常用的两种纹理合成的算法主要是过程纹理合成算法和基于样本的纹理合成算法。 过程纹理合成直接通过对物理过程的仿真在曲面上生成纹理，属于物理模拟过程，如应用在毛发、云雾、木纹等。这种方法的优点是避免了纹理映射的纹理合成所带来图像的失真，同时可以获得非常逼真的纹理。但是在面对自然界形形色色的大量纹理时，就会可能无法得到有效的参数，导致不能有效的进行纹理合成。 基于样本的纹理合成算法是一给定小块纹理的基础上，生成大量相似的纹理块。该算法可以有效的克服了过程纹理的缺点，目前的基于纹理合成的算法多采用基于样本的纹理合成方法。基于样本的纹理合成主要依据相似性，从一小块纹理

36、来反映整体纹理特点，从而生成在视觉上连续的大面积纹理图像。 相对于基于变分 PDE 的修复算法，基于纹理合成的图像修复算法比较简单，运行速度较快，并且对待修复区域破损面积较大时有较好的修复效果。2.3 数字图像修复算法 以下介绍几种经典的图像修复模型和算法:BSCB，TV, CDD 模型，调和模型，基于样本的纹理合成算法。2.3.1 BSCB 模型图像修复主要依赖于修复人员的主观感觉，没有一种标准的方法，一般存在以下几种观点2。(1)图像的整体决定了如何修复破损处，修复的目的就是为了恢复图像的完整性。(2)修复区域中的不同区域是由等照度线来划分的，各区域的颜色和边缘外的颜色一致。江西理工大学

37、2011 届本科生毕业设计（论文）11(3)通过延伸边缘处的等照度线进入修复区域，实现修复区域和完好区域边缘处的连续。(4)细节部分必需添加，也即添加纹理。 基于以上原则，BSCB 模型就是利用偏微分方程，模拟手工修复的过程，实现归数字图像的自动修复。其算法主要体现了(2)和(3)原则。算法通过延伸边界区域的等照度线进入修复区域而实现修复，是各向异性扩散。等照度线是指图像中灰度在同一等级上的一系列点所组成的线。如图 2.4 所示：图 2.4 图像修复延伸方向 N其中，表示待修补区域，为其边界，为信息的延伸方向。L 为图像修复N的扩散过程中传输的信息量，表示所传输信息 L 在方向上的变化。LL

38、NN N表示图像在单位时间的变化量，则 BSCB 模型的信息传输过程表达式为：It (2.13)ILL NtN 用来表示待修复的离散的二维图像，表示修复过程中的离散图像，0( , )Ix y( , )I x y同时也表示图像灰度函数，从手工修复技术描述，采用迭代算法，则算法可描述为： 。 (2.14)1( , )( , )( , ),( , )nnntIx yIx yt Ix yx y式中，表示修复迭代次数，表示像素坐标，表示修复时间步长，n( , )x yt表示图像在时间 下的的修复，方程只作用在修补区域内。当( , )ntIx yt( , )nIx y增大到一定程度时，有时，有，则算法停止

39、。n1( , )( , )nnIx yIx y( , )0ntIx y 根据公式(2.13)，且为的离散表达式，为的离散( , )ntIx yIt( , )nL x yL江西理工大学 2011 届本科生毕业设计（论文）12表达式，称为离散梯度。有 (2.15)( , )( , )( , )nnntIx yL x yNx y 图像修复希望信息平滑延伸，即为信息平滑的估算因子。通过简单离散( , )nL x y拉普拉斯算子可得， (2.16)( , )( , )( , )( , )nnnnxxyyL x yIx yIx yIx y 等照度线与平行，的最好选择就是等照度线的方向。对于某等照度线上任N

40、N意一点，离散梯度方向表示灰度变化最大的方( , )x y( , )(,)( , )nnIx yIx yxy向。由其旋转后得到的表示边界的方向即等照90( , )(,)( , )nnIx yIx yyx 度线的切线向量，即有 (2.17)( , )( , )nnNx yIx y 由公式(2.13)、(2.14)、(2.15)、(2.16)、(2.17)，BSCB 模型可表示为 （2.18）()IIIt 表示信息量在方向上的变化量。() II II该模型为了使修复过程更加清晰，并且能够保持修复边界的光滑性和噪声鲁棒，使用各向异性扩散，该方程表示为： (2.19)( , ) ( , , )( ,

41、, ) , ( , )Igx y k x y tI x y tx yt其中，是修补区域内的以为半径的圆域扩展。是光滑函数，( , )gx y表示等照度线的欧式曲率。其中， 。( , , )k x y t1,( , )( , )0,( , )x ygx yx y BSCB 模型是将待修复区域外部的信息沿等照度线方向扩散至修复区域，该模型对较小破损区域可以达到较好的修复效果,如图 2.5。但是，BSCB 修复模型的缺点缺乏稳定性，当待修复区域面积较大时，或是图像背景为纹理图案时，容易产生模糊的现象,如图 2.6。江西理工大学 2011 届本科生毕业设计（论文）13 a.原图像 b.BSCB 修复结

42、果 图 2.5 a.原始破坏图像 b.BSCB 修复结果 图 2.6 2.3.2 p-Laplace 图像修补模型文献15定义了 p-laplace 算子为,相应图像修复的 p-IIdivIpp2laplace 方程为定义如下： (2.20)上在内在0,1, 0)(0IpIIIp其中，为含加性噪声的图像模型。其相对应的能量泛函方程为NII0 (2.21) DpdIIdIpIJ20)(21对进行讨论，可得到几个比较经典的图像修复模型。p(1)时，为 TV 模型。1p Tony Chan 等人于 2002 年提出了整体变分法16（Total Variation , TV） ，TV 模型4的主要思想

43、是在保持图像边缘的同时，向异向进行扩散，最终达到图像信息补全的效果。基于整体变分模型的图像修复方法，即 TV 模型，其本质是将图像看成一个分段平滑函数，在有界空间上对图像建立模型。由于该模型能够起到延长边缘的作用，从而很适合图像破损面积较小的修复。Chan 等人建立的全变分图像修复模型为：江西理工大学 2011 届本科生毕业设计（论文）14 (2.22)20min 2DJ Iu dIId式中，为拉格朗日乘子，上式为二重积分，的简写。ddxdy 根据变分原理，可求得 Euler-Lagrange 方程 (2.23)0()( , )()0DIx y III式中，其中, ( , )( , )1( ,

44、 )0,( , )DDx yDx yx yx yD。1, ( , )1( , )0,( , )Dx yDx yx yD因此求解泛函(2.36)的最小值，等价于求解偏微分方程式(2.37)。 相对应的最速下降方程为 (2.24)0()( , )()DIIx y IItI 由上式可以看出，当时，就可以求出能量代价最小的。考虑到可0ItII能很小，有可能会接近于 0，所以(2.24)式中的为扩散项，扩散系数II，可用代替，其中为一个很小的正数。它使扩1I2211II散强度在梯度大的地方小,梯度小的地方大,这表明扩散是各项异性的,能按照与梯度垂直的方向即等照度线方向进行信息扩散。该模型修复时仅依赖于图

45、像的几何特征,具有形态学不变性,可以在抑制噪声的同时平滑图像边缘，即保持边缘和数值 PDE 实现方便，具有很好的修复效果，如图 2.7 去除目标物。相对于BSCB 模型，其稳定性和鲁棒性也更好。 a.原图b.TV 修复图 图 2.7江西理工大学 2011 届本科生毕业设计（论文）15 TV 模型的主要缺陷在于它会引入阶梯效应，破坏视觉连通性原理，如图 2.8。当破损区域长度 大于待修复物体宽度时不能完成修复, TV 模型修lw复结果如图 2.8 ( b)所示,而满足连通性原理的修复结果如图 2.8( c)所示。对于 a、 b、 c、 d 四个角点处曲率,修复时应使此处曲率减小,等照度线尽可能平

46、滑拉伸。a.原图b.TV 修复图c.连通性原理d.CDD 修复图 图 2.8 为了使 TV 模型更具视觉连通性，文献3对 TV 模型进行了修改，提出了CDD 模型。将 TV 模型的扩散系数修改为，其中1I gvI，为非递减函数，一般可选00()0g 大于零的有限数，此处可选，它可使扩散在大曲率出变强，小曲率处变 1, 0,asssga1a弱，相应的 CDD 模型为 (2.25)。其 IIgIIIIgtID为增函数，0修复结果佳于 TV 模型，如上图 2.8 所示。江西理工大学 2011 届本科生毕业设计（论文）16 欧拉在研究外力的作用下,首先提出了曲线的能量概念 17，已知曲线的两端点 A

47、和 B,曲线长度为，则曲线量方程为，Chan 等人d dsdEAB2则将弹性能量引入到 TV 模型当中,提出了 TV-Euler 模型6： (2.26)002 |,( )()2DE I IDI dIId 其中， 。当时，则返回到 TV 模型。2( ),IdivI 0, 1图 2.9(c)、2.9(d)为 TV-Euler 修复结果图，可见其修复效果较 TV 模型好，其中 n 为迭代次数，迭代次数不同，造成修复结果也不同。 a.原图 b.TV 修复图 c. n=2000 d.n=5000 图 2.9 因为 TV 模型破坏了视觉连通性原理，为此，有不少学者提出了一些 TV 改进模型，如文献24,2

48、5,26.(2)时，为各项同性扩散的调和(harmonic)模型18。2p 模型为，用变分法可推导出相应的 EulerdIIdIIJD02221方程为 (2.27) 000IIIIII (3)时，称为 p-harmonic 模型19。21 p 其中可以根据图像是否含噪声，建立相应的能量泛函模型。江西理工大学 2011 届本科生毕业设计（论文）17 模型 I（无噪声模型） dIpIJp11(2.28) 模型 II（含噪声模型) DyxDyxyxyxdIIdIpIJDDDp),(0),(),(1),()(2102(2.29) 先讨论含噪声模型 II,该模型的能量泛函为 (2.30)dxdyyIxI

49、IyxFdIIIyxFIJyx),(),(其中， 202222020),(),(2),(),(1),(),(2),(1)(21yxIyxIyyxIxyxIpyxIyxIyxIpIIIpFDpDpDp该泛函属于变分理论中的类型，根据公式(2.12)，相应的 Euler 方程为 ， 0yxIIFyFIFxFF其中 (2.31)yIIIFxIIIFIIFpypxDI220,),(将上式代入式(2.12)，化简得 (2.32)00IIIIDp所对应的最速下降方程为 IIIIIIIItIDpDp00(2.33)从而，修补后的图像是以下偏微分方程的解I江西理工大学 2011 届本科生毕业设计（论文）18

50、(2.34)上在内在DIIDIIIItIDp00同理模型 I 的的修复图像，为以下偏微分方程的解I (2.35)上在内在DIIDIItIp0其和 TV 模型的修复结果见图 2.10，ISNR 是评价图像复原质量的改进信噪比测度，值越大表示修复效果越好。a.原图b.TV 修复图(ISNR=18.6db)c.该算法修复图(ISNR=19.50db) 图 2.10(4) 混合模型 上述讨论的 TV 模型 ，相应的 Euler 方程为dIIdIIJD02，用同样的方法可以推导出扩散项，只0)(0IIIIIIII在边缘方向扩散，一般而言，图像的每个像素点处都有一个梯度方向和边缘方向，而在平坦区域得到的边

51、缘方向并不真实存在，此时仍仅沿边缘方向扩散，无疑会导致在平坦区域的噪声抑制不充分，甚至产生阶梯效应。 上述讨论的调和模型 ，用变分法可推导dIIdIIJD02221出其 Euler 方程为 。扩散项反应了调和模 00IIIII型的去噪性能，令为梯度方向的单位向量，为与垂直即边缘IIII江西理工大学 2011 届本科生毕业设计（论文）19方向的单位向量,有(计算过程可见IIIIyIxIII22222222第三章 3.1 节中的预备知识).因为梯度方向和垂直向量的扩散系数一样，即为同性扩散，因此该模型在去噪的同时也使边缘模糊了。正确的做法是：在图像的平坦区域的边缘方向和梯度方向的扩散系数均应较大；

52、在图像的边缘区域，沿边缘方向应当具有较大的扩散系数，而梯度方向的扩散系数则较小。因此，根据以上分析，为了克服上述两种模型的缺点，保留其优势，可建立如下混合模型 (2.36)dIIdIIIJD02221其中，是控制参数，时为调和模型，时为 TV 模型。该混 1 , 001合模型的 Euler 方程为 (2.37)010IIIII同样在坐标下，混合模型的扩散项变为,III1。显然，该混合模型沿边缘方向和梯度方向都有扩散，IIII11并且边缘扩散系数依赖于图像局部特征，梯度方向扩散系数较小。含噪图像中，边缘处本身含有噪声，在边缘处若有个较弱的沿梯度方向扩散，可以消弱阶梯效应的产生，从而，混合模型能够

53、得到更优的滤波效果，如图 2.11 所示，同样PNSR 是评价图像复原质量的峰值信噪比测度，值越大表示修复效果越好。a. 原图B.加噪图PNSR=7.2520c.0为调和模型PNSR=15.3125d.5 . 0PNSR=16.6490e.，1为 TV 模型，PNSR=15.2058 图 2.11江西理工大学 2011 届本科生毕业设计（论文）202.3.3 基于样本的纹理合成算法之前介绍的图像修补(inPainiing)技术，可以利用待修补区域的邻域信息来填充缺损区域的像素值，只适合修补小尺度缺损。目前使用最广泛的纹理合成算法为基于样本的纹理合成图像修复技术，它不但可以填充任意大小的丢失块，

54、还可以修复破损部分的细节。它的基本思想是在图像丢失块的边界上任选一像素点，以该点为中心，设定一定大小的模板，然后在整个已知区域内按照某种准则，寻找一个与该模板最为匹配的块;最后用最优匹配块填充模板即可。 Criminisi20等采用一种基于样本的图像修补算法，实际上是直接结合结构传输和纹理合成的方法，来去除照片中的大物体。这种纹理合成主要由三部分组成:优先权计算、最优块搜索和复制。计算优先权是为了决定填充的次序，以保证在纹理填充之前，图像的线性结构先被传播，这样就可以保证目标边界连通;搜索就是根据纹理的相似性在原始区域找到最为匹配块；复制就是将所选择的最优匹配块复制到目标区域内的适当位置。（1

55、）计算修复块的优先级优先级的计算是整个算法的关键和特色所在，图像中的每个像素，除了修补的区域外，都有各自的颜色信息置信度（Confidence） ，修补的区块则根据包含的像素有不同的优先级（Priority） 。修补区域的优先权决定了以后的修补优先顺序，优先权越高，越先处理修补区域。在计算优先权大小时，应考虑几个因素：修补区域内像素的置信度大小；待修补区包含的线性结构信息能否与周围形成一个连续的线性结构，即待修补区的邻域是否是闭合的。优先级计算示意图如图 2.9 所示。图 2.9 信息扩散方向示意图其中为待修补区域，也称为目标区域，为目标区域的边缘轮廓线。在填充过程中，边缘轮廓线会向待修补目标

56、区域不断收缩，因此又称填充边缘。代表整幅图像除去目标区域以外的部分，提供填充过程中需要的样本资源，又称样本区域。是以点为中心的待补全块。为边缘线上点的pppnp江西理工大学 2011 届本科生毕业设计（论文）21法向量，为点梯度方向的垂直方向，即点的光照线（同色线）方向。pIp计算待补全块的优先权，为置信度，表示中包p pDpCpP pCp含的已知信息量，为数据项，表示中包含的结构信息量。他们分别定 pDp义为 (2.38) pppqpDqCpCpnI其中为补全快的面积，即像素点的个数；为归一化因子，的pp qC初始化定义如下。 qqqC, 1, 0（2）最优匹配块和复制找到具有最大优先权值的

57、目标模板中心点，寻找一个最优匹配块，p q 匹配度公式为，其中为之间的距离，即qpqdq,minargqpd ,qp ,这两个像素块中对应的已知像素点的颜色值之差的平方，定义为 (2.39) qpPpqpqpqpqpPBpBPGpGPRpRd,222)()()()()()(,其中为目标块中中某未知像素点的三基色值，)(),(),(pBpGpRpppp pRGB为匹配块中中对应像素点的三基色值。最后用)(),(),(PBPGPRqqqqPRGB中相应点替代中的未知点。q p （3）更新置信度最高优先权的目标块修补完成后，块中原来的边界点变成已知点，区域内中的点变为已知点或者边界点，这时需重新计算

58、已知点的置信度，以及边界点的优先权。对于新加入到待修补区域块内的像素点，都将它们设为与像素点有相p同的置信度。设为刚刚填充好的修补块，则其像素点的置信度更新按公式p。重复上述 3 个步骤，直至修复所有的破损区域。 pppCpC,（4）图像补全的整个步骤江西理工大学 2011 届本科生毕业设计（论文）22 用户选择需去除并填充的目标区域。 计算块的优先权。 寻找和复制最优匹配块。 更新优先权。 得到新的边缘后，若边缘上的像素点不为零，则重复步骤-,直到整个目标区域填充 完毕。 a.原图 b.Crimini 修复图图 2.10 Criminisi 给出的大量比较实验表明，该算法在时间和视觉效果上都

59、优于其它的算法。接着，就有大量的研究者开始研究 Criminisi 等的算法21,22,23:国内，浙江大学的唐峰等21分析了 criminisi 算法的不足，提出了一种新颖的基于纹理合成的图像修复算法。该算法首先缩小了寻找匹配块的搜索范围，给出了一种选择最优匹配块的准则以避免误差的传播，得到了相当好的修复效果;文献22分析了 Criminisi 算法中的优先权计算，发现，随着填充过程的进行，置信度值迅速下降到零，使优先权的计算不可靠，导致错误的填充次序，进而影响修补效果。为了克服这一不足，他们给出了一个更合理的优先权函数，来保证图像结构和纹理的正确填充，取得了一定的效果。在上述的这些算法中，

60、由于 Crimlnisi 算法及其改进算法实现简单、快速、效果好，故得到了广泛的应用。但对于基于样本的纹理合成图像修复技术，现有的算法在寻找匹配块时，大多采用的是一种全局搜索方法。这种搜索方法不但容易产生错误的匹配，还很耗时，很少有人研究自然图像中纹理的特性。由于人眼对边缘等线结构特征最为敏感，在对自然图像进行修复时，图像中的边界结构部分修补的好坏，直接影响到整幅图像的修补效果。若能对规则纹理的方向特性进行研究，找到图像中纹理的大致走向，然后沿这一走向寻找匹配块，不但会减少搜索空间，还会提高修补的视觉效果。因此，对自然图像中规则纹理特性的研究，可以减少修补时间，提高修补质量，是一个很有意义的研

61、究方向。江西理工大学 2011 届本科生毕业设计（论文）232.4 各种修复模型算法比较表 2.1 各种修复算法比较正则化项图像修复模型优缺点BSCB IItI优点：较好修复图像，可避免边缘模糊；缺点：对于丰富纹理图像，效果不佳。TVdIIIIIIIIItID0优点：保持边缘和数值实现方便。缺点：破坏视觉连通原理，可能引起阶梯效应。CDD IIgIIIIgtID为增函数，0优点：曲率扩散，异性扩散;缺点：计算复杂度较高TV-Euler dI002 |,( )()2DE I IDI dIId 优点：含有 TV 模型的优势，弥补其缺陷harmonicdI2 IIIIIIItI0缺点：各项同性扩散，

62、在去噪的同时使边缘模糊化。p-LaplacedIpp112122202pIIpIIIIIIIItIpppDp权衡 TV 和Parmonic 模型利弊，扩散速度更快，修补效果好。江西理工大学 2011 届本科生毕业设计（论文）242.5 本章小结本章分别对图像修复中的几个典型算法模型的优缺点以及相应的算法做了详细的理论基础、模型介绍和分析。主要从基于非纹理合成的图像修复算法和基于纹理合成的图像修复算法两个角度出发，分别介绍了其主要的算法模型。基于非纹理合成的图像修复算法的修复模型有：BSCB 模型、TV 模型、CDD 模型、调和模型，混合模型。这些模型在图像去噪，去除文字等较细的图像划痕等小面积

63、的图像破损有比较好的修复效果。但是对大面积的图像破损的修复效果并不理想，修复结果常常出现模糊的现象。基于纹理合成的图像修复算法则是针对大面积的图像破损区域的修复，其主要的修复算法为基于样本的图像修复算法。这些算法都是在图像纹理的基础上考虑图像修复，这样可以保持图像的纹理特征，对大面积的图像破损区域的修复效果明显优于基于非纹理合成的图像修复技术。江西理工大学 2011 届本科生毕业设计（论文）25第三章 基于TV 改进的偏微分 修复模型及其实现3.1 预备知识图像处理中， 为二维灰度图像，简记为，表示),(yxIIIyxI,梯度方向向量；，表示边缘方向向量，即等照度线方向向量；IxyI,表示梯度

64、的模。将像素灰度信息的传播分解为两个始终相互垂直22yxIII但随图像内容变化的方向。为了较好地恢复边缘结构信息，我们令其中一个传播方向与图像的等照度线方向(即垂直于梯度的方向)一致，沿这个方向的传播强度保持不变;而沿着与等照度线垂直的方向(即梯度方向)的传播强度根据图像内容有所变化。如图 3.1 所示，建立局部坐标系，其中为等照度线方向的单位向量，为梯度方向的单位向量，即有IIII,，同时可解得。yxIIIIIxyyx1xyyxIIIIIyx1图 3.1 直角坐标系和局部坐标系曲率描述了图像等照度线局部弯曲程度,表述为等照度线切线转角对弧长的微分,因梯度方向与等照度线切向的方向垂直,所以曲率

65、也可以用梯dsd江西理工大学 2011 届本科生毕业设计（论文）26度方向的转角对弧长的变化率表示,单位梯度反映了梯度的方向,因此曲率II可以表示为单位梯度的散度。IIIIdivIIIIIIIyyIxxIIIIIIIIyyIxxIIyyxxxyyx, 0。同样继续求二阶偏导，222222222222222200IIIIIIIIIIIIIIIIIIIIIIIIIIyyIyyyIxyxIxxIxyxyIxxIyyIxxIIxyyyxxyyxxyyyyxyyxxyxxyyxx，同理，就有，2222IIIIIIIIIyyyyxxyxxxyyxxIIII。3222IIIIIIIIIIdivxyyyxxy

66、yxx 3.2 连续型模型 Tony Chan 等人于 2002 年提出了整体变分法16，TV 模型的主要思想是在保持图像边缘的同时，向异向进行扩散，最终达到图像信息补全的效果。基于整体变分模型的图像修复方法，即 TV 模型，其本质是将图像看成一个分段平滑函数，在有界空间上对图像建立模型。由于该模型能够起到延长边缘的作用，从而很适合图像破损面积较小的修复。Chan 等人建立的全变分图像修复模型为： (3.1)20min 2DJ Iu dIId相应的最速下降方程为 (3.2)IIIIIIIItIDD00江西理工大学 2011 届本科生毕业设计（论文）27 在图像边缘处灰度值发生突变，因此梯度的绝对值较大。为了避免产生边缘模糊现象，在灰度突变处沿梯度方向传播信息的强度应减小;相反，由于在平滑区中梯度的绝对值较小，因此沿梯度方向的传播强度可以较大。总之，我们使得沿梯度方向的传播强度与梯度的绝对值成反比，这样可以提高图像修复的效率，还能保持修复后的图像边缘清晰。 Chan 等人又将弹性能量引入到 TV 模型当中，提出了 TV-Euler 模型5： (3.3)002 |,( )()2DE I I