[精品论文]基于图像内容分类的手机照片去噪交互系

《[精品论文]基于图像内容分类的手机照片去噪交互系》由会员分享，可在线阅读，更多相关《[精品论文]基于图像内容分类的手机照片去噪交互系（7页珍藏版）》请在装配图网上搜索。

1、精品论文基于图像内容分类的手机照片去噪交互系统刘敏1,2，顾锞1,2，翟广涛1,2，杨小康1,25（1. 上海交通大学图象通信与信息处理研究所；2. 上海市数字媒体处理与传输重点实验室）摘要：在过去的二十年里，由于具备小型和便携等优点，手机获得了广泛普及。随着科技发展，手机的应用已经不仅局限于无线通信领域，而且迅速发展到照相机、音乐、游戏等等方 面。因为数字相机不便于随身携带，手机相机往往成为拍摄图像的唯一工具。但是，考虑到10专业的物理器件在尺寸上受到局限，手机相机拍摄的图像通常夹杂着大量噪声，尤其是在昏 暗的环境下。为了解决此问题，本文提出了一个手机图像去噪算法。据此，我们还设计了一 个手

2、机图像去噪系统，从而使用户能够有效地去除图像噪声。在本文中，我们使用一款中低 端手机拍摄了一幅具有代表性的图像，并给出了几种不同算法的去噪结果用来证明本文提出 系统的有效性。 15关键词：图像处理；图像去噪；手机相机图像；内容分类；多尺度小波；空间域梯度；噪声 估计 中图分类号：TN919.82A content classification based interactive denoising system20for mobilephone camera imageLiu Min1,2, Gu Ke1, Zhai Guangtao1,2, Yang Xiaokang1,2(1. Insti

3、tute of Image Communication and Information Processing, Shanghai Jiao Tong University, Shanghai, China;2. Shanghai Key Laboratory of Digital Media Processing and Transmissions)25Abstract: During the last two decades, the popularization of mobilephone has immensely rocketed due to its small size and

4、handy feature. With the development of technology, the application scope ofmobilephone is not just limited to the wireless communication, but rapidly spread to the field of camera, music, game and etc. Since it is impossible that the digital camera is always taken along with us, the mobilephone came

5、ra usually becomes the unique choice to record the most splendid moment. However,30considering the size limitation and the loss of professional physical components, images captured by the mobilephone camera are generally accompanied with a great deal of noise, especially in the dim environment. Aim

6、to solve this problem, an image denoising methodology is proposed in this paper. On this base, we also design an interactive image denoising system to allow users to efficiently remove thenoise. One representative image collected by a mid- and low-end mobilephone camera and its various35types of den

7、oised results are finally presented and provided to confirm our effective system.Key words: Image processing; Image denoising; mobilephone camera image; content classification; wavelet multi-scale; spatial gradient; noise estimation基金项目：高等学校博士学科点专项科研基金 (20090073110022) 作者简介：刘敏(1989-12)，女，博士生在读，主要研究方

8、向：图像视频质量评估 通信联系人：杨小康(1972-)，男，上海交通大学教授、博士生导师，国家杰出青年科学基金获得者，上海 高校特聘教授（东方学者），现任电子信息与电气工程学院副院长，图像通信研究所副所长，主要研究方 向：智能视频分析与检索、图像处理与通信. E-mail: xkyang- 7 -0引言40图像去噪是图像处理中最重要的研究领域之一，并且取得了很高成就。大多数现有的去 噪算法都源于一些经典理论，如：概率论、数理统计、线性和非线性滤波、多分辨率分析等。 尤其是在本世纪初期，一些基于多分辨率分析的图像去噪算法1-4取得了显著的成就。最 近，5 提出了一个使用变换域增强稀疏表示的图像去

9、噪算法，被称作 Block-Matching and 3D filtering (BM3D)。稀疏增强可以通过将成组的相似 2D 块堆叠成 3D 数列得到。由于块之间45的相似性，变换可以表示为高度的稀疏矩阵，从而通过收缩分离出噪声。通过此方法，协同 滤波表达了分组片段中共有的细节，并且保留了每个独立片段中的基本特征。随后，6进 一步提出了一个基于改进 BM3D 的彩色图像去噪方法 C-BM3D。尽管 C-BM3D 算法在图像去噪领域取得了一定的成就，但很难直接进行实际应用，如 手机照片的去噪。由于专业物理器件尺寸有限等问题，手机拍摄的照片通常夹杂有大量不同50方差的噪声。另外，由于光照不均衡

10、，不同区域的噪声有不同的方差值（尤其是在昏暗的环 境下）。因此，精确的噪声方差估计成为了一个不可逾越的难题。我们注意到，平滑区域可 以通过具有较大噪声方差值的 C-BM3D 算法进行去噪，而边缘和纹理区域则通过较小噪声 方差值的 C-BM3D 方法进行处理。所以，我们首次采用多尺度小波分解算法和空间梯度算 法来对图像进行分类。第一个方法的前提是平滑区域的方差小于边缘和纹理区域。而当边缘55和纹理区域比平滑区域有更多的空间梯度值时，则使用第二种方法。 综上所述，我们用下述三个步骤对手机照片进行去噪：一、将图像分成平滑、边缘、纹理三个区域；二、对图像进行分类，并确定相应的图像方差估计值来通过 C-

11、BM3D 算法对 图像进行去噪；三、对所有片分别进行去噪，并通过低通滤波将各个片拼合成图。本文的结构主要如下。第二章提出了基于内容的手机照片分类算法（CCDM）。第三章60提出了一个基于 CCDM 算法的交互系统，从而提供给户更多选择来对手机照片进行去噪处 理。在第四章中，实验采用了一幅昏暗环境下拍摄的代表性图像对结果进行分析。最后，第 五章总结全文。图 1 CCDM 算法的基本框图651CCDM 去噪方法由于数码相机不便于随身携带，人们通常使用的中低端手机往往将成为拍摄一些精彩照 片的唯一工具。但不幸的是，绝大多数手机照片都夹杂有大量噪声，尤其是在昏暗场景下拍 摄的照片。因为手机功能有限，而

12、且中低端手机成本限制，此问题难以通过手机自身解决。为此，本文设计了一个手机照片去噪算法（CCDM），其基本框架如图 1 所示。70A. 基于方差估计的图像分类尽管 C-BM3D 去噪效果很好，却存在一个缺点，即必须已知图像方差。对具有同一方 差值的图像进行去噪，我们可以挑选一个最好的去噪结果；但对于具有变化噪声的手机照 片（如图 5），也就是说每个区域具有不同噪声，此方法显然并不适用。因此，本文尝试采 用图像分类来解决此问题，如：平滑区域适用较大方差值的 C-BM3D 算法进行去噪，而边75缘和纹理区域通过较小方差值的去噪算法来保护细节。(1) 基于小波多尺度的分类 为了对光滑、边缘、纹理区域

13、进行分类，我们首先考虑小波多尺度分析。根据大量的实验分析，Haar 波比其他的小波在纹理分类上更有效7-8，因此我们采用 Haar 波进行实 验。然而，噪声会降低图像分类中 Haar 变换的效果。因此，首先用小方差的 C-BM3D 算法80对降质图像进行去噪，从而保留图像的边缘和纹理。然后，利用这幅初步去噪图进行图像 分类。图 2 (a)-(b)是初步去噪图以及 Haar 小波分解的结果。观察图 2 (b)，高尺度分解和非零系数表示边缘和纹理区域，而平滑区域的协方差接近0。也就是说，平滑区域的方差小于边缘和纹理区域。另外，这个现象在高尺度区域尤其明显。因此，我们首先将噪声图分像成几个矩形块，然

14、后分两步估计方差值。第一步：设s 085为初始方差值；第二步：对第 j 个块，方差s j 可以表示成levs j = s 0 - cof fi Dev(Pat j )i = 0(1)其中，lev 表示 Haar 波分量，Dev()用来计算方差。coffi 是不同水平的惩罚系数，如图 2 (c)所示。90(a) 初步去噪图 (b) Haar 波分解 (c)不同级惩罚系数图 2 噪声图像的初步去噪图，Haar 波分解结果，不同水平的惩罚系数(2) 基于空间域梯度的分类根据文献9-10，我们采用另外一个相似的空间梯度算法。下面几步解释了整个过程。 首先，用 Sobel 算子计算初步去噪图的梯度大小。

15、然后，确定门限 TH1 = p1 gmax 和95TH 2 = p2 gmax (p1、p2 分别是 0.015 和 0.1)，其中 gmax 是最大梯度幅度值。最后，确定平滑、边缘和纹理区域的像素值。假设图像中点(i, j)像素值的梯度是 p(x, y)。接着对像素进行分类，如图 3。(1) 如果 p(x, y) TH1 ，该像素视为边缘像素；100(2) 如果 p(x, y) TH 2 ，该像素属于平滑区域；(3) 否则，该像素是一个纹理像素。 因此，对基于空间梯度的分类，第 j 个片的方差s j 可以表示成：15如果S(Pat j (E)S(Pat j )S(Pat j (E) 0.3S

16、(Pat j (T )(2)si = 30 如果60 其他S(Pat j ) 0.3且S(Pat j ) 0.3其中， Pat j ( E) 和 Pat j (T ) 分别代表 Pat j 的边缘和纹理像素。S( )用来计算有效像素的总个数。所有的块可以基于噪声方差估计值，用C-BM3D算法逐个去噪。105110(a) 原始图像(b) 平滑区域(c) 边缘区域(d) 纹理区域 图 3 噪声图的原始去噪图像，光滑、边缘和纹理区域B. 彩色 BM3D 去噪模型C-BM3D 算 法用 来 对噪 声 RGB 图进 行 去噪 ，可 以 建 立 模型 zrgb = yrgb + hrgb 。yrgb =

17、yR , yG , yB 是原始图像，hrgb = hR ,hG ,hB 是独立高斯噪声。主要有如下四个步骤：(1) 将 zrgb 用 YCbCr 变换到亮度空间；yuvYUV(2) 基于块递推估计和聚合获得基本估计 y basic = y basic , y basic , y basic ；(3) 获得最终估计 y final ，通过使用 y basic 进一步提高分类效果，并对其进行分步维纳滤yuv波；yuv115rgb(4) 通过将 y finalrgb转换到 RGB 空间，获得最终去噪图 y final 。C. 去噪块的合成对所有的块进行去噪后，我们仍然面临一个重要的问题：如何很好得

18、将它们组合起来。 因为块是有规则的矩形，当将它们组合在一起时，块边缘会出现块效应。因此，我们采用低 通滤波器来进一步处理合成图去噪块的边缘。可以获得 CCDM 算法的最终去噪结果。1202交互系统本文也建立了一个交互系统来让用户可以更灵活得选择如何对他们的手机照片进行去噪，主要包括三个方面。图 4 是四个主要界面的截屏，包括了简要的说明。125130135140(1) 左上图：初始界面；(2) 左下图：无分类的去噪方法，用户可以调整背景方差来得到不同的去噪系统，并且 点击“Switch”来比较原始图和不同的去噪结果，以此保留最喜欢的一张图；(3) 右上图：基于 Haar 波多尺度的分类，用户可

19、以选择不同的背景方差值，分解层数 和块大小；(4) 右下图：基于空间梯度进行分类，可变参数是 p1 和 p2 。初始界面基于小波的分类无分类界面基于梯度的分类 图 4 手机噪声照片的初始去噪图，平滑、边缘和纹理区域3实验结果在昏暗的环境下，我们用 320 万像素的手机相机拍摄了一组 20481536 大小的图像， 并挑选出最好的一幅。我们去除掉大部分不重要的信息，并且为了显示截取了 512768 大 小的区域，见图 5 的最左幅图。另外四幅图，从左到右，是四个去噪结果，分别基于：噪声 方差值为 15 的无分类方法、噪声方差值为 25 的无分类方法、空间域梯度分类、Haar 波多 尺度分类。为了

20、用不同的方差来表明去噪结果的细节，图 6 给出了一组图 5 中具有代表性的 区域。红色和蓝色方块分别代表了边缘和纹理区域、平滑和边缘区域。因为没有原图来计算 MSE 和 PSNR 值，CCDM 方法的效果只可以用主观比较来验证。145150观察可以看出图 5 中右边四幅图和图 6 中的代表性区域取得了很好的去噪效果。平滑区域(蓝色方块)，噪声得到了很好得消除，同时保留了边缘和纹理区域中更多的细节(红色方块)。进 一步，我们设计了一个交互式系统演示模型，可以让用户简单得选择他们期望的去噪方法和 相应的变量来获得他们喜欢的去用户可以选择他们想要的去噪方法和相应的方差值来获得 他们喜欢的去噪图。图

21、5 从左到右分别是：原始图，噪声方差值分别为 15、25 的无分类去噪结果，空间域梯度分类，Haar 波 多尺度分类(a) 图 5 中红色方块的纹理区域放大图1554总结(b) 图 5 中蓝色方块的平滑区域放大图图 6 局部放大代表区域160本文提出了一个基于内容分类的交互去噪系统来对手机相机图像进行去噪。该算法包 括三个部分：基于内容的方差估计、图像去噪和块合成。为了让用户可以根据他们的需求 有更多灵活的选择，我们开发出了一个交互系统。实验结果证明了我们提出的 CCDM 算法具 有很好的效果。参考文献 (References)1651701751 Sendur L. and Selesnic

22、k I.W., Bivariate shrinkage functions for wavelet-based denoising exploiting interscale dependency, IEEE Trans. Signal Process., 2002.2 A.Pizurica, W.Philips, I.L. and Acheroy M., A joint interand intrascale statistical model for Bayesian waveletbased image denoising, IEEE Trans. Image Process., 200

23、23 J.Portilla, V.Strela, M.W. and Simoncelli E.P, Image denoising using a scale mixture of gaussians in the wavelet domain, IEEE Trans. Image Process., 2003.4 Guerrero-Colon J. and Portilla J., Two-level adaptive denoising using gaussian scale mixtures in overcomplete oriented pyramids., IEEE Int. C

24、onf. Image Process., 2005.5 Kostadin Dabov, Alessandro Foi, V. K. and Egiazarian K., Image denoising by sparse 3d transform-domain collaborative filtering, IEEE Trans. Image Process., 2006.6 Kostadin Dabov, Alessandro Foi, V. K. and Egiazarian K., Color image denoising via sparse 3d collaborative fi

25、ltering with grouping constraint in luminance-chrominance space, IEEE Int. Conf. Image Process., 2007.7 Busch A. and Boles W. W., Texture classification using multiple wavelet analysis, DICTA, 2002.8 P. S. Hiremath, S. S. and Pujari J., Wavelet based features for color texture classification with ap

26、plication tocbir, IJCSNS, 2006.1809 Junli Li, Gang Chen, Z. C. and Lu C., Image coding quality assessment using fuzzy integrals with a threecomponent image model, IEEE Trans. Fuzzy System, 2004.10 Ke Gu, W. Zhang, Ci Wang and G. Zhai, Full-reference image quality assessment via region-based analysis, IEEE International Congress of Image and Signal Processing, 2011.