计算机视觉单幅图像深重建 SFTPPT课件

《计算机视觉单幅图像深重建 SFTPPT课件》由会员分享，可在线阅读，更多相关《计算机视觉单幅图像深重建 SFTPPT课件（53页珍藏版）》请在装配图网上搜索。

1、包含多个纹理区域的图象包含多个纹理区域的图象第1页/共53页beerenflowerfoodwater彩色纹理图像彩色纹理图像第2页/共53页1 1 纹理（纹理（TextureTexture） 目前对于纹理的精确定义还未形成统一认识，目前对于纹理的精确定义还未形成统一认识，多根据应用需要做出不同定义多根据应用需要做出不同定义 两种较常采用的定义：两种较常采用的定义： 定义定义1 1 按一定规则对元素（按一定规则对元素（elementselements）或基元（或基元（primitivesprimitives）进行排列所形成的重）进行排列所形成的重复模式复模式. . 定义定义2 2 如果图像函数

2、的一组局部属性是如果图像函数的一组局部属性是恒定的，或者是缓变的，或者是近似周期性恒定的，或者是缓变的，或者是近似周期性的，则图象中的对应区域具有恒定的纹理的，则图象中的对应区域具有恒定的纹理第3页/共53页纹理纹理纹理的基本特征纹理的基本特征 纹理是区域属性，并且与图像分辨率（或称尺度，纹理是区域属性，并且与图像分辨率（或称尺度，resolution or scaleresolution or scale）密）密切相关切相关 重复性重复性规则性规则性周期性周期性方向性方向性第4页/共53页纹理分析与合成纹理分析与合成纹理分析纹理分析(analysis):(analysis): 纹理分类纹理分

3、类(classification)(classification)、纹理分割、纹理分割(segmentation)(segmentation)、从纹理恢复形、从纹理恢复形状状(shape from texture).(shape from texture).纹理合成纹理合成(synthesis):(synthesis): 由基元合成纹理图像由基元合成纹理图像. . 图形绘制图形绘制(graph rendering)(graph rendering)、图像压缩、图像压缩(image compression)(image compression)、纹理、纹理分析分析. . 第5页/共53页纹理分割

4、与分类纹理分割与分类纹理分割纹理分割 确定图像中纹理的边界。确定图像中纹理的边界。 纹理分类纹理分类 确定纹理区域或图像的类别确定纹理区域或图像的类别. .第6页/共53页2 2 纹理分析的方法纹理分析的方法统计方法（统计方法（statistical methodsstatistical methods） 利用纹理在空间上的灰度分布特性：利用纹理在空间上的灰度分布特性： 灰度级同现矩阵，自相关函数灰度级同现矩阵，自相关函数结构方法（结构方法（structural methodsstructural methods） 利用基元排列成纹理的规则性：利用基元排列成纹理的规则性： 基元特征，基元组合规

5、则基元特征，基元组合规则第7页/共53页纹理分析的方法纹理分析的方法 基于模型的方法基于模型的方法(modal based methods)(modal based methods) 一幅纹理图像是一类参数模型的实例：一幅纹理图像是一类参数模型的实例： Markov (Gibbs) Markov (Gibbs) 随机场，分形随机场，分形(fractal)(fractal) 信号处理方法信号处理方法(signal processing methods)(signal processing methods) 根据纹理的周期性，采用滤波方法处理：根据纹理的周期性，采用滤波方法处理： 空域滤波、频域滤

6、波（空域滤波、频域滤波（FourierFourier变换，变换，GaborGabor变换，小波变换）变换，小波变换）第8页/共53页3 3 统计方法统计方法研究纹理在空间上的灰度分布特征研究纹理在空间上的灰度分布特征 灰度级同现矩阵（灰度级同现矩阵（grey level co-occurrence matricesgrey level co-occurrence matrices，GLCMGLCM） 自相关性函数（自相关性函数（autocorrelation functionautocorrelation function） 用下式表示一幅用下式表示一幅 图像图像第9页/共53页3.1 3.1

7、 灰度级同现矩阵灰度级同现矩阵对于具有对于具有G G个灰度级的图像，受位移矢量个灰度级的图像，受位移矢量控制的灰度级同现矩阵控制的灰度级同现矩阵 是一个是一个 的矩阵，的矩阵，矩阵行列表示各个灰度级，矩阵元素反映两种灰矩阵行列表示各个灰度级，矩阵元素反映两种灰度在相距一定距离的位置上同时出现的次数，具度在相距一定距离的位置上同时出现的次数，具体按下式计算：体按下式计算：(Haralick, 1979)(Haralick, 1979)第10页/共53页灰度级同现矩阵灰度级同现矩阵例例1 1 2 1 2 0 1 0 2 1 1 2 i 0 2 2 0 1 2 2 0 j 2 1 2 1 2 2 0

8、 1 2 3 2 2 0 1 0 1左边为一幅左边为一幅5 55 5的图象，具有三个灰度级，的图象，具有三个灰度级，右边为灰度级同现矩阵，位移矢量右边为灰度级同现矩阵，位移矢量d=(1,1)d=(1,1)0 01 12 20 0 1 1 2 2第11页/共53页灰度级同现矩阵灰度级同现矩阵例例2 21 0 1 0 1 0 1 00 1 0 1 0 1 0 11 0 1 0 1 0 1 00 1 0 1 0 1 0 11 0 1 0 1 0 1 00 1 0 1 0 1 0 11 0 1 0 1 0 1 00 1 0 1 0 1 0 1 i i j j 1 24 0 0 i 1 0 28 0 i

9、49 56 0 25 1 28 0 1 0 1 0 1 j jd=(1,1)时的Pi,j d=(1,0) 时的Pi,j左边为棋格图像，中间为位移矢量为d=(1,1)的灰度级同现矩阵，右边为位移矢量为d=(1,0)的灰度级同现矩阵。第12页/共53页灰度级同现矩阵灰度级同现矩阵请计算请计算 位移矢量位移矢量d=(1,1)d=(1,1)灰度级同现矩阵？灰度级同现矩阵？第13页/共53页基于灰度级同现矩阵的纹理特征基于灰度级同现矩阵的纹理特征 灰度级同现矩阵在一定程度上反映了纹理图像中各灰度级在空间上的分布灰度级同现矩阵在一定程度上反映了纹理图像中各灰度级在空间上的分布特性特性 如果灰度级同现矩阵集

10、中于对角线上，则对应位移矢量接近于该纹理中基如果灰度级同现矩阵集中于对角线上，则对应位移矢量接近于该纹理中基元的排列规则元的排列规则 在灰度级同现矩阵的基础上，可定义多种纹理特征在灰度级同现矩阵的基础上，可定义多种纹理特征. . 纹理分析领域中广为人知和最经常采用的特征之一纹理分析领域中广为人知和最经常采用的特征之一. .第14页/共53页纹理特征纹理特征公式公式墒墒 (entropy)(entropy)能量能量 (energy)(energy)对比度对比度 (contrast)(contrast)均匀度均匀度 (homegeneity)(homegeneity)相关性相关性 (correla

11、tion)(correlation)第15页/共53页灰度级同现矩阵的问题与发展灰度级同现矩阵的问题与发展问题问题 缺乏选择位移矢量的有效方法缺乏选择位移矢量的有效方法. . 发展发展 自适应多尺度灰度级同现矩阵自适应多尺度灰度级同现矩阵 (adaptive multi-scale GLCM)(adaptive multi-scale GLCM)：种子区：种子区域增长域增长 基于遗传算法的基于遗传算法的GLCGLC特征提取特征提取 (genetic algorithm based GLC (genetic algorithm based GLC feature extraction): fea

12、ture extraction): 用遗传算法实现高斯加权优化用遗传算法实现高斯加权优化第16页/共53页3.2 3.2 自相关函数自相关函数图像自相关图像自相关(autocorrelation)(autocorrelation)函函数数 ： NuNvxNuyNvvuINyvxuIvuIyNxNyxp112211,1,1, 自相关函数的周期性反映纹理基元重复出现自相关函数的周期性反映纹理基元重复出现的周期性；其下降速度反映纹理基元的粗细的周期性；其下降速度反映纹理基元的粗细度度(coarseness)(coarseness)：纹理粗，则缓降；纹理细，：纹理粗，则缓降；纹理细，则速降则速降. .

13、 规则纹理的自相关函数具有峰值和规则纹理的自相关函数具有峰值和谷值，可用于检测纹理基元的排列情况谷值，可用于检测纹理基元的排列情况. .第17页/共53页纹理粗细度与自相关函数的关系示意图第18页/共53页自相关函数自相关函数自相关函数与自相关函数与FourierFourier变换存在联变换存在联系系自相关函数可在频域中计算，而且自相关函数可在频域中计算，而且效率更高效率更高. .规则纹理的规则纹理的FourierFourier对数谱对数谱同一纹理的自相关函数同一纹理的自相关函数第19页/共53页4 4 结构方法结构方法 认为纹理基元的规则排列构成纹理，认为纹理基元的规则排列构成纹理，根据基元

14、来分析与合成纹理根据基元来分析与合成纹理 三个步骤：三个步骤：1.1.图像增强图像增强 多尺度多尺度LoGLoG滤波滤波2.2.计算各个基元的统计特征，作为纹理特征，如平均强度、面积、周长、方计算各个基元的统计特征，作为纹理特征，如平均强度、面积、周长、方向、离心率向、离心率3.3. 基于基元组合规则分析与合成纹理：图模型、树文法等等基于基元组合规则分析与合成纹理：图模型、树文法等等 第20页/共53页5 5 基于模型的方法基于模型的方法建立纹理图像的参数模型，用于表建立纹理图像的参数模型，用于表示与合成纹理示与合成纹理纹理合成主要采用基于模型的方纹理合成主要采用基于模型的方法法主要问题是估计

15、模型参数，使根据主要问题是估计模型参数，使根据模型合成的纹理图像逼近原纹理图模型合成的纹理图像逼近原纹理图像像. .两种模型两种模型 MarkovMarkov随机场（随机场（Markov random field, or Gibbs random field Markov random field, or Gibbs random field ） 分形（分形（fractalfractal）第21页/共53页6.1 6.1 空域滤波空域滤波局部模板法局部模板法 设计一组具有频率选择性的模板，与图像做卷积设计一组具有频率选择性的模板，与图像做卷积. .局部矩法局部矩法 以每一个像素为中心，计算局部

16、窗口内的矩特征值，形成特征图象以每一个像素为中心，计算局部窗口内的矩特征值，形成特征图象. . 相相当于用一组模板对图像进行滤波当于用一组模板对图像进行滤波. .第22页/共53页空域滤波空域滤波 The filter bank used in texture analysis. Total of 48 filters: 36 oriented filters, with 6 orientations, 3 scales, and 2 phases, 8 center-surround derivative filters and 4 low-pass Gaussian filters.第23

17、页/共53页6.2 Fourier6.2 Fourier变换特征变换特征对图像做对图像做FourierFourier变换，根据能量谱和变换，根据能量谱和相位谱定义纹理特征相位谱定义纹理特征. .纹理图像及其纹理图像及其FourierFourier变换变换第24页/共53页各个环各个环(ring)区域和劈区域和劈(wedge)区域内的总能量区域内的总能量组成纹理特征矢量组成纹理特征矢量.反映纹理方向反映纹理方向反映纹理尺寸反映纹理尺寸第25页/共53页6.3 Gabor6.3 Gabor变换与小波变换变换与小波变换GaborGabor变换（高斯窗口）变换（高斯窗口） dxebxwxfbuFuxj

18、w2, 小波变换：小波变换： 窗口宽度随频率变化而变化窗口宽度随频率变化而变化 dxabxhxfabuWaf1,(D. Gabor, 1946)(D. Gabor, 1946)第26页/共53页GaborGabor变换纹理特征变换纹理特征二维二维GaborGabor滤波器具有频率和方向选滤波器具有频率和方向选择性择性GaborGabor纹理特征提取的一般步骤：纹理特征提取的一般步骤： 1. 1. 用不同尺度和方向的用不同尺度和方向的GaborGabor滤波器对图像进行滤波，得到一组子图象；滤波器对图像进行滤波，得到一组子图象； 2. 2. 对各个子图象做一定处理；对各个子图象做一定处理； 3.

19、 3. 根据子图象计算相应特征，形成特征矢量或特征图象，比如子图象窗根据子图象计算相应特征，形成特征矢量或特征图象，比如子图象窗口内的标准差口内的标准差. .第27页/共53页GaborGabor变换纹变换纹理特征示例：理特征示例：(a) (a) 纹纹理图象理图象(b) (b) 滤波图象滤波图象 (16,135(16,135度度) )(c) (c) 滤波图象滤波图象 (32,0(32,0度度) )(d) (d) 特征图象特征图象(b)(b)(e) (e) 特征图象特征图象(c)(c)第28页/共53页小波变换纹理特征小波变换纹理特征 对图像作小波变换，对图像作小波变换， 分别得到水平和垂直方分

20、别得到水平和垂直方向上的高频和低频子图向上的高频和低频子图象，可以对低频子图象象，可以对低频子图象或每个子图象再作同样或每个子图象再作同样的变换的变换. . 根据最后得到根据最后得到的每个子图象计算一个的每个子图象计算一个特征，如能量，墒等，特征，如能量，墒等，形成纹理特征矢量形成纹理特征矢量. .第29页/共53页7 7 从纹理恢复形状从纹理恢复形状根据纹理属性变化与表面形状的根据纹理属性变化与表面形状的关系恢复表面形状关系恢复表面形状. . 三种效应：三种效应： 透视缩小透视缩小( (与表面方向有关与表面方向有关) ) 缩放和密度变化缩放和密度变化( (与观察者与观察者 和纹理基元的距离有

21、关和纹理基元的距离有关) )基准维基准维(characteristic (characteristic dimension)dimension)： 没有发生透视缩小的方向没有发生透视缩小的方向第30页/共53页从纹理恢复形状从纹理恢复形状几种方法几种方法 Bajcsy-LiebermanBajcsy-Lieberman方法：利用基元尺寸梯度，求相对深度方法：利用基元尺寸梯度，求相对深度; ; Witken Witken方法：利用边缘方向分布，估计表面方向方法：利用边缘方向分布，估计表面方向; ; Blostein-Ahuja Blostein-Ahuja方法：利用基元面积梯度，估计表面方向方法

22、：利用基元面积梯度，估计表面方向. .第31页/共53页椭圆长短轴在缩小（缩放效应）椭圆长短轴在缩小（缩放效应）缩小速度长轴为线性，短轴为二次（透视缩小效缩小速度长轴为线性，短轴为二次（透视缩小效应，长轴方向为基准维）应，长轴方向为基准维）第32页/共53页Blostein-AhujaBlostein-Ahuja方法方法假设表面为平面，纹理基元单一且假设表面为平面，纹理基元单一且无深度差无深度差恢复公式（依据）的推导恢复公式（依据）的推导 1. 1. 为简化推导，将坐标系统转换到为简化推导，将坐标系统转换到tilttilt方向方向 2. 2. 根据透视投影模型，建立任意基元长短轴与中心基元长短

23、轴的长度关根据透视投影模型，建立任意基元长短轴与中心基元长短轴的长度关系；系； 3. 3. 将上述关系转化为任意基元与中心基元的面积关系将上述关系转化为任意基元与中心基元的面积关系. .第33页/共53页坐标系统变换坐标系统变换第34页/共53页透视投影模型透视投影模型第35页/共53页Blostein-AhujaBlostein-Ahuja方法方法形成表面方向估计依据形成表面方向估计依据 为未知参数空间，根据纹理图象为未知参数空间，根据纹理图象从中搜索最佳结果：从中搜索最佳结果： 将该空间离散化，对于每组值，计算图象中将该空间离散化，对于每组值，计算图象中各个位置上的纹理基元面积，与实际面积

24、比较，各个位置上的纹理基元面积，与实际面积比较，获得拟合度，取最佳拟合度对应的结果获得拟合度，取最佳拟合度对应的结果. (. (表面拟表面拟合合) )第36页/共53页Blostein-AhujaBlostein-Ahuja方法结果示例方法结果示例第37页/共53页基于基于3D3D纹理信息的深度估计算法纹理信息的深度估计算法 SFTSFT的传统方法是通过建立一个随机场模型描述图像中的传统方法是通过建立一个随机场模型描述图像中纹理信息，通过学习得到模型参数，实现场景深度重纹理信息，通过学习得到模型参数，实现场景深度重建，但由于此类方法使用的是局部的、二维纹理信息，建，但由于此类方法使用的是局部的

25、、二维纹理信息，因此所建立的模型中无法完全反映出场景中各目标间因此所建立的模型中无法完全反映出场景中各目标间的空间关系。近几年来，针对此类问题的研究逐渐向的空间关系。近几年来，针对此类问题的研究逐渐向使用全局的、多尺度的、分层次的纹理信息方向发展，使用全局的、多尺度的、分层次的纹理信息方向发展，并已经开始应用于实际系统中。并已经开始应用于实际系统中。 20062006年，斯坦福大学的年，斯坦福大学的AndrewAndrew教授等人应用机器学习教授等人应用机器学习的方法，采用分层的多尺度马尔科夫随机场模型，通的方法，采用分层的多尺度马尔科夫随机场模型，通过对大量的训练集数据的学习，建立室外场景图

26、像中过对大量的训练集数据的学习，建立室外场景图像中各目标间的空间关系模型，并将取得的结果应用在无各目标间的空间关系模型，并将取得的结果应用在无人汽车的自主导航中。人汽车的自主导航中。 这种利用全局的三维几何纹理信息的方法，实际上就这种利用全局的三维几何纹理信息的方法，实际上就是在利用了图像是在利用了图像“质地变化率质地变化率”的同时也利用了图像的同时也利用了图像中的遮挡信息（空间关系）。中的遮挡信息（空间关系）。3-D Depth Reconstruction from a Single Still ImageAshutosh Saxena, Sung H. Chung, Andrew Y.

27、Ng ,2007第38页/共53页1.Visual Cues for Depth Perception Monocular Cues texture variations, texture gradients, interposition, occlusion, known object sizes, light and shading, haze, defocus, etc. global information, local information. Stereo Cues Motion Parallax and Focus Cues第39页/共53页2.Feature Vector Th

28、e image is divided into small rectangular patches, and estimate a single depth value for each patch. Two types of features: absolute depth featuresused to estimate the absolute depth at a particular patchand relative features, used to estimate relative depths. 第40页/共53页Feature Vector three types of

29、local cues: texture variations, texture gradients, color. Capture cues Laws masks(3*3)- texture variations Oriented edge filters(6)- texture variations Color channel(2)- color第41页/共53页2.1 Features for absolute depth第42页/共53页Features for absolute depth initial feature vector-sum absolute energy and s

30、um squared energy, multiple spatial scales-capture more global properties of the image, immediate neighbors-capture occlusion relationships, vertically column-show vertical structure. absolute depth feature vector x is 19 34 = 646 dimensional.第43页/共53页2.2 Features for relative depth A different feat

31、ure vector is used to learn the dependencies between two neighboring patches. a 10-bin histogram of each of the 17 filter outputs |I Fn|, giving us a total of 170 features yis for each patch i at scale s. relative depth features yijs for two neighboring patches i and j at scale s will be the differe

32、nces between their histograms.第44页/共53页3. Probabilistic ModelHierarchical Multi-scale MRF Model第45页/共53页Probabilistic Model Gaussian Model Laplacian model第46页/共53页Gaussian Model di(s) depths for multiple scales s = 1, 2, 3. enforce a hard constraint that depths at a higher scale are the average of t

33、he depths at the lower scale. Ns(i) are the 4 neighbors of patch i at scale s.M is the total number of patches in the image (at the lowest scale); Z is the normalization constant for the model; xi is the absolute depth feature vector for patch i; and and are parameters of the model.第47页/共53页Gaussian

34、 Model (r,1r,2r) is the different parameters for each row r in the image The model is a conditionally trained MRF, in that its model of the depths d is always conditioned on the imagefeatures X; i.e., it models only P(d|X). 第48页/共53页Laplacian model第49页/共53页Experiments Data collection, using a 3-d laser scanner to collect images and their corresponding depthmaps第50页/共53页Experiments第51页/共53页Experiments(a) original image, (b) ground truth depthmap, (c)predicted depthmap by Gaussian model, (d) predicted depthmap by Laplacian model.第52页/共53页感谢您的观看。第53页/共53页