光流运动估计

《光流运动估计》由会员分享，可在线阅读，更多相关《光流运动估计（4页珍藏版）》请在装配图网上搜索。

1、Email: ybxemail基于变分光流法的运动估计的技术研究杨博雄11.武汉大学测绘遥感信息工程国家重点实验室，湖北省武汉市，430079；）摘 要：对当前运动估计的各种方法进行了系统的分类，重点介绍并归纳了基于光流模型的各种运动估计算法；深入探讨了运动估计性能最优的变分光流方法面临的各种问题，以及相应的应对措施；最后展望了光流法的应用及研究方向。人类获取信息的约80%来自于视觉，图像作为视觉信息表达的主要形式成为人类认识世界最基本的载体。由于地球是连续运动的，因此如何准确的从序列图像中获取真实的运动信息是我们认识世界的关键。图像的运动估计技术自从图像诞生以来就成为研究的基础与热点，通过对

2、序列图像的分析，获取图像之间的全局运动量或局部物体运动量，由于当前的图像或视频主要是二维的，因此运动估计一般可以理解成二维矢量运动场的计算近年来，随着图像技术的飞速发展，各种运动估计方法层出不穷。尤其是变分光流法由于可以获得准确且具有较高时空分辨率的致密光流场成为运动估计技术中的佼佼者。光流算法光流是空间运动物体在观测成像面上的象素运动的瞬时速度，光流场是指图像灰度模式的表面运动，是3D空间物体的运动在2D图像平面上的投影。3.1 光流的概念及发展 1950年生物学家Gibson首先提出了光流的概念；1976年Poggio和Reiehardt在研究昆虫视觉系统的过程中提出了计算图像中像素运动的

3、算法，被认为是最原始的光流方法；1981年，Horn & Schunck创造性地将二维速度场与亮度变化相结合，引入基本光流约束方程及整体平滑约束条件，建立了光流计算的基本模型。同年，Lucas和Kanade (简称LK)提出：假设在一个较小的空间邻域上像素的亮度值保持恒定，通过最小二乘法最优化算法可以较快的计算出了运动图像的局部光流场。从此光流算法得到广泛研究和应用，各种改进算法不断涌现，旨在提高光流估计的精确度、鲁棒性和实时性。3.2 光流法的分类 微分法：对光流约束方程通过Euler-Lagrange变换对得到PDE方程进行数值求解。主要包括范数模型，如：Horn & Schunck, N

4、agel；范数模型，如：Aubert, Zach；局部领域法：通过局部像素的邻域约束或张量结构来解决孔径问题，这类方法大多要通过最小二乘计算来完成，如：Lucas & Kanade, Karlholm；区域匹配法，又称块匹配法：通过局部图像区域的邻域快速搜索找到最小误差或最大相关的匹配位置，来计算光流，如：Anadan能量法，也称为频率法：通过速度调谐滤波器如Gabor滤波器来计算光流场，如：Heeger；相位法，通过带通滤波器的相位输出来计算光流，可以得到比较鲁棒性的光流场，如：Fleet30；贝叶斯法，通过建立估计运动矢量与真实矢量的偏差之间的概率模型来计算光流，如：Adelson32 4

5、 微分光流算法的难点及应对措施 正如Bruhn36所指出的微分法是光流法中最精确的方法，同时实现也比较简单，因此受到了最广泛的研究与应用。但是由于微分光流法几乎都发源于Horn-Schunck(HS)所提出两点假设模型：亮度一致性与平滑性，其应用也面存在着诸多的问题：微分光流方程的数值求解具有不适定性，因此首先要解决不适定性问题（寻找优秀的平滑约束），再者加入的平滑性约束又会导致模糊图像边缘，产生过度平滑；微分法要求图像是必须是可微的，而在低纹理区域，图像梯度很小甚至为零，导致运动信息的丢失；其次，有时需要对图像进行时空预平滑以避免混叠效应，如何寻找精确的预平滑方法也是一大难点；由于HS光流模

6、型采用二次罚函数，及整体平滑性约束，而实际中图像一般存在突变形式的不连续、各自独立的多运动物体等情况，因此不能有效的处理间断及分段平滑；由于光流模型中亮度一致性约束假设像素的亮度值在一段很小的空间距离、时间间隔内保持恒定，而实际图像存在遮挡、边缘等因素造成灰度不恒定，以及传感器噪声、光照变化等也干扰了亮度恒定，因此无法有效处理遮挡、大位移、光照变化等问题，抗噪性也比较差；由于传统的微分法求解需要迭代数千次才能达到较理想的结果，因此无法实时计算，很大程度上制约了其实际应用。 经过研究者近30年的探索，光流算法在应对上述问题方面有了很大改进：4.1 “病态”问题及应对措施 在变分光流计算模型中存在

7、两点病态问题20：仅由一个基于亮度恒定的约束方程无法求解两个速度分量；图像中即使出现的小的干扰，会导致时空导数小的误差，进而引起速度估计产生较大的偏差。研究者根据Tikhonov37的思想，通过引入和改善光滑项，使原病态问题变为可解问题，同时得到稠密的光流场。如：Nagel38， Nagel39，Terzopoulos40，Heitz & Boutheny41, Otte & Nagel42，Black & Anandan43.4.2 分段平滑，间断、边缘保持 原始光流模型(HS)由于采用二次平滑项，因此在运动边缘、间断、遮挡等地方往往会造成过度平滑。寻找允许分段平滑、间断保持的光流模型成为研

8、究热点。Alvarez47采用各向同性的图像驱动正则项以克服传统方法对运动边界的模糊；Nagel17, Alvarez48等采用各向异性的图像驱动正则项，以减少穿透运动边缘处的平滑。Black & Anandan1843提出了光流驱动的正则项，减少穿越光流间断的平滑；Schnrr49, Weickert50等提出改进的各向同性的光流驱动正则项以减少运动边界处的平滑，同时避免对强文理物体的过分割；Weickert51提出了各向异性的光流驱动正则项，既可以在沿着光流间断处获得更好的平滑效果，又可以获得更小的波动，同时避免对强文理物体的过分割；Nagel54提出使用时空梯度平滑项来处理过度平滑，间断

9、保持的问题，Weickert & Schnrr55将此法推广到时间域；Mukaw56考虑到光流场基本约束方程应用了泰勒级数展开，但实际上是不连续的，因此引入一个修正因子，该修正因子通过物体的运动和投影模型求出，较好的解决了光流基本方程的不连续问题；Bruhn20通过整合局部光流法与整体光流法的优点较好的实现了分段平滑，间断保持；Deriche57，Chambolle58等提出范数正则项比范数正则项更有利于分段平滑，间断保持。4.3 异质点(outliers)处理 由于噪声、遮挡等干扰往往会在图像中产生异质点，严重破坏了HS光流方程的初始假设条件，造成估计的光流很不准确。研究者通过寻找性能更优的

10、Robust函数、滤波等方式来处理该问题。Hampel60首次定义并分析Robust函数，Meer61探讨了Robust函数在计算机视觉中处理异质点的应用，尤其是Black & Anandan1843成功的分析并验证了用Robust函数替换HS的二次罚函数后处理异质点的效果有了明显改善，接着Brox62，Lempitsky63等陆续有提出了一系列不同的Robust函数。Bruhn65提出了集成局部最小二乘拟合的方法来提高抗噪能力，Brox66在此基础上建立了基于非线性扩散的自适应方案；Nagel17通过采用面向平滑的约束而不是强加在亮度梯度变化最强烈的方向(即边缘方向)上来处理遮挡问题；Sny

11、der67提出的针对遮挡等问题通用公式进一步增强了异质点的处理性能。4.4 大位移问题 在实际中，由于灰度变化以及速度场的变化都是不连续的，因而应用基本光流模型(HS)，只能求解亮度变化小于1个象素的连续两帧图象，因此极大的限制了光流法的应用范围。研究者通过一些列的努力，取得了一定的效果。Lucas & Kanade15首先提出使用coarse-to-fine的策略来求解；Black & Anandan18采用coarse-to-fine的金字塔法求解位移大于1个像素的情况；Alvarez47采用尺度空间来处理；Alvarez48等通过对基本光流场进行3方面的改进，可以计算超过10个象素的位移

12、，且准确率很高；特别是近年来Weickert教授的研究团队通过引入多重网格法(如：Bruhn1920)既能解决大位移问题，又可达到实时处理；Brox69通过结合分割、角点相关等对其进行进一步的改进。4.5 光照变化问题 基于亮度一致的基本光流模型无法很好的处理现实生活中光照变化的问题，到目前为止主要有二种方式来处理该问题： 第一种方法：结合高阶梯度恒定约束来处理光照变化问题。Uras71，Tistarelli72使用梯度一致性来处理孔径问题； Schnorr73在变分光流法中提及了此概念；Brox62将梯度恒定，Hessian恒定，Laplacian恒定引入光流约束方程来处理光照变化的问题，并

13、取得了一定效果，但此方法只对加性光照变化比较有效，对实际生活中的作为主要成分的乘性光照变化几乎没有效果。 第二种方法：利用图像的光度不变性来处理光照变化问题。该方法主要基于结合Golland75所提出的HSI彩色空间、归一化的RGB，以及Weijer76所提出的球体坐标变换等光度不变信息和彩色信息。但此方法彩色图像有效，无法处理灰度图，以及彩色光照变化的彩色图。 4.6 实时计算 传统的数值求解法如：GaussSeidel，SOR等方法需要迭代数千次才能求得较理想的结果，因此很难达到实时应用。Camus78, Strzodka79在数据项中考虑到了实时性的问题；在Weickert 教授的研究团

14、队的努力下(Bruhn192036)，将多重网格法引入光流方程的数值求解，极大的加快了求解进程，在CPU中实现了实时计算；近来随着GPUs的成功开发，Zach2223等人利用GPUs高效的解决了光流计算的实时性问题。9 应用与展望 光流法经过近30年的研究与发展已建立起完善的理论基础，被成功用于工业、军事等诸多领域。尤其是变分光流法能为不同类型的光流法提供了统一的数学描述框架，有着广阔的应用前景：诸如图像的运动估计(如配准、匹配)，目标检测、跟踪、识别，图像分割、超分辨率重建，视频压缩，3D结构恢复与重建，机器人导航等重要的计算机视觉与图像处理领域；电子制造业信息产业领域；医学影像的分析、疾病

15、诊断等医学领域；军事侦察的卫星或航空影像的分析，飞行器着陆与精确导航，战场的时间监控等军事领域以及海洋和交通等其他领域。下面我们主要介绍变分光流法在图像处理中的应用：图像配准：就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角 度等)获取的两幅或多幅图像进行匹配，确定图像之间的对应关系，相应几何变换参数。视频压缩：视频序列帧在时间上有很强的相关性，利用光流运动估计和运动补偿技术可以有效去除帧间的冗余度，提高编码效率，节约存储空间，减少传输数据量，同时又能保证视频质量。超分辨率重建：通过光流运动估计得到不同低分辨率图像间像素的对应关系后，融合这些图像产生更高分辨率的图像。目前光流法的研究与应用已取得了诸多的突破，但在如下方面有待于进一步的改进： 、进一步研究新的更有效的方法解决光流法所遇到的难点问题：如，边缘模糊，遮挡，抗噪性弱，光照变化，运动信息缺失，大尺度的移动。、各种光流算法各有优缺，如何实现各种算法的有效整合、优势互补，使计算出的光流场具有较强的实用性和普遍适应性依然是一个值得探讨的问题。、结合最新的研究技术（多分辨率技术、小波技术、GPUs技术）对现有光流方法进行改进；、通过对彩色图像的成像原理和过程进行分析，利用彩色时变图象中更丰富的信息，改进原始基于灰度一致的光流模型，获取二次光流场(即加速度场)信息。