运动跟踪角点检测ppt课件

《运动跟踪角点检测ppt课件》由会员分享，可在线阅读，更多相关《运动跟踪角点检测ppt课件（70页珍藏版）》请在装配图网上搜索。

1、运动跟踪-角点检测一运动目标检测（一背景差1.帧差2.GMM等(二运动场光流法二目标跟踪1.1.什么是跟踪什么是跟踪2.2.运动目标的表示方法运动目标的表示方法3 3 跟踪问题的解决思路跟踪问题的解决思路1.1什么是跟踪(Tracking)？q指在图像序列中持续地估计出感兴趣的运动目指在图像序列中持续地估计出感兴趣的运动目标所在区域位置），形成运动目标的运动轨标所在区域位置），形成运动目标的运动轨迹；迹；q把不同帧中目标标识出来。把不同帧中目标标识出来。q估计出运动目标的某些运动参数比如速度、估计出运动目标的某些运动参数比如速度、加速度等）。加速度等）。qv.youku/v_show/id_X

2、MTY2MDY0OTA4.htmlv.youku/v_show/id_XMTY2MDY0OTA4.htmlq请大家观看一个例子请大家观看一个例子1.2 运动目标的表示方法r 基于点的跟踪r 基于区域的跟踪r 基于轮廓的跟踪r 基于模型的跟踪由简到繁q采用上述的哪种方法来表示运动目标和不同的采用上述的哪种方法来表示运动目标和不同的应用场合、运动目标的运动特性、以及对跟踪应用场合、运动目标的运动特性、以及对跟踪算法的精度要求等密切相关。算法的精度要求等密切相关。1.3 跟踪问题的解决思路跟踪问题的解决思路*q自底向上(Bottom-up)的处理方法q又称为数据驱动(Date-driven)的方法，

3、不依赖于先验知识q自顶向下(Top-down)的处理方法q又称为模型驱动(Model-driven)的方法，依赖于所构建的模型或先验知识*ComanniciuD,RameshV,MeerP.Kernel-basedobjecttracking.IEEETransactionsonPatternAnalysisandMachineIntelligence,2019,25(5):5645771.3 跟踪问题的解决思路跟踪问题的解决思路基于特征匹配的跟踪基于特征匹配的跟踪点跟踪点跟踪模板匹配模板匹配(Template Match)(Template Match)均值漂移均值漂移 (Mean Shif

4、t)(Mean Shift)贝叶斯跟踪贝叶斯跟踪 卡尔曼滤波器卡尔曼滤波器(Kalman Filter)(Kalman Filter)粒子滤波器粒子滤波器(Particle Filter)(Particle Filter)隐马尔可夫模型隐马尔可夫模型 动态贝叶斯模型动态贝叶斯模型2 2自底向上自底向上(Bottom-up)(Bottom-up)的处理方法的处理方法2.12.1基于点的跟踪基于点的跟踪q 质心或一组特征点集质心或一组特征点集q运动轮廓的角点2.12.1基于点的跟踪基于点的跟踪q将运动目标表示成点比较适合跟踪那些在图像将运动目标表示成点比较适合跟踪那些在图像上所占区域比较小的目标上

5、所占区域比较小的目标q做简单刚体运动的目标特征点集）做简单刚体运动的目标特征点集）角点检测角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点。这些点在保留图像图形重要特征的同时极大值的点。这些点在保留图像图形重要特征的同时,可可以有效地减少信息的数据量以有效地减少信息的数据量,使其信息的含量很高使其信息的含量很高,有效地有效地提高了计算的速度提高了计算的速度,有利于图像的可靠匹配有利于图像的可靠匹配,使得实时处理使得实时处理成为可能。成为可能。在三维场景重建、运动估计、目标跟踪、目标识别、图像在三维场景重建、运动估计、目标跟踪、目标识

6、别、图像配准与匹配等计算机视觉领域起着非常重要的作用。配准与匹配等计算机视觉领域起着非常重要的作用。不同类型的角点什么是好的角点检测算法？检测出图像中“真实的角点 准确的定位性能 很高的重复检测率稳定性好）具有对噪声的鲁棒性 具有较高的计算效率算法分类算法分类基于灰度图像的角点检测基于灰度图像的角点检测基于梯度、基于模板、基于模板梯度组合基于梯度、基于模板、基于模板梯度组合基于二值图像的角点检测基于二值图像的角点检测基于轮廓曲线的角点检测基于轮廓曲线的角点检测角点检测基于模板的方法基于模板的方法主要考虑像素领域点的灰度变化，即图像亮度的主要考虑像素领域点的灰度变化，即图像亮度的变化，将与邻点亮

7、度对比足够大的点定义为角点变化，将与邻点亮度对比足够大的点定义为角点Moravec角点检测角点检测 SUSAN角点检测算法角点检测算法MIC角点检测算法角点检测算法Harris角点检测算法角点检测算法1.Moravec角点检测角点检测 Moravec于于1977年提出了利用灰度方差提年提出了利用灰度方差提取点特征的算子。该算法的思想非常简单取点特征的算子。该算法的思想非常简单，后来的很多算法都是基于该算子改进的，后来的很多算法都是基于该算子改进的。Moravec角点检测算子可以简单描述为：在角点检测算子可以简单描述为：在角点的某个领域内，亮度的变化在任意一角点的某个领域内，亮度的变化在任意一条

8、通过该点的直线上都很大条通过该点的直线上都很大 根据Moravec角点检测算法，简化算法。设F(i,j)表示基准图像,选取一个33的活动窗口，对于每一象素点(i,j)，分别计算其在水平、垂直、左对角线和右对角线方向上与相邻象素灰度值的差的平方和，并把其中最小值的称为该象素点的灰度变化特征值，记为O(i,j)。RLVHjiOmin22)1,(),()1,(),(jiFjiFjiFjiFH22),(),1(),1(),(jiFjiFjiFjiFV22)1,1(),()1,1(),(jiFjiFjiFjiFL22)1,1(),()1,1(),(jiFjiFjiFjiFR再将图像划分为互不重叠的网格状

9、区域，在每一个区域中搜索出灰度变化特征值最大的点即为所要提取的特征点。Limitations Moravec算法的主要缺点是：算法的主要缺点是：Moravec算法只检测了窗口函数在算法只检测了窗口函数在8个基本方向上移动的个基本方向上移动的强度变化，不能准确提取出全部角点；强度变化，不能准确提取出全部角点；Moravec算子没有算子没有对图像进行降噪处理，所以其响应对噪声敏感；对图像进行降噪处理，所以其响应对噪声敏感；Moravec算子对边缘响应很敏感算子对边缘响应很敏感角点检测基于模板的方法基于模板的方法主要考虑像素领域点的灰度变化，即图像亮度的主要考虑像素领域点的灰度变化，即图像亮度的变化

10、，将与邻点亮度对比足够大的点定义为角点变化，将与邻点亮度对比足够大的点定义为角点Moravec角点检测角点检测 SUSAN角点检测算法角点检测算法MIC角点检测算法角点检测算法Harris角点检测算法角点检测算法2 SUSAN角点检测角点检测Smith等提出了一种全新而且直观的新方法低层次图像处理小核值相似区方法(即smallunivaluesegmentassimilatingnucleus，简称SUSAN算法)。S.M.Smith,M.Brady,“SUSAN-ANewApproachtoLowLevelImageProcessing”InternationalJournalofCompu

11、terVision,Vol.23(1),pp.45-78,2019 SUSAN 算法的基本原理是：在每个像素移动一个小的圆形模板以检测局部信息，并利用预先设定的亮度阈值比较模板核及其周围像素的亮度值，亮度值相同或相近的为一个USAN，最后通过面积最小的USAN 检测角点。a:核心点在角点上，核心点在角点上，USAN面积最小；面积最小；b:在边缘线上，在边缘线上，USAN面积是最大面面积是最大面积的一半；积的一半；c、d：面积更大。：面积更大。所以可根据面积的大小检测出角点。所以可根据面积的大小检测出角点。对于图像中非纹理区域的任对于图像中非纹理区域的任一点，在以它为中心的模板一点，在以它为中心

12、的模板窗中存在一块亮度与其相同窗中存在一块亮度与其相同的区域，这块区域即为的区域，这块区域即为SUSAN的的USANUnivalve Segment Assimilating Nucleus区区域。域。2 SUSAN角点检测角点检测USAN区域面积通过圆模板内各像素与中心点像素比较得到的相似点的个数总和来表示，该相似比较函数为：其中x0,y0），(x,y)分别为模板中心像素点和待比较像素点的坐标，为相似度阈值，取整幅图像灰度最大值和最小值差值的1/10。角点响应函数CRF）2 SUSAN角点检测角点检测实例：取图像每1111领域范围内来搜索CRF为极大值的像素点，当该像素点CRF数值大于控制阈

13、值thresh（取13），则将该点标记为角点。角点十字形标识检测效果如图所示。角点检测基于模板的方法基于模板的方法主要考虑像素领域点的灰度变化，即图像亮度的主要考虑像素领域点的灰度变化，即图像亮度的变化，将与邻点亮度对比足够大的点定义为角点变化，将与邻点亮度对比足够大的点定义为角点Moravec角点检测角点检测 SUSAN角点检测算法角点检测算法MIC角点检测算法角点检测算法Harris角点检测算法角点检测算法最最 小小 亮亮 度度 变变 化化(Minimum Intensity Change,MIC)，是，是Trajkovic 等于等于2019年提出的一种快速算法。年提出的一种快速算法。对角

14、点的定义：所有方向上灰度变化最大的点。对角点的定义：所有方向上灰度变化最大的点。该算法使用一个圆形模板，计算任意一条直径的该算法使用一个圆形模板，计算任意一条直径的 两个端两个端点与圆点核心点差的平方和，然后求其最小值，作为点与圆点核心点差的平方和，然后求其最小值，作为该点的反应函数值。反应函数值大于某个阈值即为角点。该点的反应函数值。反应函数值大于某个阈值即为角点。M.Trajkovic,M.Hedley,“FastCornerDetection”ImageandVisionComputing,Vol.16(2),pp.75-87,20193 MIC角点检测角点检测3 MIC角点检测角点检测

15、3 MIC角点检测角点检测3 MIC角点检测角点检测3 MIC角点检测角点检测3 MIC角点检测角点检测3 MIC角点检测角点检测3 MIC角点检测角点检测改进的改进的MIC 算法算法AABBPPQQ十字模版圆周插值C首先，利用十字模板求得四邻域的象素均值首先，利用十字模板求得四邻域的象素均值A、A、B、B；然后，利用圆周插值计算角点响应函数；然后，利用圆周插值计算角点响应函数；最后，利用多格算法找到角点。最后，利用多格算法找到角点。线性插值MIC圆周插值十字模板MIC线性插值MIC加椒盐噪声）圆周插值十字模板MIC加椒盐噪声）角点检测基于模板的方法基于模板的方法主要考虑像素领域点的灰度变化，

16、即图像亮度的主要考虑像素领域点的灰度变化，即图像亮度的变化，将与邻点亮度对比足够大的点定义为角点变化，将与邻点亮度对比足够大的点定义为角点Moravec角点检测角点检测 SUSAN角点检测算法角点检测算法MIC角点检测算法角点检测算法Harris角点检测算法角点检测算法Harris角点检测基本思想 从图像局部的小窗口观察图像特征 角点定义 窗口向任意方向的移动都导致图像灰度的明显变化Harris角点检测基本思想平坦区域：平坦区域：任意方向移动，任意方向移动，无灰度变化无灰度变化边缘：边缘：沿着边缘方向移动，沿着边缘方向移动，无灰度变化无灰度变化角点：角点：沿任意方向移动，沿任意方向移动，明显灰

17、度变化明显灰度变化Harris检测：数学表达2,(,)(,)(,)(,)x yE u vw x yI xu yvI x y图像灰度平移后的图像灰度窗口函数将图像窗口平移u,v产生灰度变化E(u,v)或窗口函数 w(x,y)=Gaussian1 in window,0 outsideHarris检测：数学表达2,(,)(,)(,)(,)x yE u vw x yI xu yvI x y22(,)(,)(,)xyI xu yvI x yI uI vO uv222,(,)(,)(,)xyx yE u vw x yI uI vO uv由：得：222,xyxxyxyyI uI vII Iuu vI II

18、v Harris检测：数学表达(,),uE u vu vMv 于是对于局部微小的移动量 u,v，可以近似得到下面的表达：22,(,)xxyx yxyyII IMw x yI II其中M是 22 矩阵，可由图像的导数求得：R的等高线图k=0.2）R的等高线图k=0.1）R的等高线图k=0.05）Harris检测：数学表达12“Corner”“Edge”“Edge”“Flat”R 只与M的特征值有关 角点：R 为大数值正数 边缘：R为大数值负数 平坦区：R为小数值R 0R 0R 0|R|smallHarris角点检测：流程Harris角点检测：流程角点响应函数RHarris角点检测：流程提取R的局

19、部极值Harris角点检测：流程Harris角点的性质旋转不变性：椭圆转过一定角度但是其形状保持不变（特征值保持不变）角点响应函数 R 对于图像的旋转具有不变性Harris角点的性质对于图像几何尺度变化不具有不变性：这几个点被分类为边缘点角点!图像缩小Harris角点的性质随几何尺度变化，Harris角点检测的性能下降Repeatability rate:#correspondences#possible correspondencesC.Schmid et.al.“Evaluation of Interest Point Detectors”.IJCV 2000参考Harris角点：C.Harris,M.Stephens.“ACombinedCornerandEdgeDetector”.Proc.of4thAlveyVisionConference,1988一个介绍角点检测的网站：cim.mcgill.ca/dparks/CornerDetector/index.htm一个PPT讲义：DaryaFrolova,DenisSimakov,MatchingwithInvariantFeatures,TheWeizmannInstituteofScience,March2019