《双目立体视觉》PPT课件.ppt

《《双目立体视觉》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《双目立体视觉》PPT课件.ppt（55页珍藏版）》请在装配图网上搜索。

1、1 第 6章 双目立体视觉 6.1 双目立体视觉原理 6.2 双目成象和视差 6.3 基于区域的双目立体匹配 6.4 基于特征的双目立体匹配 6.5 视差图误差检测与校正 2 立体视觉主要研究如何借助（多图象） 成象技术从（多幅）图象里获取场景中物体 的距离（深度）信息 6.1 双目立体视觉原理 3 6.1 双目立体视觉原理 六个模块 六项工作 1. 摄象机标定 2. 图象获取 3. 特征提取 立体视觉借助不同观察点对同一景物间的视 差来帮助求取 3-D信息（特别是深度信息）。所以 需要判定同一景物在不同图象中的对应关系 选择合适的图象特征以进行多图象间的匹配 4 6.1 双目立体视觉原理 六

2、个模块 六项工作 4. 立体匹配 根据对所选特征的计算来建立特征间的对应关 系 ， 从而建立同一个空间点在不同图象中的象点 之间的关系 ， 并由此得到相应的视差图象 5. 3-D信息恢复 根据 得到的视差图象 ， 可以进一步计算深度图 象 ， 并恢复场景中的 3-D信息 5 6.1 双目立体视觉原理 六个模块 六项工作 6. 后处理 3-D信息常不完整或存在一定的误差 (1) 深度插值 只能恢复出图象中特征点处的视差值 (2) 误差校正 （ 见后 ） (3) 精度改善 象素级视差到亚象素级的视差 6 获得同一场景的两幅视点不同的图象 6.2.1 双目横向模式 6.2.2 双目横向会聚模式 6.

3、2.3 双目纵向模式 6.2 双目成象和视差 7 6.2.1 双目横向模式 摄象机坐标系 统和世界坐标系 统重合 象平面与世界 坐标系统的 XY平 面也是平行 两个镜头中心 间的连线称为系 统的基线 B 8 1. 视差和深度 6.2.1 双目横向模式 )(1 ZxX )()( 2 ZBxXB 21 xxBZB DBZ 1 9 1. 视差和深度 3-D空间点在两个摄象机的公共视场 （视角不同，被摄物的形状，摄影环境） 测距精度 x1e = x1 + e， d1e = x1 + e + x2 + B = d + e 6.2.1 双目横向模式 )(11 11 edd eB d B d BZZZ e

4、e eZB eZ ZeB ZeZ 22 )( )( 10 2. 角度扫描成象 象素是按镜头的方位角和仰角均匀分布的 可借助镜头的方位角 来表示物象的空间距离 6.2.1 双目横向模式 Z X 1 ta n Z XB 2 t a n 21 t a nt a n BZ 11 两个单目系统绕各自中心相向旋转 6.2.2 双目横向会聚模式 s in c o s1 Xr Xx s i n cos2 Xr Xx sin2 Br d xxBZ s i n2 s i n c o s 2 21 c o ss i nc o s2 BZ 12 两个摄象机是沿光轴线依次排列 基本排除由于遮挡造成的 3-D空间点仅被一

5、个 摄象机看到的问题 公共视场的边界很容易确定 6.2.3 双目纵向模式 Z x X 1 ZZ x X 2 12 2 xx ZxZ 21 21 xx xxZX 13 直接用单点灰度搜索会受到图象中许多点会 有相同灰度、图象噪声等因素影响而不实用 6.3.1 模板匹配 6.3.2 双目立体匹配 6.3 基于区域的双目立体匹配 14 6.3.1 模板匹配 相关函数 对 f (x, y)和 w(x, y) 幅度值的变化比较敏感 相关系数 x y tysxwyxftsc ),(),(),( 21 22 ),(),(),( ),( ),(),( ),( x y x y x y wtysxwyxfyxf

6、wtysxwyxfyxf ts 15 6.3.2 双目立体匹配 1. 极线约束 C和 C“之间的连线 称光心线，光心线 与左右象平面的交 点 E和 E”分别称为 左右象平面的极点 光心线与物点 W在同一个平面中，这个平面称为极 平面，极平面与左右象平面的交线 L和 L分别称为 物点 W在左右象平面上投影点的极线 16 6.3.2 双目立体匹配 2. 匹配影响因素 (1) 由于景物自身形状或景物互相遮挡的原因， 用左图象确定的某些模板不一定能在右图象中找 到完全匹配的位置。此时常需根据其他匹配位置 的匹配结果来插值这些无法匹配点的数据 (2) 不同模板图象应有不同模式。但在平滑区域 得到的模板图

7、象具有相同或相近的模式，使匹配 有不确定性，并导致产生误匹配。此时可需要将 一些随机的纹理投影到这些表面上以将平滑区域 转化为纹理区域 17 6.3.2 双目立体匹配 3. 光学特性计算 利用灰度信息进一步计算物体表面的光学特性 N为表面面元法线方向的单位向量 S为点光源方向的单位向量 V为观察者视线方向的单位向量 反射亮度 I(x, y)为合成反射率 (x, y)和合成反射量 RN(x, y)的乘积 ),( ),( ),( yxRyxyxI N 18 6.3.2 双目立体匹配 3. 光学特性计算 第一项散射效应，第二项镜面反射效应 H为镜面反射角方向的单位向量 向量 H反映出视线向量 V的变

8、化 ),( ),( ),( yxRyxyxI N kyxR )()1(),( HNSNN )(12)( VSVSH 19 6.4 基于特征的双目立体匹配 基于区域方法的缺点是依赖于图象灰 度的统计特性，所以对景物表面结构以及光 照反射等较为敏感 6.4.1 基本方法 6.4.2 动态规划匹配 20 6.4.1 基本方法 典型方法的主要步骤 (1) 用边缘检测寻找物体的轮廓线，并在轮 廓线上确定特征点 (2) 利用立体匹配方法匹配各特征点 (3) 对匹配点求视差，获取匹配点的深度 (4) 利用获得的匹配点进行深度插值，以进 一步得到其它各点的深度 21 特征点提取： 平移、旋转、缩放、仿射不变性

9、 1.SUSAN角点提取； 2.harris角点提取； 3.SIFT尺度不变特征提取 6.4.1 基本方法 22 1 SUSAN边缘检测 原理 USAN: Univalue Segment Assimilating Nucleus 核同值区：相对于模板的核，模板中有一定 的区域与它有相同的灰度 23 1) USAN原理 USAN的面积携带了关于图象中核象素处结 构的主要信息 当核象素处在图象中的灰度一致区域， USAN的面积会达到最大。该面积当 核处在直边缘处约为最大值的一半， 而当核处在角点处则为最大值的 1/4 使用 USAN面积作为特征起到了增强边缘和 角点的效果 24 2 ) SUSA

10、N边缘检测 SUSAN： 最小（ Smallest） 核同值区 检测模板： 37个象素 , 半径为 3.4象素 t 270- 27 c Tyxfyxf Tyxfyxf yxyxC ),(),(0 ),(),(1 ),;,( 00 00 00 如果 如果 25 2 ) SUSAN边缘检测 检测对模板中的每个象素进行 得到输出的游程和（ running total） 边缘响应 几何阈值 G = 3Smax/4，其中 Smax是 S所能取的最大值 ),(),( 0000 ),;,(),( yxNyx yxyxCyxS 否则 如果 0 ),(),( ),( 000000 GyxSyxSG yxR 26

11、 2) SUSAN边缘检测 边缘方向的确定 根据非零强度的象素确定边缘的方向 点 A和 B都是标准的边缘点，各落在边缘的一边 从 USAN重心到模板核的矢量与边缘局部方向垂直 S e c t i on of i ma g e P os i t i on of e dg e A B C A B C 27 2) SUSAN边缘检测 边缘方向的确定 根据非零强度的象素确定边缘的方向 点 C落在两个边缘的中间 USAN是沿边缘方向的细条，找最长的对称轴 S e c t i on of i ma g e P os i t i on of e dg e A B C A B C 28 2 ) SUSAN边缘

12、检测 特点 有噪声时的性能较好 不需要计算微分 对面积计算中的各个值求和（积分） 非线性响应特点 易自动化实现 控制参数的选择简单 参数的 任意性较小 29 Harris角点检测算子是 Moravec角点检测 算子的改进 . Harris算子用高斯函数代替二值窗口函数 , 对离中心点越近的像素赋于越大的权重， 以减少噪声影响。 Moravec算子只考虑了每隔 45度方向， Harris算子用 Taylor展开去近似任意方向。 2 Harris角点检测 30 2 Harris角点检测算法的步骤： 1.）计算图像的方向导数，分别保存为两个 数组 Ix以及 Iy，这里可以使用任何方法，比 较正统的是

13、使用 Gaussian函数，因为在 Harris角点检测的推导过程中默认是采用了 Gaussian函数作为其计算图像偏导数的方 法。当然使用简单的 Prewitt或者 Sobel算 子也没有关系。 31 2 Harris角点检测算法的步骤： 2.）为每一个点计算局部自相关矩阵 u(x,y) = Ix(x,y)2*W Iy(x,y)Ix(x,y)*W;Ix(x,y)Iy(x,y)*W Iy(x,y)2*W; 这里 *W代表以 x,y为中心与高斯模板 W做卷 积，而这个模板的大小则需要你自己指定。 32 2 Harris角点检测算法的步骤： 3.）如果这个 u的两个特征值都很小，则说 明这个区域是

14、个平坦区域。如果 u的某个特 征值一个大一个小，则是线，如果两个都 很大，那么就说明这是个角点。 Harris提供 了另一个公式来获取这个点是否是角点的 一个评价： corness = det(u) - k*trace(u)2; 33 2 Harris角点检测算法的步骤： 4.）这个 corness就代表了角点值，其中 k 是你自己取的一个固定的变量，典型的为 0.04,0.06之间。当然在求取了每个点的 corness以后，最好再做一个极大值抑制， 这样的效果比直接设置一个阀值要好。 34 3 SIFT尺度不变特征提取： 2004年， David. Lowe总结了已有基于不 变量技术的特征检

15、测方法，正式提出了一 种基于尺度空间的，对图像平移、旋转、 缩放、甚至仿射变换保持不变性的图像局 部特征， 35 3.SIFT尺度不变特征提取： 1） 尺度空间极值检测 David.Low等人为了更加高效地在尺度空间检测到稳定的 特征点，在 1999年提出利用不同尺度的高斯差分方程同 图像进行卷积，求取尺度空间极值，即 D(x,y,)=(G(x,y,k)-G(x,y,)*I(x,y)=L(x,y,k)-L(x,y,) 36 3 SIFT尺度不变特征提取： 2）精确定位特征点的位置 当然这样产生的极值点并不都是稳定的特征 点，因为某些极值点响应较弱，而且 DOG算子会 产生较强的边缘响应。通过拟

16、和三维二次函数以 精确确定特征点的位置和尺度（达到亚像素精 度），同时可以去除低对比度的关键点和不稳定 的边缘响应点，以增强匹配稳定性、提高抗噪声 能力。 37 3 SIFT尺度不变特征提取： 3）确定特征点的主方向 利用关键点邻域像素的梯度方向分布特性为关键点指 定方向参数，使算子具备旋转不变性。 在以特征点为中心的邻域窗口内采样，并用梯度方向 直方图来统计邻域像素的梯度方向。梯度直方图的范围是 0 360 ，其中每 10 一个柱，总共 36个柱。梯度方向 直方图的峰值则代表了该特征点处邻域梯度的主方向，即 作为该特征点的主方向。在梯度方向直方图中，当存在另 一个相当于主峰值 80%能量的峰

17、值时，则将这个方向认为 是该特征点的辅方向。一个特征点可能会被指定具有多个 方向（一个主方向，一个以上辅方向），这可以增强匹配 的鲁棒性。 38 3 SIFT尺度不变特征提取： 4）生成特征描述符 首先将坐标轴旋转为特征点的方向，以保证旋转不变性； 接下来以特征点为中心取 16 16的窗口（特征点所在的 行和列不取） 39 特征点匹配： 1.相关匹配； 2.欧式距离； 6.4.1 基本方法 40 6.4.1 基本方法 1.相关匹配； 第一幅图像特征点左邻域窗与第二幅图像特征点右 邻域窗进行相似度比较，并进行对称性测试，互相 进行相似度计算，只有当两个匹配集中的对应点完 全一致时，才视为有效匹配

18、。 1）灰度差的平方和 1 0 1 0 2),(),(),( n y m x yyxxIyxTyxS 41 6.4.1 基本方法 2）归一化的灰度差的平方和 3）灰度互相关 1 0 1 0 1 0 1 0 22 1 0 1 0 2 ),(),( ),(),( ),( n y m x n y m x n y m x yyxxIyxT yyxxIyxT yxS 1 0 1 0 ),(),(),( n y m x yyxxIyxTyxS 42 2.欧式距离； 6.4.1 基本方法 43 6.4.1 基本方法 ),() , ( yxvu 3-D空间坐标中一个特征点 W(x, y, z)通过正 交投影后

19、在左右图上分别为： 按先平移再旋转的 坐标变换对 u计算 ,s i nc o s)(),( yzBxvu 44 6.4.1 基本方法 平行于 XZ平面的一个平面图 ： c o ss in)( xBETQETOSTOSu s inc o s)(c o ss inta n)(s in zBxxBxBzu c o t) (c s c uBuz 45 注意：仅由稀疏的匹配点并不能唯一地恢复 物体外形 示例： 过这 4个点的曲面可以有无穷多个 6.4.1 基本方法 46 顺序性约束： 物体可见表面上的特征点与它 们在两幅成象图象上投影的顺序正好反过来 有遮挡时，图象上投影的顺序不满足顺序性约束 6.4.

20、2 动态规划匹配 47 建立在两条极线上确定的多个特征点之间的对应 关系 将匹配各特征点对的问题描述为一个在由特征点 对应结点的图（ graph）上搜索最优路径的问题 6.4.2 动态规划匹配 48 6.5 视差图误差检测与校正 视差图产生误差 周期性模式、光滑区域的存在，以及 遮挡效应、约束原则的不严格性，等等 通用快速的视差图误差检测与校正算法 直接对视差图进行处理 与产生该视差图的具体立体匹配算法独立 计算量仅仅与误匹配象素点的数量成正比 49 1. 误差检测 顺序匹配约束 6.5 视差图误差检测与校正 )()()()( )()()()( RRLL RRLL QXPXQXPX QXPXQ

21、XPX 对点 P和 Q的 Z坐标的限制 50 1. 误差检测 检测匹配交叉（顺序匹配约束未满足）区域 令 PR = fR(i, j)和 QR = fR(k, j)为 fR(x, y)中第 j行中任意 两象素，则其在 fL(x, y)中的匹配点可分别记为 PL = fL(i + d(i, j), j)和 QL = fL(k + d(k, j), j)。定义 C(PR, QR) 为 PR和 QR间的交叉标号，如果顺序匹配约束满足 记为 C(PR, QR) = 0；否则记为 C(PR, QR) = 1。 对应象素点 PR的交叉数（ cross number） Nc 6.5 视差图误差检测与校正 ik

22、QPCjiN N k RR 1 0 c ),(),( 51 2. 误差校正 假设 fR(i, j)| i p, q是对应 PR的交叉区域， 则该区域内所有象素点的总交叉数（ total cross number） Ntc为： 校正交叉区域中误匹配点（零交叉校正算法 ） (1) 找出具有最大交叉数的象素 fR(l, j)： 6.5 视差图误差检测与校正 q pi jiNjiN ),(),( ctc ),(m a x c, jiNl qpi 52 2. 误差校正 (2) 确定对匹配点 fR(k, j)的新搜索范围 fL(i, j)| i s, t (3) 从该搜索范围中找到能够减小总交叉数 Ntc

23、的 新匹配点 (4) 用新匹配点来校正 d(k, j)，消除对应当前最大 交叉数象素的误匹配 6.5 视差图误差检测与校正 ),1(1 ),1(1 jqdqt jpdps 53 2. 误差校正 例 6.5 视差图误差检测与校正 54 2. 误差校正 交叉区域： fR(154, j), fR(162, j) 总交叉数： Ntc 28 (1) 具有最大交叉数的象素： fR(160, j) (2) 新匹配点 fR(160, j)的搜索范围为： fL(i, j)| i 181, 190 6.5 视差图误差检测与校正 55 2. 误差校正 (3) 对应 fR(160, j)且能够减小 Ntc的新匹配点 fL(187, j) (4) 将对应 fR(160, j)的视差值 d(160, j)校正为 d(160, j) = XfL(187, j) XfR(160, j) = 27 6.5 视差图误差检测与校正