摄像机标定和三维重建

摄像机标定和三维重建摄像机标定和三维重建胡占义胡占义中国科学院自动化研究所中国科学院自动化研究所模式识别国家重点实验室模式识别国家重点实验室主要内容主要内容1、引言、引言2、图象的形成过程、图象的形成过程3、传统标定方法、传统标定方法DLT方法，方法，RAC方法和简易标定方法方法和简易标定方法4、预备知识预备知识5、摄像机自标定、摄像机自标定6、基于主动视觉的摄像机标定、基于主动视觉的摄像机标定7、分层重建理论、分层重建理论8、多视点几何、多视点几何引言引言几个问题几个问题什么是摄像机标定什么是摄像机标定？为什么要对摄像机进行标定为什么要对摄像机进行标定？为什么要研究不同的摄像机标定方法？为什么要研究不同的摄像机标定方法？什么是三维重建什么是三维重建？为什么要进行三维重建为什么要进行三维重建？引言引言三维重建是人类视觉的主要目的，也是计算机视觉三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究方向的最主要的研究方向.(Marr 1982)所谓三维重建就是指从所谓三维重建就是指从二幅和二幅以上图象二幅和二幅以上图象恢复空恢复空间点三维坐标的过程。间点三维坐标的过程。三维重建的三个关键步骤三维重建的三个关键步骤 图象对应点的确定图象对应点的确定 摄像机标定摄像机标定 二图象间摄像机运动参数的确定二图象间摄像机运动参数的确定三维重建示意图三维重建示意图oIIMomm eel lwzwxwyR,T图象的形成过程图象的形成过程和和摄像机针孔模型摄像机针孔模型O Ou uy yx xv vcXcZcY1OwXwZwYwO wwwZYX,cccZYX,vu,yx,uuYX,ddYX,坐标系摄像机光学成像过程的四个步骤 tzyxRzyxwwwccc11013wwwTcccxyxtRzyxC CB BA AB BO Onmf111fn fm 2、透视投影透镜成像原理图 ccczyxM,cXcZcYuYuXuuyxm,ccuzxfxccuzyfy101000000001cccuuczyxffyxz 2、透视投影小孔成像模型ccuzxfx ccuzyfy 101000000001cccuuczyxffyxz 2、中心透视投影模型cYuYuXcXcZccczyxM,1Ouuyxp,dt uYuXdruuyuduuxudyxyyyxxxuu,3、畸变校正径向和切向畸变 a :barrel distortionb :pincushion distortionab uYuXAxis of min tangentialdistortionAxis of maxTangentialdistortionsincot00dyyvvdxydxxuuddd为 1Ovu,00,vudydx,4、图像数字化1O0udydx0vdYdX1100sin/0cot100ddvuuyxvfuffvudyfdxfvu1,11100sin/0cot100ddKvuuyxvfuffvu摄像机的内参数矩阵摄像机的内参数矩阵 K线性摄像机成像模型1010000000011cccczyxffzyx1100sin/0cot100yxvfuffvuvuu110100000000100sin/0cot1300wwwTKvuuczyxotRffvfuffvuz11013wwwTcccxyxtRzyx传统的摄像机标定方法传统的摄像机标定方法特点特点要求摄像机标定块，算法复杂，精度高要求摄像机标定块，算法复杂，精度高直接线性变换（直接线性变换（DLT变换）变换）DLT:Direct Linear TransformationAbdal-Aziz和Karara于70年代初提出了直接线性变换像机定标的方法，他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系，建立了像机成像几何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实现。DLTDLT变换变换直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式：DLTDLT变换变换1143wwwZYXPvus其中 为图像坐标系下的点的齐次坐标，为世界坐标系下的空间点的欧氏坐标，为 的透视投影矩阵，为未知尺度因子。1,vuwwwZYX,Ps43DLTDLT变换变换0034333231142322213433323114131211upuZpuYpuXppZpYpXpupuZpuYpuXppZpYpXpwwwwwwwwwwww消去 ，可以得到方程组:s当已知 个空间点和对应的图像上的点时，可以得到一个含有2*个方程的方程组：DLTDLT变换变换0AL其中 为 的矩阵，为透视投影矩阵元素组成的向量 。12*2NLATpppppppppppp343332312423222114131211,NNDLTDLT变换变换 像机定标的任务就是寻找合适的 ，使得 为最小，即|ALL|minALL给出约束：134pBCCCLTT1)(为 的前11个元素组成的向量，为 前11列组成的矩阵，为 第12列组成的向量。LCABALDLTDLT变换变换134p是否合理？约束 不具有旋转和平移的不变性,解将随着世界坐标系的选取不同而变化.134p证明：世界坐标系作刚性坐标变换10tRPP则3433323213134ptptptpp显然在一般的情况下3434pp另一个约束 具有旋转和平移的不变性1233232231pppDLTDLT变换变换1coscoscos322212由1321R3P3R2R312111,rrr332313,rrr322212,rrr),(333231ppp向量 ,是两两垂直的单位向量1R2R3RR.Tsai 的 RAC的定标算法 80年代中期Tsai提出的基于RAC的定标方法是计算机视觉像机定标方面的一项重要工作，该方法的核心是利用径向一致约束来求解除 （像机光轴方向的平移）外的其它像机外参数，然后再求解像机的其它参数。基于RAC方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷，准确。简 介zt像机模型 径向一致约束 定标算法 主要内容 cocxcyouyuxczOwywzwx世界坐标系和摄像机坐标系的关系TzyxRzyxwwwccc像机模型ccczyxM,cY1OcXuYuuyxp,uXcZO摄像机坐标系和图像坐标系的关系ccuccuzyfyzxfx,像机模型理想图像坐标到实际图像坐标的变换（只考虑径向偏差）udddduddddyyxykyxyxxkx)()(221221像机模型从实际图像坐标到数字图像坐标的变换 0101,vydvuxdsudydxx0uc1OdxdYdXdyuvm0v像机模型径向一致约束 wYwOwZwXozPPcZdPuPcO1ocYuxuycX径向一致约束:PPPOozd/1定标算法 1.利用径向一致约束来求解 和 yxttR,xs定标步骤:2.求解有效焦距 、方向上的平移和畸变参数 fz1k定标算法步骤一1.求解外像机参数旋转矩阵 和 、方向上的平移 Rxy由一个空间点 和其图像投影点 ,根据径向一致约束性 可以得到下面的方程 wiwiwiZYX,fifiyx,PPPOozd/16151411312111diTyyyxxyxyxyxywididiwididiwidiwidiwidixrtrtrttstrstrstrstZxYxXxyZyYyXywi其中)(),(yiydixixdicvdycudx定标算法步骤一如果得到一系列数目大于7个的标志点和它们的对应投影图像点，就变成了一个过限制方程组，可以由最小二乘法解出以下的7个变量61751641514313212111,rtartartatstarstarstarstayyyxxyxyxyxy2.计算|yt1262524rrr由|yt21272625aaa定标算法步骤一3.确定 xs1232221rrr由 ，xs|21232221ytaaa4.计算旋转矩阵 和 ，并确定 的符号 Rxtyt先假定取正号，由以下的公式可以计算出旋转矩阵 和 xtRyyyxyxyxytartartarstarstarstar766554332211,/,/,/xyxstat/4定标算法步骤一取世界坐标系中任一标志点 ,则可以计算出其在wiwiwiZYX,像机坐标系中的坐标ywiwiwicixwiwiwicitZrYrXrYtZrYrXrX654321,同时取这个坐标点在图像上的投影点)(),(1yfiydixfixxdiCydxCxdsx在实际像机系统中，应该 和同号，如果计算出两者异号，dixciXyt则 取为负号。最后求解987,rrr425196143853627,rrrrrrrrrrrrrrr定标算法步骤二 对于一个标志点，可以得到以下的两个方程zwiwiwiywiwiwididididizwiwiwixwiwiwididididitZrYrXrtZrYrXrfyxkyytZrYrXrtZrYrXrfyxkxx987654221987321221)()(1当不存在径向畸变时，。01k)()()()(987654987321wiwiwidiywiwiwizdiwiwiwidixwiwiwizdiZrYrXrytZrYrXrftyZrYrXrxtZrYrXrftx 2 1式变为 式 2定标算法步骤二对于一系列的标志点，则形成了一个超定的方程组，可以 用线性最小二乘法求出 和 。ztf 当存在径向畸变时，仍应用式 求出 和 的初始值，然后 2ztf将求出的 和 连同 作为条件，对式 进行非线性优化，01k 1ztf估计出 、和 的真实值。ztf1k张正友的平面标定方法 0,YXMcXcZcYvum,wXwZwYwOO张正友的平面标定方法基本原理：110121321YXtrrKYXtrrrKvus 在这里假定模板平面在世界坐标系 的平面上 其中，为摄像机的内参数矩阵，为模板平面上点的齐次坐标，为模板平面上点投影到图象平面上对应点的齐次坐标，和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量KTvum 1TYXM 1t321rrr0ZMHms其中21321trrKhhhH0211hKKhTT212111hKKhhKKhTTTT根据旋转矩阵的性质，即 和 ，每幅图象可以获得以下两个对内参数矩阵的基本约束021rrT121 rr由于摄像机有5个未知内参数，所以当所摄取得的图象数目大于等于3时，就可以线性唯一求解出K张正友的平面标定方法张正友方法所用的平面模板张正友的平面标定方法算法描述张正友的平面标定方法1.打印一张模板并贴在一个平面上2.从不同角度拍摄若干张模板图象3.检测出图象中的特征点4.求出摄像机的内参数和外参数5.求出畸变系数6.优化求精张正友的平面标定方法张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、家庭使用的桌面视觉系统(DVS)的标定要求。张的方法的缺点是需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配，这给不熟悉计算机视觉的使用者带来了不便。