Matlab摄像机标定工具箱的使用说明

《Matlab摄像机标定工具箱的使用说明》由会员分享，可在线阅读，更多相关《Matlab摄像机标定工具箱的使用说明（18页珍藏版）》请在装配图网上搜索。

1、摄像机标定工具箱1.1 Matlab摄像机标定工具箱工具箱下载：http:/www.vision.caltech.edu/bouguetj/calib_doc/download/index.html说明文档：http:/www.vision.caltech.edu/bouguetj/calib_doc/安装：将下载的工具箱文件toolbox_calib.zip解压缩，将目录toolbox_calib拷贝到Matlab的目录下。采集图像：采集的图像统一命名后，拷贝到toolbox_calib目录中。命名规则为基本名和编号，基本名在前，后面直接跟着数字编号。编号最多为3位十进制数字。1.1.1 标

2、定模型内参数标定采用的模型如式(1-1)所示，Brown畸变模型式(1-2)所示。 (1-1)式中：(u, v)是特征点的图像坐标，(xc, yc, zc)是特征点在摄像机坐标系的坐标，kx、ky是焦距归一化成像平面上的成像点坐标到图像坐标的放大系数，ks是对应于图像坐标u、v的摄像机的x、y轴之间不垂直带来的耦合放大系数，(u0, v0)是光轴中心点的图像坐标即主点坐标，(xc1, yc1)是焦距归一化成像平面上的成像点坐标。ks=ackx，ac是摄像机的实际y轴与理想y轴之间的夹角，单位为弧度。 (1-2)式中：(xc1d, yc1d)是焦距归一化成像平面上的成像点畸变后的坐标，kc1是2

3、阶径向畸变系数，kc2是4阶径向畸变系数，kc5是6阶径向畸变系数，kc3、kc4是切向畸变系数，r为成像点到摄像机坐标系原点的距离，r2= xc12 + yc12。1.1.2 操作界面将Matlab的当前目录设定为含有标定工具箱的目录，即toolbox_calib目录。在Matlab命令窗口运行calib_gui指令，弹出图1所示选择窗口。图1 内存使用方式窗口图1窗口中，具有两个选项，分别是“Standard”和“Memory efficient”。如果点击选择“Standard”，则将目录中的所有图像读入内存中，所需内存较大。如果点击选择“Memory efficient”，则将目录中的

4、图像按照需要每次一幅图像读入内存中，所需内存较小。在选择了内存使用方式后，弹出标定工具箱操作面板。图2是选择“Standard”后弹出的标定工具箱操作面板。图2 标定工具箱操作面板图2所示的标定工具箱操作面板具有16个操作命令键，其功能如下：(1) “Image names”键：指定图像的基本名(Basename)和图像格式，并将相应的图像读入内存。(2) “Read names”键：将指定基本名和格式的图像读入内存。(3) “Extract grid corners”键：提取网格角点。(4) “Calibration”键：内参数标定。(5) “Show Extrinsic”键：以图形方式显示

5、摄像机与标定靶标之间的关系。(6) “Project on images”键：按照摄像机的内参数以及摄像机的外参数(即靶标坐标系相对于摄像机坐标系的变换关系)，根据网格点的笛卡尔空间坐标，将网格角点反投影到图像空间。(7) “Analyse error”键：图像空间的误差分析(8) “Recomp. corners”键：重新提取网格角点。(9) “Add/Suppress images”键：增加/删除图像。(10) “Save”键：保存标定结果。将内参数标定结果以及摄像机与靶标之间的外参数保存为m文件Calib_results.m，存放于toolbox_calib目录中。(11) “Load”

6、键：读入标定结果。从存放于toolbox_calib目录中的标定结果文件Calib_results.mat读入。(12) “Exit”键：退出标定。(13) “Comp. Extrinsic”键：计算外参数。(14) “Undistort image”键：生成消除畸变后的图像并保存。(15) “Export calib data”键：输出标定数据。分别以靶标坐标系中的平面坐标和图像中的图像坐标，将每一幅靶标图像的角点保存为两个tex文件。(16) “Show calib results”键：显示标定结果。1.1.3 内参数标定预先将命名为Image1Image20的tif格式的20幅靶标图像保

7、存在toolbox_calib目录中。当然，采集的靶标图像也可以采用不同的格式，如bmp格式、jpg格式等。但应注意，用于标定的靶标图像需要采用相同的图像格式。摄像机的内参数标定过程，如下所述。(1) 指定图像基本名与图像格式在图2所示的标定工具箱操作面板点击“Image names”键，在Matlab命令窗口分别输入基本名Image和图像格式t，出现下述对话内容：Basename camera calibration images (without number nor suffix): ImageImage format: (=r=ras, b=bmp, t=tif, p=pgm, j=j

8、pg, m=ppm) tLoading image 1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.done同时，在Matlab的图形窗口显示出20幅靶标图像，如图3所示。图3 靶标图像(2) 提取角点在图2所示的标定工具箱操作面板点击“Extract grid corners”键。n 在Matlab命令窗口出现“Number(s) of image(s) to process ( = all images) =”时，输入要进行角点提取的靶标图像的编号并回车。直接回车表示选用缺省值。选择缺省值式，对读入的所有的靶标图像进行角点提取。n 在M

9、atlab命令窗口出现“Window size for corner finder (wintx and winty): ”时，分别在“wintx ( = 5) =”和“winty ( = 5) =”输入行中输入角点提取区域的窗口半宽m和半高n。m和n为正整数，单位为像素，缺省值为5个像素。选定m和n后，命令窗口显示角点提取区域的窗口尺寸(2n+1)x(2m+1)。例如，选择缺省时角点提取区域的窗口尺寸为11x11像素。n 在Matlab命令窗口出现“Do you want to use the automatic square counting mechanism (0=default) o

10、r do you always want to enter the number of squares manually (1,other)? ”时，选择缺省值0表示自动计算棋盘格靶标选定区域内的方格行数和列数，选择值1表示人工计算并输入棋盘格靶标选定区域内的方格行数和列数。n 到显示所选择靶标图像的图形窗口，利用鼠标点击设定棋盘格靶标的选定区域。点击的第一个角点作为靶标坐标系的原点，顺序点击4个角点形成四边形。注意，所形成的四边形的边应与棋盘格靶标的网格线基本平行。否则，影响角点提取精度，甚至导致角点提取错误。n 在Matlab命令窗口出现“Size dX of each square al

11、ong the X direction (=100mm) = ”和“Size dY of each square along the Y direction (=100mm) = ”时，分别输入方格长度和宽度，单位为mm。方格长度和宽度的缺省值均为100mm。n 在Matlab命令窗口出现“Need of an initial guess for distortion? (=no, other=yes) ”时，如果选择no则不输入畸变初始值，如果选择yes则输入畸变初始值。输入的畸变初始值，将同时赋值给需要估计的5个畸变系数，即径向畸变系数kc(1)、kc(2)、kc(5)和切向畸变系数kc(

12、3)、kc(4)。如果不估计6阶径向畸变系数kc(5)，则kc(5)被赋值为0。按照上述步骤，对用于标定的每一幅靶标图像进行角点提取。例如，m=5，n=5时，角点提取区域的窗口尺寸为11x11像素，未输入畸变初始值，此时图像Image6的角点提取结果如图4所示。图4(a)只标出了待提取角点的位置，图4(b)标出了角点提取区域窗口和提取出的角点。从图4中可以发现，图4(a)中的十字标记位置与角点具有明显偏差，但在角点附近；图4(b)中的每个角点提取区域窗口包含了角点，表示角点提取结果的十字标记位置与角点位置具有很好的吻合度。同样在m=5，n=5时，未输入畸变初始值，但通过鼠标点击设定棋盘格靶标的

13、选定区域时，所形成的四边形的边与棋盘格靶标的网格线成较大夹角，此时图像Image1的角点提取结果如图5所示。从图5中可以发现，图5(a)中的十字标记位置与角点具有明显偏差，部分十字标记远离角点；图5(b)中的很多角点提取区域窗口没有包含角点，表示角点提取结果的十字标记位置并不在角点位置，说明角点提取存在错误。(a)(b)图4 合适的靶标选定区域与角点提取结果，(a) 靶标选定区域，(b) 角点提取结果(3) 内参数标定对用于标定的每一幅靶标图像进行角点提取后，在图2所示的标定工具箱操作面板点击“Calibration”键，即可完成摄像机的内参数标定。内参数标定时，Matlab工具箱首先进行初始

14、化，即将图像中心点坐标作为主点坐标的初始值，采用平面靶标网格的消失点估计出摄像机的内参数作为内参数的初始值，畸变初始值设为0。镜头畸变采用包括径向畸变和切向畸变的Brown畸变模型，并假设6阶径向畸变系数kc(5)=0。假设摄像机的x轴与y轴严格垂直，即图像坐标(u, v)与归一化成像平面内的成像点坐标(xc1, yc1)解耦，ks=0，内参数采用4参数模型。数组est_dist(1:5)是畸变系数kc(1:5)是否标定的标志，只对标志取值为1的畸变系数标定，标志取值为0的畸变系数不标定。(a)(b)图5 错误的靶标选定区域与角点提取结果，(a) 靶标选定区域，(b) 角点提取结果内参数标定给

15、出初始化后的标定结果和优化后的标定结果。其中，对内参数的优化采用L-M梯度下降法。优化后的结果中给出的参数不确定性，是3倍的标准方差。fc中的两个数据分别是kx和ky，即焦距归一化成像平面上的成像点坐标到图像坐标的放大系数。cc为光轴中心点的图像坐标(u0, v0)，又称为主点坐标，单位为像素。alpha_c是对应于图像坐标v的摄像机的实际y轴与理想y轴之间的夹角ac，单位为弧度，默认值为0弧度。后续给出的图像轴之间的夹角为对应于图像坐标u、v的摄像机的x、y轴之间的夹角，默认值为90。est_alpha是alpha_c是否标定的标志位，只有est_alpha=1时对alpha_c进行标定。k

16、c为畸变系数kc1kc5，kc(1)为二阶径向畸变系数kc1，kc(2)为4阶径向畸变系数kc2，kc(5)为6阶径向畸变系数kc5，kc(3)为图像坐标u对应于xy项的切向畸变系数kc3，kc(4)为图像坐标v对应于xy项的切向畸变系数kc4。err为将网格角点反投影到图像空间的误差的标准方差，单位为像素。在优化后的结果中，不确定性的数值越小，说明标定的精度越高。如果不确定性项的数值与结果值相比所占比例较大，则需要重新标定。初始化后的标定结果：Focal Length: fc = 673.45516 673.45516 Principal point: cc = 319.50000 239.

17、50000 Skew: lpha_c = 0.00000 = angle of pixel = 90.00000 degreesDistortion: kc = 0.00000 0.00000 0.00000 0.00000 0.00000 优化后的标定结果：Focal Length: fc = 657.80887 658.51372 1.86106 1.34683 Principal point: cc = 302.95191 248.06759 1.88046 2.85817 Skew: alpha_c = 0.00000 0.00000 = angle of pixel axes = 9

18、0.00000 0.00000 degreesDistortion: kc = -0.25853 0.14834 0.00074 -0.00030 0.00000 0.00784 0.03727 0.00085 0.00042 0.00000 Pixel error: err = 0.15205 0.12424 (4) 显示摄像机与标定靶标之间的关系完成内参数标定后，在标定工具箱操作面板点击“Show Extrinsic”键，即可在新的图形窗口显示摄像机与标定靶标之间的关系，如图6所示。图6(a)为假设摄像机固定时摄像机与靶标之间的关系，图6(b)为假设靶标固定时摄像机与靶标之间的关系。 (a

19、) (b)图6 摄像机坐标系与靶标之间的关系，(a) 摄像机固定，(b) 靶标固定(5) 误差分析完成内参数标定后，在标定工具箱操作面板点击“Analyse error”键，即可在新的图形窗口显示出标定使用的所有角点反投影到图像空间的图像坐标误差，如图7所示。在图7所示的图形窗口，利用鼠标移动十字标尺可以选择角点，即可在命令窗口显示出该角点的信息，包括该角点所属图像、索引号、以方格为单位的坐标、图像坐标、反投影后的图像坐标误差、角点提取区域的窗口半宽m和半高n。选择角点后在命令窗口显示的信息：Selected image: 5Selected point index: 51Pattern co

20、ordinates (in units of (dX, dY): (X,Y)=(11, 8)Image coordinates (in pixel): (426.32, 261.58)Pixel error = (-0.05908, 0.17309)Window size: (wintx,winty) = (6, 6)(6) 反投影到图像空间完成内参数标定后，在标定工具箱操作面板点击“Project on image”键，在Matlab命令窗口出现“Number(s) of image(s) to process ( = all images) =”时，输入要进行反投影的靶标图像的编号并回车。

21、直接回车表示选用缺省值。选择缺省值式，对用于标定的所有靶标图像进行反投影。选择图像后，在新的图形窗口显示反投影结果，并在命令窗口输出用于标定的所有靶标图像的角点反投影的图像误差的标准方差。Image6反投影的结果如图8所示，其中“+”为角点的图像坐标位置，“o”为角点反投影的图像坐标位置。点击“Project on image”键后，在命令窗口显示的信息如下：Number(s) of image(s) to show ( = all images) = 6Pixel error: err = 0.66512 0.41428 (all active images)图7 反投影到图像空间的角点图像

22、坐标误差图8 Image6的角点反投影结果(7) 图像畸变校正完成内参数标定后，在标定工具箱操作面板点击“Undistort image”键，则按照畸变系数对读入的所有靶标图像进行处理，生成消除畸变后的图像并保存在toolbox_calib目录中。生成的消除畸变后的图像，以原图像的文件名在基本名和编号之间插入_rect作为其文件名。图9所示为Image6的原始图像和消除畸变后的图像。(8) 增加/删除图像在标定工具箱操作面板点击“Add/Suppress image”键，在命令窗口输入代表增加图像、删除图像的数字，然后输入图像编号，可以增加/删除标定使用的图像。(9) 重新提取网格角点完成内参

23、数标定后，在标定工具箱操作面板点击“Recomp. corners”键，在命令窗口输入角点提取区域的窗口半宽m和半高n、输入重新提取网格角点的图像编号、选择冲投影方式后，即可对所选图像重新进行角点提取。重新进行角点提取后，可以再次进行内参数标定。重新提取网格角点时采用了以前的标定结果，经过重新提取网格角点再次标定后，内参数标定精度会有所提高。如果初次角点提取的效果较好，则重新进行网格角点提取的作用不大。点击“Recomp. corners”键后，在命令窗口显示的信息如下：Re-extraction of the grid corners on the images (after first c

24、alibration)Window size for corner finder (wintx and winty):wintx ( = 5) = winty ( = 5) = Window size = 11x11Number(s) of image(s) to process ( = all images) = Use the projection of 3D grid or manual click (=auto, other=manual): Processing image 1.2.3.4.5.done (a) (b)图9 原始图像和校正后图像，(a) 原始图像 (b) 消除畸变后的

25、图像1.1.4 外参数标定外参数标定是在内参数已知的前提下进行的。在完成摄像机的内参数标定后，或者在命令窗口输入摄像机的内参数后，可以对棋盘格靶标相对于摄像机的外参数进行标定。在标定工具箱操作面板点击“Comp. Extrinsic”键，在命令窗口输入靶标图像名称和图像格式，再按照1.1.2节(2)中的过程提取角点，可实现靶标相对于摄像机的外参数标定。外参数标定时，在命令窗口显示的信息如下：Computation of the extrinsic parameters from an image of a patternThe intrinsic camera parameters are a

26、ssumed to be known (previously computed)Image name (full name without extension): Image1Image format: (=r=ras, b=bmp, t=tif, p=pgm, j=jpg, m=ppm) tExtraction of the grid corners on the imageWindow size for corner finder (wintx and winty):wintx ( = 5) = winty ( = 5) = Window size = 11x11Click on the

27、four extreme corners of the rectangular complete pattern (the first clicked corner is the origin).Size dX of each square along the X direction (=30mm) = 100Size dY of each square along the Y direction (=30mm) = 100Corner extraction.外参数标定结果如下：Translation vector: Tc_ext = -531.674715 400.142025 1999.1

28、35937 Rotation vector: omc_ext = 2.258838 -0.002845 0.157413 Rotation matrix: Rc_ext = 0.992075 -0.055515 0.112716 0.051405 -0.639246 -0.767282 0.114649 0.766996 -0.631327 Pixel error: err = 0.14406 0.10000 在外参数标定结果中，Tc_ext为靶标坐标系原点在摄像机坐标系中的位移向量，单位为mm；omc_ext为对应于姿态矩阵的rodrigues旋转向量；Rc_ext为旋转矩阵；err为将网格

29、角点反投影到图像空间的误差的标准方差，单位为像素。1.1.5 立体视觉标定在进行立体视觉标定之前，按照1.1.2节方法分别标定立体视觉系统的左、右摄像机的内参数。左摄像机采集的图像与右摄像机采集的图像分别命名，左摄像机采集的图像命名为left1left14，右摄像机采集的图像命名为right1right14。左摄像机内参数的标定结果保存后的Calib_results.mat文件重命名为Calib_Results_left.mat，右摄像机的标定结果保存后的Calib_results.mat文件重命名为Calib_Results_right.mat。在Matlab命令窗口运行stereo_gui

30、指令，弹出图10所示立体视觉标定工具箱窗口。图10 立体视觉标定工具箱操作面板图10所示的标定工具箱操作面板具有8个操作命令键，其功能如下：(1) “Load left and right calibration files”键：读入左、右摄像机的标定结果，并对左摄像机相对于右摄像机的位姿进行初步标定。在图10所示操作面板点击“Load left and right calibration files”键，在Matlab的命令窗口输入左摄像机的标定结果文件名和右摄像机的标定结果文件名，则在命令窗口显示下述内容：Intrinsic parameters of left camera:Focal

31、Length: fc_left = 533.00371 533.15260 1.07629 1.10913 Principal point: cc_left = 341.58612 234.25940 1.24041 1.33065 Skew: alpha_c_left =0.00000 0.00000 = angle of pixel axes = 90.00000 0.00000 degreesDistortion: kc_left = -0.28947 0.10326 0.00103 -0.00029 0.00000 0.00596 0.02055 0.00030 0.00037 0.0

32、0000 Intrinsic parameters of right camera:Focal Length: fc_right = 536.98262 536.56938 1.19786 1.15677 Principal point: cc_right = 326.47209 249.33257 1.36588 1.34252 Skew: alpha_c_right = 0.00000 0.00000 = angle of pixel axes = 90.00000 0.00000 degreesDistortion: kc_right = -0.28936 0.10677 -0.0007

33、8 0.00020 0.00000 0.00488 0.00866 0.00027 0.00062 0.00000 Extrinsic parameters (position of right camera wrt left camera):Rotation vector: om = 0.00611 0.00409 -0.00359 Translation vector: T = -99.84929 0.82221 0.43647 显示的结果中，fc_left是左摄像机的放大系数，即焦距归一化成像平面上的成像点坐标到图像坐标的放大系数。cc_left为左摄像机的主点坐标，单位为像素。alph

34、a_c_left是对应于左摄像机的实际y轴与理想y轴之间的夹角，单位为弧度，默认值为0弧度。kc_left为左摄像机的畸变系数。fc_right是右摄像机的放大系数，即焦距归一化成像平面上的成像点坐标到图像坐标的放大系数。cc_right为右摄像机的主点坐标，单位为像素。alpha_c_right是对应于右摄像机的实际y轴与理想y轴之间的夹角，单位为弧度，默认为0弧度。kc_right为右摄像机的畸变系数。om为左摄像机相对于右摄像机的姿态矩阵的rodrigues旋转向量，利用函数rodrigues可以转换为姿态矩阵。T为左摄像机相对于右摄像机的位移向量，即左摄像机坐标系原点在右摄像机坐标系中

35、的位移向量，单位mm。rodrigues(om) = 0.999983631582173 0.003519746065755 0.004510870798495-0.003489484865457 0.999971473651176 -0.006698908811843-0.004534320577757 0.006683058545923 0.999967387800907(2) “Run stereo calibration”键：计算优化后的外参数。在图10所示操作面板点击“Run stereo calibration”键，则在Matlab的命令窗口输出左、右摄像机的内参数和优化后的外参数

36、。输出结果如下所示：Intrinsic parameters of left camera:Focal Length: fc_left = 533.52331 533.52700 0.83147 0.84055 Principal point: cc_left = 341.60377 235.19287 1.23937 1.20470 Skew: alpha_c_left = 0.00000 0.00000 = angle of pixel axes = 90.00000 ?0.00000 degreesDistortion: kc_left = -0.28838 0.09714 0.0010

37、9 -0.00030 0.00000 0.00621 0.02155 0.00028 0.00034 0.00000 Intrinsic parameters of right camera:Focal Length: fc_right = 536.81376 536.47649 0.87631 0.86541 Principal point: cc_right = 326.28655 250.10121 1.31444 1.16609 Skew: alpha_c_right = 0.00000 0.00000 = angle of pixel axes = 90.00000 +0.00000

38、 degreesDistortion: kc_right = -0.28943 0.10690 -0.00059 0.00014 0.00000 0.00486 0.00883 0.00022 0.00055 0.00000 Extrinsic parameters (position of right camera wrt left camera):Rotation vector: om = 0.00669 0.00452 -0.00350 0.00270 0.00308 0.00029 Translation vector: T = -99.80198 1.12443 0.05041 0.

39、14200 0.11352 0.49773 (3) “Show Extrinsics of stereo rig”键：显示靶标相对于摄像机的位姿，如图11所示。(4) “Show Intrinsic parameters”键：在Matlab的命令窗口显示左、右摄像机的内参数和优化后的外参数。(5) “Save stereo calib results”键：将标定结果保存为文件Calib_Results_stereo.mat，存放于toolbox_calib目录中。(6) “Load stereo calib results”键：读入标定结果。从存放于toolbox_calib目录中的标定结果文

40、件Calib_Results_stereo.mat读入。(7) “Rectify the calibration images”键：按照畸变系数对左、右摄像机采集的所有靶标图像进行处理，生成消除畸变后的图像并保存在toolbox_calib目录中。生成的消除畸变后的图像，以原图像的文件名在基本名和编号之间插入_rectified作为其文件名。(8) “Exit”键：退出立体视觉标定。图11 靶标相对于摄像机的位姿1.1.6 标定注意事项在采用Matlab工具箱的摄像机标定中，内参数标定是进行其它参数标定的基础。首先需要完成内参数标定，才能进行外参数标定或者立体视觉标定、手眼标定等。因此，内参数

41、标定过程中需要注意的问题，在其它所有的标定中都应注意。(1) 内参数标定需要注意的问题n 制作棋盘格靶标时应特别注意，黑色方格与白色方格尺寸需要相同，而且所有方格的尺寸必须严格一致。靶标的方格数量不宜太小，行数和列数以大于10为宜。方格的尺寸不宜太大或太小，采集的整幅靶标图像中方格的边长尺寸不小于20像素。n 采集靶标图像时应特别注意，需要在不同的角度不同的位置采集靶标的多幅图像。采集到的图像必须清晰，靶标图像尺寸以占整幅图像尺寸的1/33/4为宜。靶标图像最好在整幅图像的不同位置都有分布，不宜过于集中于同一区域。靶标放置位置与摄像机之间的距离最好为视觉系统的主要工作距离。靶标相对于摄像机的角

42、度应有较大范围的变化，应包含绕三个轴较大角度的旋转，最好不小于30度。采集的靶标图像数量不应太少，建议以1020幅靶标图像为宜。n 采集图像过程中，摄像机的焦距不能调整。因为焦距属于摄像机的内参数，不同焦距下采集的图像隐含了不同的内参数，这些图像放在一起进行标定不能得到正确的结果。n 采集的靶标图像统一命名，由基本名和编号构成，如Image1Image15。靶标图像的数据格式必须相同。n 将靶标图像拷贝到toolbox_calib目录中。n 提取角点时，在图形窗口利用鼠标点击设定棋盘格靶标的选定区域。点击的第一个角点作为靶标坐标系的原点，顺序点击4个角点形成四边形。相邻两次点击的角点应在同一条

43、网格线上，使得所形成的四边形的边应与棋盘格靶标的网格线基本平行。为提高点击的角点的精度，建议将显示靶标图像的图像窗口放大到最大，利用鼠标的十字标线尽可能准确的点击4个角点。n 摄像机的实际y轴与理想y轴之间的夹角ac是否标定，由est_alpha标志位设定。est_alpha=1时对alpha_c进行标定，est_alpha=0时不对alpha_c进行标定。n 数组est_dist(1:5)是畸变系数kc(1:5)是否标定的标志，只对标志取值为1的畸变系数标定，标志取值为0的畸变系数不标定。默认值为est_dist(1:5)=1 1 1 1 0，即对畸变系数kc1kc4进行标定，对kc5不进行

44、标定，kc5=0。n 运行calib_gui指令后，Matlab处于busy状态，Matlab命令窗口不再响应其它命令。只有在点击标定工具箱的“Exit”键退出标定后，Matlab命令窗口才能恢复响应其它命令。(2) 外参数标定需要注意的问题n 方格尺寸必须输入实际尺寸。n 提取角点时，在图形窗口利用鼠标点击的第一个角点作为靶标坐标系的原点，得到的外参数是靶标坐标系在摄像机坐标系中的位姿。n rodrigues旋转向量omc_ext与姿态矩阵Rc_ext可以利用rodrigues函数进行转换。omc_ext=rodrigues(Rc_ext)，Rc_ext=rodrigues(omc_ext)

45、。(3) 立体视觉标定需要注意的问题n 提取角点时，在图形窗口利用鼠标点击的第一个角点作为靶标坐标系的原点，左右摄像机对应的靶标图像对需要选择相同的第一个角点作为原点。其他的3个角点在左右摄像机的靶标图像中也应相同。n 左右摄像机采集的图像数量必须相同。相同的编号的左右摄像机采集的图像是靶标在同一位姿时左右摄像机采集的图像，构成一组立体视觉的靶标图像对。n 得到的外参数是左摄像机相对于右摄像机的位姿，即左摄像机坐标系在右摄像机坐标系中的位姿。n 运行stereo_gui指令后，Matlab命令窗口可以响应其它命令。(4) 手眼标定(Eye-in-Hand)需要注意的问题n 首先进行摄像机的内参

46、数标定。在摄像机内参数标定时，机器人可以不运动，通过改变靶标的位置和姿态采集1020幅靶标图像。角点提取时，不需要具有相同的靶标坐标系原点。n 然后进行外参数标定。靶标固定不动，较大幅度的改变机器人的位姿，采集510幅靶标图像。角点提取时，对采用的510幅靶标图像必须选择相同的靶标坐标系原点，并具有相同的靶标坐标轴方向。得到的外参数为靶标坐标系在摄像机坐标系中的位姿。n 利用摄像机的内参数、机器人的末端位姿(或工具坐标系位姿)、对应于机器人位姿的靶标坐标系相对于摄像机坐标系的位姿，计算出摄像机坐标系相对于机器人末端坐标系(或工具坐标系)的位姿。具体计算方法可以利用最小二乘法。n 机器人的位姿从

47、机器人控制器中读取，一般为6维向量。其姿态部分一般为绕X、Y、Z轴的旋转角度，对应的3个旋转变换的相乘顺序可以查阅机器人说明书，或者通过特定的末端位姿进行验证。1.2 OpenCV摄像机标定工具箱OpenCV网站说明文档：http:/docs.opencv.org/doc/tutorials/calib3d/camera_calibration/camera_calibration.htmlOpenCV中文网站摄像头标定：张正友标定算法：http:/ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber=888718本文完整的程序代码(运行环境V

48、S2008+opencv2.3.1)：1.2.1 标定模型OpenCV内参数标定采用的模型如式(1-3)所示，Brown畸变模型如式(1-4)所示。 (1-3)式中：(u, v)是特征点的图像坐标，(xc, yc, zc)是特征点在摄像机坐标系的坐标，kx、ky是焦距归一化成像平面上的成像点坐标到图像坐标的放大系数，(u0, v0)是光轴中心点的图像坐标即主点坐标，(xc1, yc1)是焦距归一化成像平面上的成像点坐标。ky=akx，a是纵横比系数。 (1-4)式中：(ud, vd)是具有畸变相对于主点的图像坐标，(ud, vd)= (u, v)- (u0, v0)，(ud, vd)是消除畸变

49、后相对于主点的图像坐标，(ud, vd)= (u, v)- (u0, v0)，(u, v)是消除畸变后的图像坐标，k1是2阶径向畸变系数，k2是4阶径向畸变系数，k3是6阶径向畸变系数，p1、p2是切向畸变系数，r为图像点到主点的距离，r2= ud2 + vd2。标定结果给出的畸变系数为k1, k2, p1, p2, k3。由于k3主要针对与畸变较大的镜头，例如鱼眼镜头，所以一般情况下该值取0。1.2.2 内参数标定(1) 首先加载多幅棋盘格靶标图像并设置棋盘格靶标的内角点参数。标定过程中，需要不同视角下拍摄的棋盘格靶标的图像，如图12所示。其中，内角点是指黑色方块相互联通位置的角点，图12所

50、示棋盘格靶标的内角点数量为96。/设置棋盘格X方向上的角点个数ChessBoardSize.width = 9;/设置棋盘格Y方向上的角点个数ChessBoardSize.hight = 6;/设置棋盘格子的边长，单位为mmfloat SquareWidth = 30;/利用cvLoadImage函数加载图像chessBoard_Img=cvLoadImage( filename, 1 ); (a) (b)图12 不同视角下拍摄的棋盘格图像(2) 对棋盘格靶标图像进行特征点提取。选用cvFindChessboardCorners函数提取一幅靶标图像的角点特征。当一幅靶标图像的角点正确提取后，再

51、调用函数cvFindCornerSubPix可以进行亚像素图像特征的提取。依次对每一幅靶标图像进行角点特征提取。然后，调用cvDrawChessboardCorners函数，可以在棋盘格靶标图形上绘制出检测到的角点。绘制的图像如图13所示。/获取棋盘格靶标中的角点，如果所有角点都被检测到且它们都被以一定顺序排布（一行一行地，每行从左到右），函数返回非零值，否则在函数不能发现或者记录所有角点的情况下，函数返回0。find_corners_result=cvFindChessboardCorners(current_frame_gray,/棋盘格的灰度图像，将chessBoard_Img进行转换得

52、到ChessBoardSize,/棋盘格每行角点的个数和每列角点的个数&cornerscaptured_frames*NPoints,/ 检测到的角点坐标&corner_countcaptured_frames,/检测到的角点的个数CV_CALIB_CB_ADAPTIVE_THRESH );/使用自适应阈值/通过迭代方法求取具有子象素精度的角点位置cvFindCornerSubPix( current_frame_gray, /棋盘格靶标的灰度图像&cornerscaptured_frames*NPoints,/检测到的角点坐标NPoints, /单幅图像中角点的个数cvSize(5,5),c

53、vSize(-1,-1), /不忽略corner临近的像素进行精确估计，cvTermCriteria(CV_TERMCRIT_ITER|CV_TERMCRIT_EPS,30, /最大迭代次数（iteration）0.01) ); /最小精度（epsilon）/在棋盘格靶标图像上绘制检测到的角点cvDrawChessboardCorners(current_frame_rgb, /显示绘制结果的图像 ChessBoardSize, /棋盘格靶标中每行和每列角点的个数（96） &cornerscaptured_frames*NPoints, /检测到的角点坐标 NPoints, /单幅图像角点的个

54、数find_corners_result);/角点检测成功标志图13 将角点绘制在棋盘格上的效果图(3) 求取角点的三维世界坐标。每一幅图像检测的角点对应于相同的世界坐标系，世界坐标系以最左上方的角点为原点。例如图13中，最左上方的角点世界坐标为(0，0，0)，其右边相邻角点的世界坐标为(30，0，0)，其下方相邻角点的世界坐标为(0，30，0)。依次类推，可以得到所有角点的世界坐标。注意所有角点的Z坐标为0，这是因为棋盘格靶标位于Z=0的平面上。(4) 计算摄像机内参数。运行cvCalibrateCamera2函数实现摄像机内参数的标定。实际标定时，采集1020幅棋盘格靶标图像可以很好地实现

55、摄像机的参数标定。应当注意，多幅靶标图像必须在不同距离不同视角下进行采集。/摄像机标定cvCalibrateCamera2( object_points,/角点的三维世界坐标image_points,/角点的图像坐标，由corners转换得到point_counts,/角点的数目，由corner_count转换得到cvSize(image_width,image_height),/图像尺寸intrinsics,/输出的摄像机内参数distortion_coeff,/输出的摄像机畸变系数rotation_vectors,/摄像机外参数中的旋转向量translation_vectors,/ 摄像机

56、外参数中的平移向量0);/额外选项利用图12所示的10幅不同角度和位置的靶标图像进行了内参数标定，结果为：畸变系数为：-0.1318 0.4704 -0.0017 -0.0027(5) 图像重投影。获得摄像机的内参数、畸变系数和变换矩阵后，利用函数cvProjectPoints2可以实现笛卡尔空间点到图像的重投影，从而在图像空间分析误差。/投影三维点到图像平面cvProjectPoints2(object_matrix,/ 物体点的坐标，为3xN或者Nx3的矩阵，这里N是单幅图中的所有角点的数目。rotation_matrix,/ 旋转向量，1x3或者3x1translation_matrix

57、,/ 平移向量，1x3或者3x1。intrinsics,/ 摄像机的内参数矩阵distortion_coeff,/畸变系数向量，4x1或者1x4，为k1, k2, p1, p2。如果是NULL，所有畸变系数都设为0。image_matrix,/ 输出重投影后的图像坐标数组0,0,0,0,0);/计算误差err=cvNorm(image_matrix,/重投影后图像坐标数组project_image_matrix, /角点的图像坐标数组CV_L2,/ 欧几里德距离0);(6) 获取消除畸变后的图像。经过摄像机标定，获得了摄像机的内参数和畸变参数。利用摄像机的内参数和畸变参数，运行cvUndist

58、ort2函数，可以获得消除畸变后的图像。棋盘格模板的原始图像与消除畸变后的图像如图14所示。/消除畸变cvUndistort2(grayimage,/棋盘格靶标的灰度图像result_image,/消除畸变后的图像intrinsics,/摄像机内参数矩阵distortion_coeff);/ 畸变系数向量 (a) (b)图14 棋盘格模板图像，(a) 原始图像，(b) 消除畸变后图像1.2.3 外参数标定在内参数标定中，通过cvCalibrateCamera2能够得到旋转向量和平移向量。其中，平移向量的单位与输入的角点间的距离单位相同。利用罗德里格斯(Rodrigues)变换进行转换，可以将旋

59、转向量转换为旋转矩阵，OpenCV提供了Rodrigues变换函数为cvRodrigues2。/罗德里格斯(Rodrigues)变换cvRodrigues2(&pr_vec, /输入的旋转向量&pR_matrix, /输出的旋转矩阵0);上例中得到相对于其中一幅靶标图像的旋转向量为-1.7121 1.8199 0.1880，平移向量为93.3122 44.8024 599.3773，平移向量的单位为mm。经过罗德里格斯(Rodrigues)变换后得到对应于该图像的靶标坐标系相对于摄像机坐标系的变换矩阵，即摄像机的外参数矩阵，如下所示：此外，若已知摄像机内参数和靶标上的角点坐标，利用cvFind

60、ExtrinsicCameraParams2函数可以求取摄像机相对于靶标的外参数。函数cvFindExtrinsicCameraParams2说明如下：void cvFindExtrinsicCameraParams2( const CvMat* object_points,/ 靶标角点在笛卡尔空间的坐标，为3xN或者Nx3的矩阵，N是视图中的角点个数const CvMat* image_points,/ 靶标角点的图像坐标，为2xN或者Nx2的矩阵const CvMat* intrinsic_matrix,/摄像机的内参数const CvMat* distortion_coeffs,/摄像机的畸变系数k1,k2,p1,p2CvMat* rotation_vector,/输