PatchbasedMultiviewStereoSoftwarePMVSVersion2

《PatchbasedMultiviewStereoSoftwarePMVSVersion2》由会员分享，可在线阅读，更多相关《PatchbasedMultiviewStereoSoftwarePMVSVersion2（27页珍藏版）》请在装配图网上搜索。

1、Patch-based Multi-view Stereo Software(PMVS-2)“Accurate,Dense,and Robust Multi-View Stereopsis”Yasutaka Furukawa and Jean PonceIEEE Transactions on Pattern Analysis and Machine Intelligence,2009.1 PMVS简介2 基本概念3 算法1 PMVS简介PMVS是由Yasutaka Furukawa和Jean Ponce在他们2007年的文章Accurate,Dense,and Robust Multi-Vi

2、ew Stereopsis 中首次提出，并在http:/grail.cs.washington.edu/software/pmvs/pmvs-1/index.html上提供开源代码（64-bit linux machine）。在2009年，他们推出了PMVS的第二个版本。PMVS是一个多视立体匹配的软件，由一组照片以及相机参数，重建出照片中物体或场景的三维结构。PMVS只重建刚性结构，它会自动忽略非刚性结构，如建筑物前的行人。软件输出一组带方向的三维点，估计了每个点的三维坐标和法向量。我们在试验中使用的是PMVS2在32位windows下的版本，这个版本由Pierre Moulon修改而来ht

3、tp:/francemapping.free.fr/Portfolio/Prog3D/PMVS2.html1 PMVS简介输入：一组照片，每张照片的P矩阵输出：密集的带有颜色的点云2 基本概念：n摄像机坐标系nP矩阵nF矩阵npatchn摄像机坐标系原点为摄像机中心，Z轴为过原点垂直于像平面的光线(主光轴)，X轴平行于像平面坐标系的x轴，Y轴平行于像平面坐标系的y轴。2 基本概念：nP矩阵P矩阵是计算机视觉当中的投影矩阵。P3*4表示单视图几何已知内外方位元素，计算P矩阵:1XxzYyzZPzzz小写 是物点在摄像机坐标系中的 坐标投影公式：00011102223330100001000100

4、101000010001001|STSSSSTSfxXfyRYZfxabcXfyabcYabPCcKRIZ 2 基本概念：2 基本概念：nF矩阵F 3*3矩阵是计算机视觉中的基本矩阵。表示两张影像之间的对极几何关系。若p1=(x1,y1,1)，p2=(x2,y2,1)为同名像点，分别在图1和图2上。F是图1和图2的基本矩阵，则存在如下关系 121112p F0lineF0*1*2012PF,ppplinexlineylineP PF在图2上的同名核线是核线方程：由图 和图 的 矩阵可以计算出 矩阵：nPatchpatch是近似于物体表面的局部正切平面，包括中心c(p)，法向量n(p)，参考影像

5、R(p)。patch的一条边与参考相机（即拍摄参考影像的相机）的x轴平行。patch上有的格网(在本文实验中为5或7).2 基本概念：3 算法n3.1 初始特征匹配生成稀疏的patch，作为种子点。n3.2 扩散由稀疏的种子点扩散得到密集的patch。n3.3 过滤去除错误的patch第一步生成了种子点之后，后面两步要循环三次，即m_seed.run()for(int t=0;t 3;+t)m_expand.run();m_filter.run();3.1 初始特征匹配3.1.1 特征检测3.1.2 特征匹配3.1.3 生成patch，作为种子点3.1 初始特征匹配n3.1.1 特征检测DOG

6、和Harris算子。在每张像片上画格网，格网大小为3232pixels。在每个格网中选=4个兴趣值为局部极大值的点。（两种算子都各取4个特征点）3.1 初始特征匹配n3.1.2特征匹配A.选出参考影像和其他影像。每张像片，轮流作为参考影像R(P)。在其他像片中选出主光轴与R(P)之间夹角小于60的像片I(P)。再将参考影像和这些相片进行匹配。Fig.1.假如以I1作为参考影像，在另外3张照片中选出主光轴与I1的主光轴夹角小于60的像片。图中I4与I1主光轴夹角大于60。3.1 初始特征匹配n3.1.2特征匹配B.选出候选匹配点对于参考影像上的每个特征点f，寻找其在其他照片上的候选匹配点f，f组

7、成集合F。f与f是由同一种算子检测出（Harris或DOG）并且f在离同名核线两个像素的范围之内。2212d*/,0*1*20line02*lineP PFlinexlineylinefflinelinelineFf核线方程：到核线的距离为3.1 初始特征匹配n3.1.2特征匹配C.求模型点坐标由每一对（f,f）前方交会求出模型点。计算每个模型点与参考相片摄像机中心的距离，按距离由近到远将模型点排序。11X,Y,ZXXxzx zYYyzZPy zzzPZ至少要知道一对同名像点的坐标，才能求出物点的坐标。一个像点可以列出两个方程，两个像点则有四个方程，解三个未知数。用最小二乘的方法求出。3.1

8、初始特征匹配n3.1.2特征匹配000102031011121320212223101112132021222320200101020223321PPPPPPPP=PPPP1P X+P*P X+P Y+P ZYP X+P Y+P Z+PP X+P Y+P Z+P Z+PP(+PXxzYyzPZzXxzYyzZzxzx20210020012102222303102011211100001220203111213223212323)*()(P-P)X+(P-P)Y+(P-P)Z=P-P(P-P)X+(P-P)Y+(P-P)Z=P XP X+P Y+P ZP X+P Y+P Z+P Y+P Z+PP

9、+PPP-yzyxxxxyyyy3.1 初始特征匹配n3.1.3 生成patch，作为种子点A.由模型点轮流初始化patch。如果一个模型点失败，就考虑下一个模型点。patch的中心c(p)为模型点，单位法向量n(p)为(由patch中心指向参考影像摄像机中心的单位向量)B.初始化V(p),V*(p).V(p),V*(p)都是影像的集合,都包括参考影像和其他符合条件的影像。V(p)中的像片符合角度条件，即patch的法向量和patch所在光线的夹角要小于60度。V*(p)中的像片符合相关系数的条件，即patch投影到像片和参考相片之间的相关系数要大于阈值0.4。3.1 初始特征匹配3.1.3

10、生成patch，作为种子点B.初始化V(p),V*(p).V(p)中的像片符合角度条件，即patch的法向量和patch所在光线的夹角要小于60度。此图选自江万寿2004年论文：航空影像多视匹配与规则建筑物自动提取方法研究P573.1 初始特征匹配3.1.3 生成patch，作为种子点B.初始化V(p),V*(p).V*(p)中的像片符合相关系数的条件，即patch投影到像片和参考相片上的像之间的相关系数要大于阈值0.4。此时阈值比较低，因为法向量不准确。由patch的法向量和两张像片的P矩阵求仿射变换参数。求patch上的格网点在像片上的坐标双线性插值得到像的纹理。求相关系数3.1 初始特征

11、匹配n3.1.3生成patch，作为种子点C.优化patch的中心坐标和法向量最大化平均相关系数（即最大化patch的参考像片与其它像片之间的相关系数的平均值）。优化过程中把patch的中心固定在patch参考影像的光线上，优化自由度为3:patch中心的z坐标，代表法向量的两个角度、。此图选自江万寿2004年论文：航空影像多视匹配与规则建筑物自动提取方法研究P573.1 初始特征匹配n3.1.3生成patch，作为种子点D.更新V(p),V*(p)（阈值增大为0.7,因为此时已经优化了patch的坐标和法向量）E.如果|V*(p)|,则认为成功生成了patch。在所有影像上打上大小为22pi

12、xels的格网cells Ci(x,y)。把patch投影到像片上，记录下patch所在的格网坐标（格网在像片坐标系中的坐标）。每个格网有两个存储patch的集合Qi(x,y),Qi*(x,y)，分别存储投影到V(p),V*(p)的patch。同时从cell中去掉所有的特征点，接下来考虑下一个特征点f.Else,如果|V*(p)|,则认为失败，考虑下一个匹配点f。每张像片轮流作为参考影像，对于参考影像中的每个特征点生成一个patch（也可能失败）3.1 初始特征匹配（流程图）3.2 扩散由稀疏的种子点扩散得到密集的patch。目标是每个格网cell中至少有一个patchn3.2.1 向种子pa

13、tch所在格网的邻域扩散，若这个邻域中已经存在一个与种子patch距离较近的patch或者这个领域中已经存在一个平均相关系数较大的patch，则不向该邻域扩散。3.2 扩散n3.2.2 新patch的法向量跟种子patch的法向量相同，新patch的中心是通过邻域格网中心的光线与种子patch所在平面的交点。接下来的步骤与生成种子点相似,即计算V(p)、V*(p)，优化patch，更新V(p)、V*(p)，若V*(p)中的照片个数大于阈值，就认为是成功扩散了一个patch，否则失败。然后继续扩散下一个新patch，直到无法再进行扩散。3.2 扩散3.3 过滤n同一格网中patch的平均相关系数差异大n过滤掉格网中与深度最小的patch距离大、法向量夹角大的patch（深度：物点与摄像机中心之间的距离投影到主光轴方向上的长度）n将一个patch和它八邻域中的neighbors patches拟合二次曲面，neighbors patches残差之和大于阈值就去掉这个patch。n去掉数量较小的patch组3.3 过滤n去掉数量较小的patch组首先根据patch之间在物方的距离，将patch聚类分组，如下图所示，点代表patch，黑色的patch组中patch数量较多，红色的patch组中patch数量小于20个，要去掉像红色这样的patch个数小于20的patch组