鱼眼镜头的发展概况及应用

《鱼眼镜头的发展概况及应用》由会员分享，可在线阅读，更多相关《鱼眼镜头的发展概况及应用（13页珍藏版）》请在装配图网上搜索。

1、鱼眼镜头的发展概况及应用刘海毅、宋美婷、尹坤摘要 近年来，随着光学镜头及成像芯片技术的不断发展，基于常规镜头的传统 视觉系统由于其有限的视场范围已经不能满足许多应用场合的需求。而广角成像 具有大视野的显著特征，已成为当前计算机视觉研究的焦点和热点。而鱼眼镜头 是一种基于仿生学的超广角镜头，通过引入桶形畸变，对物理空间进行“压缩形 变”，从而获得视角为 180270度的超广角成像，尽管物像间差异很大，但不影 响分辨率，且能保证物点与像点的一一对应关系，可以实现大范围的清晰成像， 在天文、气象、森林防火以及国防军事等领域有重要应用。对鱼眼镜头的原理进 行简单的概述，然后分析了它的一些关键问题，接着

2、便是对鱼眼镜头的应用进行 了简要介绍，并在此基础上对鱼眼镜头的未来发展前景进行展望。中图分类号：TH744关键词：广角成像 鱼眼镜头 畸变矫正 发展 应用The Development and Application of Fish Eye LensAbstract: In recent years, with the development of optical lens and image formation chips, traditional lens with limited field of view no longer meet the needs. Thus wide angl

3、e image formation techniques became a hot area of computer vision.Fish eye lens was a wide angle lens first put forward by J.C.Maxwell. It can provide a 180-270 field of view by introducing barrel distortion into the system and applying compressive deformation to the physical space. The distortion i

4、s not a problem to the resolution because of the one -to-one correspondence between the object point and the image point. Fish eye lens has been applied in many fields such as astrology, meteorology, forest fire prevention, and military.The principle of fish eye lens is briefly described. Then some

5、key problems are analyzed. Also the applications of fish eye lens are introduced, followed by a prospect of the future development of fish eye lens.Key words: wide-angle imaging; fish eye lens; distortion calibration; development; application一、鱼眼镜头的原理1.1 鱼眼镜头的结构原理鱼眼镜头是一种极端的广角镜头，也称全景镜头4。一般认为16mm或焦距 更

6、短的镜头即为鱼眼镜头5，但是在工程上视角范围超过 140 度的镜头即统称 为鱼眼镜头1。在实际中也有视角超过甚至达到 270 度的镜头。鱼眼镜头是一 种具有大量筒形畸变的反远摄型光组 7。这种镜头的前镜片呈抛物线状向前部 凸出，形状与鱼的眼睛相似，因此得名“鱼眼镜头”，其视觉效果类似于鱼在水 中观察水面上的事物。图1-1鱼在水中观察水面事物当鱼在贴近水面的位置观察时，视角可以达到近180的广角。这种现象在光学 原理中属于全反射和光路可逆2。图1-2全反射（左）和光路可逆（右）超广角的鱼眼镜头是一种特殊镜头，但是在成像时因为实际生活中的景物是有既定的固定形态的,而通过鱼眼镜头产生的画面效果超出了

7、这一范畴，所以需要合适的模型设计，以计算像点的准确位置。已知折射率公式为(1-1)nsini = nrsini空气中n=i。当7=90。时, =arcsin1(1-2)n由于鱼眼前表面的曲率半径很大,如若将鱼眼外凸的前表面和眼前的水看成 整体当作负透镜,该透镜将会有绝对值很大的负光焦度。借鉴仿生学原理,鱼眼 镜头是其领域的一大突破,人类借鉴鱼类仰视水面之上半球空域的视觉原理,使 用光学工程技术设计出鱼眼镜头,并用其成像,获得半球甚至超半球空域的场景 图像。为使入射光线强度足够大,前置透镜的前表面改进为凸面并且相应增大后以确保第一透镜能良好聚焦。鱼眼镜头的普遍结构特征为：透镜前组光焦度为负, 后

8、组光焦度为正,以加大同焦距不同类型镜头的后工作距离。鱼眼镜头具有广角1.2 鱼眼镜头成像畸变理论在传统光学原理中，受到高斯原理成像视角限制，能成像的空间大小极为有 限。但是在我们讨论的鱼眼镜头中，为了突破成像的局限性，鱼眼镜头引入畸变， 在直径空间上进行压缩，以实现广角成像1。普通光学系统一般遵循物像相似且致力于完善这种相似性。但是鱼眼镜头不 满足针孔成像原理，是非相似成像的一种。对于鱼眼透镜成像公式，应满足视图 范围中的图像字段定义域连续，以作为一个鱼眼透镜投影函数。1.3 鱼眼视觉系统模型鱼眼镜头成像重点之一就是能够正确描述三维立体空间里的目标点在成像 平面上的像点，并且能够准确建立对应关

9、系，要完成这一目标需要建立视觉成像 模型并分析规律。鱼眼镜头多采用等距定理设计，图1-6 为空间任意一点经鱼眼模型中鱼眼摄像成像模型由五个坐标系组成：世界坐标系、鱼眼镜头坐标系、摄 像机坐标系、图像坐标系、成像坐标系。P是三维场景中的一点；h是点和投影 表面展示空间之间的垂直距离；R是鱼眼图像半径；P是场景点P在成像平面 上的投影点；3是点相对于中心入射角；厂是图像中心点O与像点间的径向距 离；。是场景点P在摄像机坐标系下的方位角；是像点在图像物理坐标系下 的方位角。S”是像素分别在横轴以及纵轴上的物理尺寸32。xy二、鱼眼镜头畸变校正鱼眼镜头靠人为引入大量桶形畸变获得大视角，从而能够获得大视

10、场的图像 信息，所以图像除画面中心处物体形状不变，其它本应是直线的部分都有一定的 扭曲变形，这对其应用造成很多限制。例如，在安防领域，一个鱼眼镜头可以代 替多个普通镜头，进行大范围的监视，由于视角可达180，故几乎没有监控死 角，即使只用一个镜头也几乎没有办法移动或破坏镜头而不被发现，然而由于图 像的畸变使物体难以用人眼识别，使监视能力大打折扣；又如在机器人领域，自 动化的机器人要求能采集周围景物的图像信息，并加以识别，以采取对应的行动， 若采用鱼眼镜头可使采集效率提高2-4倍，但由于引入了畸变使通常的识别软件 难以应用。所以我们需要某种方式来识别鱼眼镜头所得图像。一种方式是直接在 原图像中进

11、行识别，例如文献1提供了一种算法，可以识别太阳在图像中的位 置，但由于畸变的原因，同一物体在不同位置时其特征也会变化，这会极大地增 加软件的运算量，也很难实现对复杂图形的识别。所以，现在通用的方法是通过 一系列变换抵消图像中的畸变，从而获得正常的图像，进而加以识别。 2.1.鱼眼镜头设计模型通常的光学系统均基于高斯光学，遵循相似成像准则，而鱼眼镜头是非相似 成像，故需要选择其他的成像公式来替换高斯光学成像公式，每一个成像公式对 应一种镜头设计模型。常用的鱼眼镜头模型一共有四个，分别是等距投影 (equidistance projection)、等立体角投影(equisolid projecti

12、on)、体视投影(stereo graphic projection) 正交投影(orthogonal projection)r = f 0(2 -1)r 二 2f sin(O / 2)2-3)r 二 2f tan(9 /2)(2-4)式(2-2)称为等距投影模型，如图2- 1，入射光线的之间的角度相同，则其对的图像信息几乎全部丢失，且如果 180之外的情况无法描述。采用这种模型的镜头拍出的图片即使在视角较小的区域也会比其他模型的镜头的畸变更明显。视角相对较小的广角摄影镜头较符合这种模型，可以拍摄出明显的畸变效果。因此,面积的像，其畸变程度介于等距模型与正交模型之间。(2-5)式称为体视模型；

13、相比之下畸变最小。这两种镜头设计模型均很少被人采用。四种模型中，等距投影因其成像高度与物方视场角成正比，方便信息处理， 且具有高精度，实时性等优点，符合当今信息化的需求，故应用最为广泛，目前 在军事、工程及科技领域使用的鱼眼镜头大多以等距投影为基础进行设计，本文 也将以等距模型为例进行介绍。2.2.鱼眼镜头畸变校正利用鱼眼镜头的成像模型（球面投影型及抛物面投影模型）进行分析球面投影型是把鱼眼镜头的成像面等效为一个球面。这种方法的条件是所得 图片的光学中心以及变换球面的半径，因而只适用于圆形区域。该算法由英向华 及胡国义11提出。其算法思想为：约束条件是空间中直线的球面透视投影为大 圆，以此来恢

14、复鱼眼变形校正，将所有图像点都通过算法映射到一个球面上，并 使这些球面点满足球面投影的约束，即一条空间直线的投影必须为球面上的一个 大圆。具体步骤如下：首先，在场景直线的投影曲线上选取采样点，用变形校正 模型将其映射为球面点，由于采样点往往不全在直线上，故需要对这些采样点进 行大圆拟合。求出能使各球面点拟合大圆的球面距离的平方和最小的参数，即为 变形校正参数。抛物面投影模型是球面投影型的一个推广，把成像面看做抛物面进行变换， 精度较球面投影形更高，但算法也更为复杂，应用得较少。2.2.2 基于 2D 和 3D 空间思想的校正算法2D 鱼眼图像校正是从二维空间直接校正图像，此方法不需空间点信息，

15、而 是直接在图像上对点进行坐标变换，投影到校正图像上，然后进行像素灰度插值。 具体包括经度坐标校正12、多项式坐标变换13-16，以及极半径映射17-20等。 2D模型的优点是简洁直接,一旦确定模型表达式，即可直接进行校正，但2D模型 的局限性在于仅能在鱼眼图像与校正图像之间直接映射 ,故当原图像的视角达到 180时，校正图像的大小将接近无穷大，因此2D模型不能适用于大视角区域的校正。3D 鱼眼图像畸变校正，包括投影转换和鱼眼镜头标定两种方法。具体上是 把鱼眼图像上每个2D像平面点（.尹）映射到3D场景（工Y, Z ）投影构成的2D 平面点（.尹），把图像像素点和光线3D向量一一对应起来，从而

16、实现校正。投 影转换算法是将鱼眼图像转换成透视投影图像，或将鱼眼图像半径映射为入射角 原理是从照相机的位置上看，对任何投影，对于图像上每一个像素点，都有一个 对应的3D向量光线。这类模型首先在像高和入射角之间建立关系,然后根据需要 在空间中放置投影平面,由入射光线反投影到投影平面上获得校正图像,除个别模 型（例如正交投影模型）外,一般的 3D 校正模型在理论上对于入射角在 0180 之间没有限制。三、鱼眼镜头的应用最初，鱼眼镜头仅被应用于摄影，因其在成像过程中产生的桶形畸变具有特 殊的美感。近年来，鱼眼镜头的应用更多地应用于广角成像领域，在军事、监控、 全景模拟，球幕投影等方面。相较于其他系统

17、，鱼眼镜头具有质量轻、体积小等 优势，同时也具有需要消除相差的不便捷之处。中国科学院长春光学精密机械与物理研究所及中国空空导弹研究院的姜洋 等人在 2012 年设计了一种大视场凝视型红外共形光学系统18。该系统将共形 整流罩与鱼眼镜头相结合，设计出一种应用于导弹导引的新型红外凝视成像导引 头光学系统，提高了导引头稳定性并增大了观察视场。2014 年，军械工程学院 的王龙等人提出一种应用鱼眼镜头的广角激光探测系统19。传统的激光探测系 统主要应用法布里珀罗标准量具或迈克尔逊干涉仪，前者需要机械扫描，因此无 法探测激光脉冲；后者视场小且结构复杂。而应用鱼眼镜头的广角激光探测系统 无需机械扫描，可同

18、时探测激光波长和入射方向。长春理工大学光电工程学院的梁久伟等人在 2011 年提出了一种应用于监控 系统的鱼眼镜头20，在原有鱼眼镜头的基础上针对监控系统的需求进行了改进 实现了单个镜头的全景监控。厦门大学物理与机电工程学院的张继艳等人在 2013 年设计了一种宽光谱日夜两用鱼眼监控镜头21。现今市面上的日夜两用镜 头多采用加大景深的方式，使成像在日间和夜间焦平面之间，成像效果因此降低。 而张继艳等人所设计的宽光谱鱼眼监控镜头，工作波段长，成像范围大，日间夜 间均成像清晰，且具有体积小隐蔽性高等优点。山东大学计算机科学与技术学院的张诚和汪嘉业在 2004 年提出了一种利用 鱼眼照片实现三维重建

19、和虚拟浏览的方法22。利用成像超过180 度的鱼眼镜头 对某一场景前后分别拍摄一张照片，即可建立一个三维模型，用户即可从任意角 度对该场景进行观察。信息工程大学的李科等人联合72515部队，在 2013 年研 究发表了基于全景视频的虚拟地理环境建模技术研究23，利用装载鱼眼镜头的 无人机等低空平台获取视频资料，将其转化为按时间排列的全景图像序列，从而 建立虚拟地理环境模型。这种大范围的地理环境建模技术可应用于军队、消防、 林业等领域的监测。北京林业大学水土保持学院的祁有祥等人在2009 年提出了一种利用鱼眼镜 头测量林冠郁闭度的简易方法24。首先用鱼眼镜头拍摄林分冠层的图像，然后 应用 Pho

20、toshop 软件测定林分郁闭度的方法分析图像，从而得出林冠郁闭度。该 方法可用于研发操作简便的便携性郁闭度观测设备。上饶师范学院物理与电子信息学院的常山在 2012 年发表了利用鱼眼镜头对 高斯光束的衍射变换作用，获得平顶化聚焦的精细激光束的方法25。该法获得 的精细激光束可以应用于激光精细加工、微光机电系统和医学治疗等多种领域。球幕投影广泛应用于科技馆、天文馆等科普教育场所。在上个世纪 70 年代 出现了球幕投影，其基本结构为一台放映机加鱼眼镜头。现今这种方式仍在沿用， 不过传统放映机已换成了数字放映机。广州中国科学院工业技术研究的向鹏和王立钢在 2013 年设计了一种可附加 在手机上的鱼

21、眼镜头26，小巧轻便，易安装操作，用以增加手机摄影的乐趣和 多样性。四、发展瓶颈及未来展望4.1设计方面初始结构的设计相较于一般的光学系统，鱼眼镜头的光学结构要复杂得多 ,因此对其初始结构的要求更高。但鱼眼镜头的设计大部分由商业公司完成，大学设计的较少，其 参数均为商业机密,故被公开披露的系统类型、结构参数都很少,因而没有足够多 的定型系统供分析借鉴，加大了设计难度。边界条件与质量函数之间的矛盾对于自动化光学设计来说,质量函数的优化必须被约束在由若干边界条件所规定的范围内。不过,边界条件越严格,则取得优化解的空间越小。因此,边界条件的约束与质量函数的优化是相互矛盾的。鱼眼镜头要实现成像，需要极

22、大的视场和很高的相对孔径,因此必须以很大的相对截面传递极度倾斜的光束,这使得其光 学系统必须包含若干个光焦度很大的组元。以第一透镜为例,由于它在最前面,口 径最大,第二面又极度弯曲,故被称为“弯月形透镜”。“弯月形透镜”是鱼眼镜头 光学系统中最重要的组元,因为它对鱼眼镜头设计的成败具有决定性的影响。实 践表明,在质量函数的优化过程中,这一组元的变化趋势多是进一步增大其曲率半 径;而光学工艺、装配工艺和机械强度等厚度类边界条件常与这种趋势形成尖锐 矛盾。此外,考虑到工程应用环境或成本因素 ,某些光学材料不宜被采用 ,因而材料 类的边界约束被强化。与此同时,鱼眼镜头需要焦距很短而后工作距很长,这种

23、要 求常与像质函数的优化发生抵触。优化中的“病态”处理“病态”是光学系统自动化过程中出现的发散、震荡、慢收敛和无优化解现 象的统称。鱼眼镜头自动优化中，“病态”现象十分频繁。用传统方法处理鱼眼 镜头优化中的“病态”是远远不够的，可能导致“死循环”或接连不断的持续“病 态”,使优化过程持久陷入困境。4.2 像差校正方面1）当目标图像尺寸大于鱼眼照片尺寸约 4 倍以上，就存在明显的马赛克现象; 如图 4-1）图 4-1 鱼眼镜头拍摄的照片（左）和消除畸变后（右）（2）当目标图像尺寸小于鱼眼图像照片尺寸时，目标图像上相邻的像素就对应 鱼眼照片上距离比较大的两点，那么当系统实时运转时，就会出现目标图像

24、的闪 烁。4.3展望（1）作为新兴的光学镜头，鱼眼镜头还有很大的应用潜力未被挖掘，可以根据 各种需要设计多种多样的鱼眼镜头。(2) 优化镜头组的设计，获得光学特性更加优良的镜头。(3) 提高畸变校正和图像增强技术。 五、参考文献1徐刚强，郑利平；可控畸变鱼眼镜头标定和成像校正方法研究；硕士毕业论 文；2012-042曹丽业，张宝峰，朱均超；基于鱼眼镜头的全方位视觉系统参数标定方法研 究；2012-033 席志红,孙丽华,孙昭光；基于鱼眼镜头的全视觉图像；应用科技；文章编号 1009-671X(2007)12-0008-05；2007-124 许英朝，林洪沂，朱文章；鱼眼镜头的光学系统设计；厦门

25、理工学院学报； 2011-095仪翀，王雪晶；基于多幅图像的鱼眼镜头标定方法研究;2010-056 D.SchneiderE, Schwalbe. Validation of geometric models for fisheye lensesJ, SPRS Journal of Photogrammetry and Remote Sensing 2009: 259-266.7 Zhang Chen, Wang JY. 3D Model Reconstruction from fisheye images and virtual wark-throughJ. Journal of compu

26、ter-aided design & computer graphic,2004(1):79-84. 王永忠.鱼眼镜头光学M.科学出版社，2006.8:20-88.9 陈晃明，陈向颖；鱼眼镜头光学；兵工学报；1989-0810 . 徐晓冰、王建平、张崇巍、王熹徽：聚光系统中太阳位置的鱼眼图像识别 J;计算机辅助设计与图形学学报；2008-0311 英向华，胡占义.一种基于球面透视投影约束的鱼眼镜头校正方法J.计算 机学报, 2003,26(12):1702-1708.12 K, Yamazawa, Y Yagi, and M, Yachida. Hyperbolical Projection

27、J. Proc. Int. Conf, on Omni-directional Imaging with Intelligent Robots and Systems Vo1.2, pp.1029-1034, July 1993.13 Glullo Sandlni, Jose Santos Victor, Tomas Pajdla, Fablo Berton. OMNIVIEWS: Direct Omni-directional Imaging Based on a Retina-like SensorJ. IEEE sensors, 2002.14 Tomas Svoboda, Tomas

28、Pajdla and Vaclav Hlavac. Motion estimation using central panoramic cameras J. In Stefan Hahn, editor, IEEE international Conference on Intelligent Vehicles, pages 335-340, pages 335-340, Stuttgart, Germany, Oct 1998.15 T. Svoboda. Central Panoramic Cameras Design, Geometry, EgomotionD. PhD thesis,

29、Czech Technical University, l999.16 Xianghua Ying, Zhanyi Hu. Catadioptric Camera Calibration Using Geometric invariants J.IEEE Transactions on Pattern Analysis and Machine Intelligence. Oct, 2004.17 Y Onoe, K Yamazawa, N Yokoya and H Takemura. Visual surveillance and monitoring systemusing an omni-

30、directional video cameraJ, Proc. IEEE Intl. Conf. on Pattern Recognition, pp.18 姜洋，孙强，孙金霞，刘英，李淳，王健，杨乐 . 大视场凝视型红外共形光 学系统设计J.红外与激光工程，2012, V01.41 No.6.19 Long Wang, Hongjun Dong, Weian Zhang, Xueju Shen. Optimum design of wide angle laser detecting system based on fish eye lens and sinusoidal amplitud

31、e grating J. Optics Commu nicatio ns 310(2014)173-178, 2014.20 梁久伟，罗春华,杨铭.用于监控系统的鱼眼镜头光学设计J.光学技术,2011, Vol.37 No.621 张继艳，黄元庆,熊飞兵，孟宪国.宽光谱日夜两用鱼眼监控镜头的设计J.激 光与红外， 2011， Vol.43 No.1222 张诚，汪嘉业.对鱼眼照片场景实现三维重建和虚拟浏览J.计算机辅助设计 与图形学学报， 2004， Vol.16 No.123 李科，熊自明，杜琳.基于全景视频的虚拟地理环境建模技术研究J.系统仿 真学报， 2011， Vol.43 No.1224 祁有祥，骆汉，赵廷宁.基于鱼眼镜头的林冠郁闭度简易测量方法J.北京林 业大学学报， 2009， Vol.31 No.625 常山，吴波，付敏.用鱼眼镜头获得平顶化聚焦的精细激光束J.红外与激光 工程， 2012， Vol.41 No.1126 向鹏，王立钢.手机附加鱼眼镜头的光学设计J.光学仪器，2013,Vol.35 No.6