3D相机图像处理与显示技术研究毕业论文(可编辑)

《3D相机图像处理与显示技术研究毕业论文(可编辑)》由会员分享，可在线阅读，更多相关《3D相机图像处理与显示技术研究毕业论文(可编辑)（29页珍藏版）》请在装配图网上搜索。

1、3D相机图像处理与显示技术研究毕业论文 3D相机图像处理与显示技术研究毕业设计(论文)原创性声明和使用授权说明原创性声明 本人郑重承诺:所呈交的毕业设计(论文),是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知,除文中特别加以标注和致谢的地方外,不包含其他人或组织已经发表或公布过的研究成果,也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体,均已在文中作了明确的说明并表示了谢意。 作 者 签 名: 日 期: 指导教师签名: 日 期: 使用授权说明 本人完全了解 大学关于收集、保存、使用毕业设计(论文)的规定,即:按照学校要求提交

2、毕业设计(论文)的印刷本和电子版本;学校有权保存毕业设计(论文)的印刷本和电子版,并提供目录检索与阅览服务;学校可以采用影印、缩印、数字化或其它复制手段保存论文;在不以赢利为目的前提下,学校可以公布论文的部分或全部内容。作者签名: 日 期: 学位论文原创性声明 本人郑重声明:所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名: 日期:年 月 日 学位论文版权使用授权书 本学位论文

3、作者完全了解学校有关保留、使用学位论文的规定,同意学校保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 涉密论文按学校规定处理。 作者签名:日期:年 月 日 导师签名:日期:年 月 日指导教师评阅书 指导教师评价: 一、撰写(设计)过程 1、学生在论文(设计)过程中的治学态度、工作精神 优 良 中 及格 不及格 2、学生掌握专业知识、技能的扎实程度 优 良 中 及格 不及格 3、学生综合运用所学知识和专业技能分析和解决问题的能力 优 良 中 及

4、格 不及格 4、研究方法的科学性;技术线路的可行性;设计方案的合理性 优 良 中 及格 不及格 5、完成毕业论文(设计)期间的出勤情况 优 良 中 及格 不及格 二、论文(设计)质量 1、论文(设计)的整体结构是否符合撰写规范? 优 良 中 及格 不及格 2、是否完成指定的论文(设计)任务(包括装订及附件)? 优 良 中 及格 不及格 三、论文(设计)水平 1、论文(设计)的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格 2、论文的观念是否有新意?设计是否有创意? 优 良 中 及格 不及格 3、论文(设计说明书)所体现的整体水平 优 良 中 及格 不及格 建议成绩: 优 良 中

5、及格 不及格 (在所选等级前的内画“”) 指导教师: (签名)单位: (盖章) 年月日 评阅教师评阅书 评阅教师评价: 一、论文(设计)质量 1、论文(设计)的整体结构是否符合撰写规范? 优 良 中 及格 不及格 2、是否完成指定的论文(设计)任务(包括装订及附件)? 优 良 中 及格 不及格 二、论文(设计)水平 1、论文(设计)的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格 2、论文的观念是否有新意?设计是否有创意? 优 良 中 及格 不及格 3、论文(设计说明书)所体现的整体水平 优 良 中 及格 不及格 建议成绩: 优 良 中 及格 不及格 (在所选等级前的内画“”)

6、评阅教师:(签名) 单位: (盖章) 年月日 教研室(或答辩小组)及教学系意见 教研室(或答辩小组)评价: 一、答辩过程 1、毕业论文(设计)的基本要点和见解的叙述情况 优 良 中 及格 不及格 2、对答辩问题的反应、理解、表达情况 优 良 中 及格 不及格 3、学生答辩过程中的精神状态 优 良 中 及格 不及格 二、论文(设计)质量 1、论文(设计)的整体结构是否符合撰写规范? 优 良 中 及格 不及格 2、是否完成指定的论文(设计)任务(包括装订及附件)? 优 良 中 及格 不及格 三、论文(设计)水平 1、论文(设计)的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格 2、论

7、文的观念是否有新意?设计是否有创意? 优 良 中 及格 不及格 3、论文(设计说明书)所体现的整体水平 优 良 中 及格 不及格 评定成绩: 优 良 中 及格 不及格 (在所选等级前的内画“”) 教研室主任(或答辩小组组长):(签名) 年月日 教学系意见: 系主任:(签名) 年月日摘要近年来,随着三维显示技术的进步,特别是3D电视、3D游戏和3D电影等一系列产品的投入,电子市场已经掀起了一场关于三维成像与显示的热潮。大众娱乐生活已迈进一个全新的纪元,人们已经不再满足于拍摄二维图像的普通数码相机,因而能实时拍摄和显示三维图像的3D相机、全景相机等受到了人们的大力追捧。 本论文研究3D相机图像处理

8、与显示技术,主要涉及两个方面:一是基于双像合成的图像匹配技术,二是基于柱透镜的裸眼3D显示技术。论文首先介绍了3D相机的工作原理、结构和工作流程,并对几个重要部件进行了简要介绍。然后重点分析和研究了图像匹配技术和自由立体显示技术,给出基于灰度变换的彩色图像区域匹配技术,并做了详细分析。对柱透镜光栅立体显示技术的单元光路光学参数和光栅参数做了详细分析,并给出一套用于5.0英寸液晶显示屏的柱镜光栅结构及参数。最后,讨论了研究过程中可能出现的理论缺陷及相应的解决方案。 关键词:3D相机 图像匹配技术 柱透镜 裸眼3DAbstract In recent years, with the progres

9、s of three-dimensional display technology, especially, the 3D TV, 3D games, 3D movies and a series of products inputs, a new upsurge of three-dimensional imaging and display in the electronic market is coming. Mass entertainment has entered a new era. People satisfy with two-dimensional image of the

10、 ordinary digital camera no longer, which can real-time shooting and displaying three-dimensional images of the 3D camera, panoramic camera are vigorously sought after by the people Image processing and display technology of 3D camera are researched in the thesis. It mainly involves two aspects of t

11、he image matching technique based on the synthesis of double image, and based on the cylindrical lens glasses-free 3D display technology. Firstly, the 3D camera operating principle, structure, workflow, and several important parts are introduced. Then, the image matching technology and stereoscopic

12、display technology are researched, and the area matching technology of color image which based on gray-scale transformation is given, and analyzed in detail. The optical parameters of cylindrical lens unit are analyzed in detail, and the parameters of grating structure for a 5.0-inch LCD display are

13、 given. Finally, theoretical defects during the research process are discussed and the solutions are given.Keywords: 3D camera, image matching technology, column lens,glasses-free 3D目录摘要IAbstractII目录III前 言11 3D相机的结构与工作流程71.1 3D相机的结构原理71.1.1 图像传感器81.1.2 A/D转换器91.1.3 数字信号处理器101.1.4 图像数据压缩器111.2 3D相机的工

14、作流程112 图像匹配处理技术142.1 基于区域灰度的彩色图像匹配算法142.2 基于灰度变换的匹配152.2.1 灰度变换152.2.2 基于灰度变换的SAD匹配算法代价函数162.3 灰度变换的彩色图像匹配172.3.1 三基色原理172.3.2 基于灰度变换的彩色图像匹配算法182.4 选择匹配窗口192.5 约束条件193 3D显示技术213.1 3D显示技术简介213.2 基于柱镜光栅的LCD显示设备223.2.1柱镜光栅的光学原理223.2.2单元光路与视点排列顺序分析243.3 柱透镜光栅的参数设计253.4 问题与解决方案274 总结32致 谢34参考文献35前 言 随着数码

15、时代的到来,照相技术的发展极为迅速。数码化带动了相机价格的逐步降低,也推动了照相技术的发展和照相机的普及。而随着显示技术的不断成熟,以3D英文:Three Dimension,中文:三维电影为代表所引发了一轮新的立体显示热潮。人们在感受了立体显示所带来的视觉冲击后,已经不再满足于拍摄二维图像的相机了。人们越来越渴求能实时拍摄并显示三维图像的相机。普通相机的发展1 照相起源于针孔成像,早在公元前四百多年,我国的墨经一书就详细记载了光的直线前进、光的反射,以及平面镜、凹面镜、凸面镜的成像现象。到了宋代,在沈括所著的梦溪笔谈一书中,还详细叙述了“小孔成像匣”的原理。在16世纪文艺复兴时期,欧洲出现了

16、供绘画用的“成像暗箱”。下面我们把相机的发展按照时间划分为以下四个阶段: 第一阶段:从1839年至1924年为照相机发展的第一阶段。1839年8月19日法国画家达盖尔公布了他发明的达盖尔银版摄影术,于是世界上诞生了第一台可携式木箱照相机。 1841年光学家沃哥兰德发明了第一台全金属机身的照相机。该相机安装了世界上第一只由数学计算设计出的、最大孔径为1:3.4的摄影镜头。1845年德国人冯?马腾斯发明了世界上第一台可摇摄150的转机。1849年戴维?布鲁司特发明了立体照相机和双镜头的立体观片镜。1861年物理学家马克斯威发明了世界上第一张彩色照片。1866年德国化学家肖特与光学家阿具在蔡司公司发

17、明了钡冕光学玻璃,产生了正光摄影镜头,使摄影镜头的设计制造得到迅速发展。1888年美国柯达公司生产出了新型感光材料?柔软、可卷绕的“胶卷”。这是感光材料的一个飞跃。同年,柯达公司发明了世界上第一台安装胶卷的可携式方箱照相机。1913年德国人奥斯卡?巴纳克研制出了世界上第一台135照相机(图1)。第二阶段:从1925年至1938年为照相机发展的第二阶段。这段时间内,德国的莱兹、罗莱、蔡司等公司研制生产出了小体积、铝合金机身等双镜头及单镜头反光相机。在此阶段,照相机的性能逐步提高和完善,光学式取景器、测距器、自拍机等被广泛采用,机械快门的调节范围不断扩大。照相机制造业开始大批量生产照相机,各国照相

18、机制造厂纷纷仿制莱卡型和罗莱弗莱型照相机。黑白感光胶片的感光度、分辨率和宽容度不断提高;彩色感光片开始推广,从而使摄影队伍迅速扩大并走向专业化。 第三阶段:从1939年到1981年为照相机发展的第三阶段。此阶段的前半期即上世纪六十年代之前,黑白、彩色胶片的质量有了进一步的提高,光学工业制成了含有稀有元素的新型光学玻璃,如镧、钛、镉等玻璃。从而更好地校正了摄影镜头的相差,使镜头向大孔径和多种焦距的方向迅速发展。因而,出现了变焦、微距、折反射式、广角等多种摄影镜头。镜头单层镀膜得到普遍推广。照相机出现了计数器自动复零、反光镜自动复位、半自动和全自动收缩光圈等结构。照相机的质量、产量开始飞速发展。

19、从上世纪六十年代初至九十年代初为第三阶段的后期。这期间,日本的小西六摄影公司生产出第一台自动调焦照相机?柯尼卡C35A型135照相机。接着日本又生产出世界上第一台双优选式自动曝光照相机?美能达DG型135单镜头反光相机,开创了一台相机具有多种曝光功能的先例。这期间,光学传递函数理论进入了光学设计领域,出现了成像质量高,色彩还原好,大孔径,低畸变的摄影镜头。同时,镜头向系列化发展,由焦距几毫米的鱼眼镜头到焦距长达2米的超摄远镜头,并有了透视调整、变焦微距、夜视等摄影镜头。电子技术逐渐深入到照相机内部,多种测光、高精度的电子镜间快门、电子焦平面快门以及易于控制的电子自拍机等纷纷出现。曝光补偿、存储

20、记忆、多记录功能、电子上弦卷片、自动调焦等各种功能得到愈益精美的应用,高度自动化、小型、轻便等方面达到了前所未有的高度。 第四阶段:从1981年至今为照相机发展的第四阶段。1981年索尼公司发明了世界第一架不用感光胶片的电子静物照相机?静态视频马维卡照相机。这是当今数码照相机的雏形。 1988年富士与东芝在德国科隆博览会上,展出了共同开发的,使用闪存卡的富士克斯数字静物相机DS-1P。在这前后,富士、东芝、奥林巴斯、柯尼卡、佳能等相继发表了数字相机的试制品:如佳能RC-701图2、卡西欧VS-101、富士DS-1P、东芝MC2000等。这些产品的推出大大刺激了大众的好奇心,不需要感光胶片,相机

21、同样可以纪录影像成为当时最热门的话题之一。 1997年11月柯达公司发布了DC210数码相机,这款数码相机使用了109万的正方像素CCD图像传感器,而且还开始在数码相机上采用变焦镜头,使得数码相机的发展有了全新的突破。到了1999年,数码相机再度在像素上有所突破,全面跨入200万像素之年。富士推出的MX-2700(图3),号称是当时全球首款最轻230万像素的数码相机,机身只有230克。其最高分辨率达到18001200像素。进入2000年,不论在计算机方面,还是存储设备方面,都有了很大程度的提高,数码相机的像素也在200万的基础之上,再上一个高楼。2002年,奥林巴斯推出C-40 ZOOM,作为

22、世界上首款最小的400万像素数码相机,它不仅是一款最小巧的机型,而且在当时的数码相机市场上技术含量也是最高的,为时尚数码相机小型化发展迈出了坚实的一步。索尼在2005年推出了全球第一款采用APS-C画幅图像传感器的非单反数码相机DSC-R1(图4)。2006年数码相机已经全面进入了千万像素级阶段,一批批千万像素级产被推向市场,成为了目前的主流产品。 随着各个阶段的演变,传统相机已逐步被淘汰,高质量的数码相机已成为现代人的首选;普通家用数码相机的千万像素、大屏幕、触摸屏、防抖、广角等一系列功能远远满足了我们日常生活需要。近来,随着三维显示技术的技术进步,以及3D电影、3D电视、3D投影一系列成熟

23、产品的投入市场,已经掀起了一场关于三维成像与显示的热潮。随着这场热潮的掀起,人们已经不再满足于普通的数码相机,因而3D相机、全景相机等又让相机步入了新台阶。3D相机时代的来临 由于人们生活的世界是三维的,但是传统相机只能获取二维图像,这种局限限制了人们通过二维成像系统对真实世界中物体的感知和理解的能力。所以人们一直没有停止过研究能用于拍摄三维图像的相机。在19世纪末已经有人探索立体照相的技术问题,最著名的实验是英国人怀特斯通,他用两个照相机模拟左、右眼睛分别拍摄两幅照片,然后用两个互相分隔的目镜,由左右眼观察这两幅照片,于是在大脑中从新合成了立体图像。怀特斯通的视差理论2得到实验支持,非常成功

24、,至今仍然是研究立体照相技术的主要理论依据。自上世纪初以来,人们的主要精力用于发展和完善黑白和彩色照相技术以及建立相应的工业体系。因而,三维照相技术只是在小规模、小范围内进行。早期的工作集中在用像对法重现立体影像,20世纪60年代出现过的立体电影就是这个原理。当然也可以用互相垂直的两束偏振光去拍摄和重现像对的立体效果3。这些方法的共同缺点是只能一个人使用。20世纪50年代开始,有人提出用柱状透镜阵列亦称光栅片 重现立体图像的方案3。用这种方法表达立体图像是成功的,因为它可以在相当大的视角内供大家观赏。经过近50多年的努力,克服了这种方案中出现的图像抖动、模糊、死角等问题,近年已达到商业推广的水

25、平,掀起了一个3D画像技术的高潮。由于这种方法具有很大的市场潜力,并需庞大投资,过去10年主要由美国和日本的几家公司集中研究,获取专利以及垄断技术。 在以前所有民用级3D设备当中,见到最多的还是输出设备,而在3D影像的捕捉设备上却寥寥无几,直到富士、索尼、松下以及奥林巴斯的多款3D数码相机、3D数码摄像机发布之后,民用级3D捕捉设备才终于初具规模。 位移式3D成像:索尼。它是通过拍摄两张或多张取景角度略有差异的照片,然后再合成为一张3D照片的技术。显然,采用这种方式形成的3D影像只要从图像处理的层面就可以实现,因此它几乎不会增加产品的成本。另外,采用这种方式拍摄出来的3D效果从理论上讲也会受到

26、拍摄者转动相机速度的影响。索尼WX系列的最新旗舰 WX10具备3D静止影像、3D扫描全景、扫描多角度图5,其中扫描多角度可以拍摄能以3D方式在本相机以及3D电视显示的3D影像,从某种角度来说,该方法实现了裸眼3D。 双象场3D系统+位移式3D成像:松下。松下的3D成像主要依靠其3D镜头(图6),通过在一支镜头上设立两套独立镜组会形成两个较小的成像圈,而光线通过这两个成像圈投射到传感器上时也会形成左右两个影像。当然这两幅影像之间是存在视差的,因此可以把它们合成为3D影像,而这个合成的过程则需要通过英寸处理器来完成。显然,这种3D成像技术会浪费不少的有效像素,但它的拍摄效果要比位移式3D成像技术来

27、的稳定。 双成像3D系统:富士(图7)。富士相机采用的双镜头、双传感器3D相机从硬件结构上讲是目前最强大的3D成像系统,不但工作稳定,而且在输出3D影像的精度上也是最高的。3D相机的课题研究 在分别介绍了相机的发展和3D显示技术的发展,并充分考虑了人们对3D摄影设备的强烈渴望和当前此类设备的发展状况后,本文提出了基于双像合成技术和柱透镜3D显示技术的3D相机的课题研究。本论文的内容及结构为: 前言主要介绍了相机的发展,并把相机的发展历史划分为四个阶 段;并介绍了3D相机的视觉原理和目前发展状况。 第一章主要介绍了3D相机的结构和原理以及其工作流程,并对CCD、DSP等重要部件进行简要介绍。 第

28、二章重点介绍和分析了图像处理技术,由灰度变换技术和区域匹配技术提出来基于灰度变换的彩色图像区域匹配技术,并对匹配算法做了详细分析,由区域匹配的SAD相似性函数得出适用于本算法的匹配函数。 第三章重点介绍和分析了基于柱透镜的3D显示技术,通过对柱透镜光学参数的详细分析从而推出光栅板的各项参数,并给出一套用于5.0英寸液晶显示屏的柱镜光栅板。在分析了系统结构后对可能存在的问题提出了相应的解决方案。 第四章对全文进行了总结。1 3D相机的结构与工作流程一般情况下,当人观察现实世界中某一物体的时候,每只眼睛的视网膜上各自形成一个独立的影像,左眼看到物体的左边多一些,右眼看到物体的右边多些,同一物体在两

29、个视网膜上得到不同的影像,同一物体上某点落在左右两眼视网膜上的位置是不同的,这种位差就称为双目视差4。人之所以能有深度感知,就是因为有了这个视差。本论文研究的3D相机就是根据人类双眼对同一景物成像的视差原理来设计的双镜头、双传感器的图像采集系统。1.1 3D相机的结构原理3D数码相机与普通数码相机如果仅从外观上看,两者区别并不大,前者拥有两个间距为6.5cm镜头,而后者只有一个镜头。虽然3D相机的光学镜头系统、电子快门系统、电子测光、光电传感器、图像存储器、操作以及输出控制单元等与普通数码相机并无太大差别,但在图像处理单元(DSP)、液晶显示屏(LCD)等基本元器件和工作原理与普通数码相机有着

30、本质区别。最重要的区别在于3D相机独有的图像匹配处理技术(图1.1)。 双镜头3D相机成像系统采用的是双像合成法2,它的原理是用两个镜头对同一目标同时摄像得到两张不同视角的二维图片,在经过数字图像处理器通过特定算法合成目标的三维图像。相机结构主要包括两套镜头组件、取景系统、成像系统、图像的存储、图像的输出和电源等几部分。各部分围绕图像信号的处理流程而构成。下面对光电传感器、A/D转换器、数字信号处理器、图像数据压缩器作一个简介。 1.1.1 图像传感器 图像传感器又称光电传成器,是相机的主要部件之一,它的作用是将光信号转换成电信号。图像传感器品质的高低,直接决定了数码相机的成像品质。当前的图像

31、传感器主要有CCD和CMOS两类,综合考虑了它们各自的性能和3D相机高画质的要求后,本论文采用的是CCD传感器。 CCD图像传感器 Charge Coupled Device电荷耦合器件5是由许多个光敏像元按?定的规律排列组成的。每个像元就是一个MOS电容器,大多为光敏二极管。它是在P型硅衬底表面上用氧化的办法生成一层厚度约为100-150nm的二氧化硅(SiO2),再在二氧化硅表面蒸镀一金属层多晶硅,在衬底和金属电极间加大一个偏置电压,就构成了一个MOS电容器。其工作原理是当有一束光线投射到MOS电容器上时,光子穿过透明电极及氧化层,进入P型硅衬底,衬底中处于价带的电子将吸收光子的能量而跃入

32、导带。光子进入衬底时产生的电子跃迁形成电子-空穴对,电子-空穴对在外加电场的作用下,分别向电极的两端移动,这就是信号电荷。这些信号电荷储存在由电极形成的“势阱”中,信号电荷在外加驱动脉冲的作用下,在CCD移位寄存器中按顺序传送到输出级。每列像素从CCD1到CCDn的电荷随时钟信号被送到一个为合成其输出的水平CCD模拟移位寄存器上,然后再经过一个增幅放大器,输出图像信号。整个CCD 上的所有像素所产生的信号,构成了一个完整的画面。 综上所述,CCD图像传感器是由光电转换、电荷积蓄、电荷传送、输出部分这四大功能部分构成,这四部分作为CCD单元被集成在线路板上。CCD把光学信号转换为电信号,输出的是

33、串行信号。就是说它把平面二维图像信号变成了一维信号一个接一个的比特流。这些表示图像的电荷按照一定的顺序依次输出,然后送到信号处理电路中进行处理。图像信号处理电路以串行信号的方式输出这些电荷所代表的图像信息。 由于面阵中的每个光电藕合元件对映影像中的一个像素。由此,单位面积感光器件的数量越多,就越能细腻地分辨图像,像素越多图像分辨率越高。面阵CCD通过光电效应收集电荷,由于光电二极管所取得的电荷量同入射光的强度和照射时间之积成正比,所以电荷量为模拟量。因此,转移部分也就具备了模拟位移寄存器的功能。由于输出部分送出的电荷是模拟量,要想使其数字化,并在个人计算机中处理,那么,A/D转换器是必不可少的

34、。1.1.2A/D转换器6 数码相机的图像传感器获得信号以后,接着需要经过模/数转换器将模拟量转换为数字量,变换成数字信号后才能进行下一步的匹配、压缩、存储等处理过程。 在数码相机中,A/D转换器Analog Digital Converter主要是将CCD 图像传感器生成的模拟电信号转换成数字电信号,并将信号传送到数字信号处理单元。A/D转换器将模拟信号转换为数字信号主要有采样、量化、编码等过程。A/D转换器的量化精度编码位数越高,则在A/D转换过程中的数据失真越小,影像还原后的品质越好。 客观景物的细节是连续变化的,也就是说它的像素是无限多的。但是图像传感器的光电二极管却是有限的,经过图像

35、传感器后获得的图像像素是有限的,就是说在x,y方向上对图像的细节作了一次量化。但客观景物除细节外,它的亮度和色彩变化也是连续的,所以在经过图像传感器成像后,每个像素的亮度和色彩仍然是模拟量(即连续变化的量)所以还必须对它进行量化处理。A/D转换器的主要性能指标是量化精度和转换速度。 量化精度是指将模拟信号分成多少个等级。数码相机中,一般将亮度量化为256个等级。用二进制数的位来表示为8位(28256),也就是说数码相机将灰度图像量化为256个灰度等级。中、高档数码相机采用更高的量化精度,常为10位(1024个等级)或12位(4096个等级)。对于彩色图像需要对RGB三个信号进行量化,其量化等级

36、在数码相机中称为色彩深度,通常以二进制的位(bit)为单位来表示。数码相机常用的色彩深度有3种:24位(RGB各8位)、30位(RGB各10位)、36位(RGB各12位)。它们所对应的颜色数分别为167万、10亿、680亿。24位以上色彩深度的图像称为真彩色图像。颜色数越多越能真实地再现景物的色彩,但量化的工作量就越大,计算的工作量也越大,处理的时间就越长,对相机的相应器件的速度要求也就越高。一般24位、30位常用于低、中档相机,36位则用于高档相机中。 A/D 转换器的转换速度也是一个重要指标。转换速度当然是越快越好,但芯片价格也就越高。所以不同档次的数码相机对转换速度有不同要求。经过A/D

37、转换后,产生的大量数据将送入微处理器进行处理。对于有缓冲存储器的3D相机,A/D转换后的数据首先存入缓存,然后再送入微处理器进行处理。1.1.3数字信号处理器 数字信号处理器(Digital Signal Processor),常缩写为DSP(也称作微处理器MPU,及Micro Processor Unit的缩写)7。它可以说是数码相机中的“微电脑”。相机中图像的大量数据的匹配运算处理,黑白平衡调整、各种测量、控制、拍摄模式的设定等等,无一不是由它统一协调和控制的。 例如通过彩色滤镜阵列,生成的图像颜色是分离的,还需要DSP对这些数据进行处理将其合成为彩色图像。数码相机的所谓数码变焦也是利用插

38、值运算进行的。数码相机的曝光控制可分为手动和自动,自动曝光又可分为程序式自动曝光、光圈优先式自动曝光和快门优先式自动曝光。这些控制都由DSP来完成的,DSP通过对CCD感光强弱程度的分析,自动调节光圈和快门,进行自动曝光。总之,数码相机的各种操作和控制的协调统一,一切数据的分析处理都是由微处理器来完成的。 在3D相机中,本模块还有一个主要功能是对经过预处理的两幅图像进行匹配和融合,使两幅图像合二为一,以方便后续处理和输出。这是本系统中最重要的一步,也是决定整个系统好坏的一部,这将直接决定输出的三维图像的质量好坏。 其中的关键技术主要包括:相机参数的标定、图像预处理、RGB灰度变换、区域匹配等。

39、通过对三维重建的立体匹配实现过程展开研究,本课程的图像匹配过程主要包括了以下几个方面: 1、图像预处理,通过最为常用的去噪方式,对图像进行去噪,滤波等预处理操作,完成图像的预处理。 2、图像的RGB灰度变换,使用了灰度变换的方法对图像进行匹配简化。 3、图像的区域匹配,选择了基于区域灰度的彩色图像匹配方法,基于灰度变换原理的匹配算法通过增加约束条件进行区域匹配,提高了匹配速度和匹配精度。 4、对进行处理后的两幅图像数字信号进行重新编码。 为了完美整合两套成像系统的影像,必须提供全新设计的3D影像处理引擎,它可以同步两套成像系统的图像信号,并即时成高质量的3D影像(无论是静态照片和动态录像)。这

40、同步意味着当快门被完全按下的瞬间,跟拍摄相关的重要参数,例如对焦、变焦范围、曝光等都将被同步(富士WX10的精度已达到了0.001秒数量级)。1.1.4 图像数据压缩器 为了降低成本,在有限的储存空间内储存尽可能多的图像,采用了将优化处理后的图像进行较高压缩比的压缩格式,如多数相机采用的JPEG编码压缩算法是把得到的图像数据转换成JPEG格式,这是以自然场景图像为对象的彩色静态图像数据压缩的国际标准。如果根据具体实现编码算法的基本结构进行分类的话,可分成DCT方式和Spatial方式7。Spatial方式是对于基线系统和扩展系统被称为独立的功能,编码中使用差分脉码调制DPCMDifferent

41、ial PCM和嫡编码。该功能是基于编码和解码的无失真、可逆的过程。 3D相机中为了获得高品质、高清晰的图像,往往采用了无失真压缩方式,这样对图像 信息进行编码时不丢弃有效信息,经还原而得的图像与原图像完全一样,但这种方式要求存储介质有较大的容量。经过数据压缩以后的图像数据以特定的格式存储到图像存储媒体中,用于以后的相机本身显示调用、外部媒体调用和数据保存等。1.2 3D相机的工作流程 通过上面的简介了解了相机的结构和工作原理,下面对其整个工作流程进行详细的分析。 当相机镜头对准景物时,两镜头处在不同的角度对目标进行摄像,把拍摄的图像通过特定的灰度变换转换成该目标的三维图像。光线通过主透镜在C

42、CD的感光面上形成一幅二维的光学图像。此光学图像中包含有图像的亮度信息和色度信息。为了得到代表红、绿、蓝三基色的信号R、G、B,需要把色度信号分离出来。分离色度信号的办法是采用一种彩色阵列式网格滤色片罩在CCD图像传感器感光面上,通过这层特殊的网格滤色片分离出三基色信号R、G、B来。 三基色信号R、G、B经过A/D变换器转换为数字信号后再由数字信号处理器DSP进行灰度变换、黑平衡调整、白平衡调整、双像合成等处理后,经过图像数据压缩成特定格式就可以记录在存储卡上,还可以经D/A变换成为普通视频信号输出,用于观察被拍景象的则是液晶显示屏LCD。 整个相机的工作流程具体可以分为获取图像的流程和再现图

43、像的流程,具体内容如下。 获取图像的流程: 1、图像采集,两组相机镜头对空间内的同一物体进行取景,在同步控制信号下得到同一物体在两个不同角度的图像。 2、通过镜头的光分别聚焦在两块CCD上,并被转化成电信号。储存在CCD中的电信号被从TG(计时发送器)发出的驱动信号取出,此信号被CDS*3(互取双采样)消减噪音后再被A/D转换成数字信号。 3、一旦形成数字图像数据,就将被传送到DRAM并临时储存。图像数据被传送到3D图像处理引擎并进入Y/C(亮度信号/颜色信号)分离、白平衡、图像匹配、图像融合等操作。 4、被融合后的图像数据被数据压缩器以JPEG等格式压缩,最后图像数据被记录在CF/SD卡内。

44、 再现图像的流程: 1、从CF/SD卡上获得的JPEG等压缩格式的数据被数据压缩器重新恢复成原始数据;恢复后的图像数据被传送到DRAM。 2、数字处理器在DRAM中获取图像数据并用D/A转换将其转化成模拟信号并通过图像控制在LCD上显示图像; 3、数字处理器在DRAM中获取图像数据并通过RS232C或USB接口将其输出给外部媒体;或者是通过存储控制器直接从CF/SD卡中获取图像数据从USB接口输出给外部媒体。2 图像匹配处理技术 图像匹配处理技术是3D相机最核心的技术。图像匹配处理技术是3D相机能否实现立体视觉的较困难和关键的一步。如何快速、准确地实现图像对的对应点匹配,获得满足要求的视差图,

45、是当前研究的热点之一。 图像匹配算法是在两幅图像的匹配点之间建立一一对应关系的过程。根据匹配基元的不同,立体图像匹配算法可分为:区域匹配法4、特征匹配法4和相位匹配法4。为了使图像处理问题简单化,利于图像的提取,在图像处理中经常使用的一种有效手段是图像变换,而最能直接表现图像本质特征的是像素灰度值,所以很多算法都采用的是像素灰度变换的匹配方法。基于这种思想,本文给出了一种基于灰度变换的彩色图像区域匹配方法。2.1基于区域灰度的彩色图像匹配算法 图像匹配的核心是快速、准确地实现图像对的对应点匹配,获得满足要求的视差图。最能直接表现图像本质特征的是像素灰度值,所以本算法使用像素灰度值作为基元进行匹

46、配。区域灰度算法是利用图像处理的区域相关方法8,它是解决基元对应问题的一个最直观最简单的方法图2.1。 图2.1 匹配系统的流程图 基于区域相关的匹配方法是把一幅图像中当前像素点的邻域像素作为模板,在另一幅图像中以相同大小的模板在一定范围内搜索具有相同或相似分布的对应像素点。 用Lx,y和Rx,y分别代表左图像和右图像,如果Lx,y和Rx+d,y是正确的匹配对,那么这两点的邻域窗口内对应位置的各像素对也应该是正确的匹配对,所以考查两个像素对是否是正确的匹配,其邻域窗口内像素相似性是重要的参考指标。该匹配算法是建立在基元之间的相似性度量基础上的区域匹配,是以匹配基元的灰度参数信息为依据的局部相似

47、程度的度量。2.2 基于灰度变换的匹配 灰度变换属于非参量变换,是一种数理统计的方法,本节对灰度变换原理和一些特性进行了分析,给出了利用其变换特征作为基元的代价函数。基于灰度变换的匹配算法可分两步,首先对图像进行灰度变换,然后将转换后的值应用到预定的算法中。2.2.1 灰度变换8 像素的灰度变换,是以该像素点为中心取一个矩形区域称为灰度窗口,统计灰度窗口中所有灰度值小于中心像素灰度值的像素的个数,并以这个数代替原来中心像素点的灰度值。经过每个像素的灰度变换后,整个图像被转换为一个整数矩阵,这个整数矩阵称为灰度图像。 在这对灰度变换作一个定义。设fx,y表示当前像素x,y的灰度值,Nx,y表示以

48、x,y为中心的矩形窗口像素集合,则对像素(x,y)的灰度变换定义为:(2-1) (2-2) 在这里取一个33的窗口,其中心像素fx,y的灰度为152,首先由式(2-1)把Nx,y转换为Mx,y,然后求Mx,y所有元素的代数和,即为fx,y以Nx,y为灰度变换窗口的灰度变换值rx,y。直接从Nx,y中可以看出,有5个像素灰度值小于中心像素,因此rx,y5如图2.2。图 2.2 灰度变换求解过程 经过灰度变换后,像素的灰度值0到255就转换为一个取值范围较小的整数0到n-1,n是窗口内的像素总数。这个整数就是中心像素灰度值在转换窗口内灰度值排序的序号。这样,在计算左右窗口的相关性时,并不是直接用灰

49、度,而是用这些序号来进行比较。由于转换是窗口内像素灰度的相对值,使得匹配基元对干扰不敏感,相对于采用简单的灰度值作为匹配基元来说,提高了算法的抗噪性。2.2.2基于灰度变换的SAD匹配算法代价函数根据人眼视觉清晰范围,左右图像进行匹配的主要范围为左图像的右部分和右图像的左部分。所以区域匹配的基本思路是,在给定右视图中的一个点后,在左视图中是根据邻域的相似性来寻找匹配点,该邻域称为窗口,窗口通常以检测点为中心。如果左右图像中两点是正确的匹配,那么其邻域的对应像素也是正确的匹配,所以在匹配过程中,通常以邻域相似性作为测度。在匹配搜索过程中,以SADSum of Absolute Differenc

50、e函数8作为两个邻域的相似性度量。 图2.3 相关窗口匹配图例 如图2.3所示,设左右灰度图像函数分别为和,相关窗口为w,搜索范围为k。则SAD相似性函数为: (2-3) 当SADx,y,k取值最小时,左右两个像素就为最佳匹配对。以灰度变换值作为匹配基元,则本文算法的代价函数为: (2-4)rl,rr分别为左右图像变换后的灰度图像,当SAD(rl,rr)最小时,左右两个像素就为最佳匹配对。这时视差d为 (2-5)2.3 灰度变换的彩色图像匹配 人眼视觉是彩色的,因而人们很早就开始对彩色进行研究,对色彩的感知是人眼及大脑皮质的重要生理特征。彩色图像不仅包含着被摄物体的亮度信息,而且包含着它的色度

51、信息,色度又具有两个自由度。因而彩色图像比灰度图像有更丰富的信息,充分利用这些信息就有可能构造出比灰度图像更可靠、稳健的算法。2.3.1 三基色原理 三基色的内容是:假设有三种视觉感受器,分别对红、绿、蓝三种颜色敏感。当光线同时作用在这三种感受器上时,三个感受器产生的兴奋程度不同。不同兴奋程度的组合将产生不同的颜色感觉。现代技术的发展充分证实了三基色假说的合理性。现在知道可见光谱上的大多数颜色都可以用红Red绿Green蓝Blue三种单色加权混合产生,基于RGB三基色的颜色表示称为RGB颜色模型。根据这一原理,任何颜色I可以用公式表示: (2-6) 其中分别为红绿蓝的加权系数。 2.3.2 基

52、于灰度变换的彩色图像匹配算法 与灰度图像比,彩色图像包括了更多的图像空间和更多信息,对噪声和光度变化不敏感,这使得彩色图像可以匹配得更精确,而且误匹配率更低。本算法中采用上节中提到的灰度变换的图像匹配策略,并且利用彩色图像三基色的特点。图2.4 彩色图像灰度变换算法流程图 本算法首先将彩色图像按红绿蓝三通道分别进行灰度转换,然后使用区域匹配法求出视差。根据色度学的三基色原理,任何色光都可以由红,绿,蓝三种单色光按不同比例相配而成。因此彩色图像的模型可以由红Rx,绿Gx,蓝Bx图像组合表示。设一对匹配图像R1x,G1x,B1x)和R2x,G2x,B2x,以RGB三通道的灰度变换值作为匹配基元,则

53、本算法的代价函数为: (2-7)fs2,fs2分别表示左右图像变换后的灰度图像,当SADRGBx,y,k最小时,左右两个像素就为最佳匹配对。这时视差d为 (2-8)2.4 选择匹配窗口 基于区域相关的方法是最基本的立体匹配方法,该方法的核心思想就是计算以当前欲匹配像素为中心的相关窗口的相似度,将相关性最高的那个点对为成功的匹配。该方法的难点之一是如何选择相关窗口的大小。窗口大小的选择应该遵循下列原则:选取的窗口要足够大以至于窗口内的像素灰度值应以一定的规律变化,另外一方面,窗口要足够小以至于窗口内的视差没有变化。这样如何选择窗口的大小就成为关键的问题。 如何解决这个问题,许多研究采用了许多不同

54、的策略进行处理,例如固定窗口大小、自适应可变窗口、多窗口等策略4。固定窗口大小的方法假设窗口内的视差是一致的,这种方法简单但误匹配发生的概率增大;自适应可变窗口使用了视差估计不确定性作为相关窗口匹配费用,该方法需要窗口内的视差变化模型和初始视差估计;多窗口对每个像素利用几个不同的相关窗口联合作为该像素的测度。 综合分析了3D相机的性能要求和三种方法的技术发展后,针对该问题,本文采用固定窗口大小的解决思路和方法,在保证匹配精度的前提下提高数据处理的速度。2.5 约束条件 由于在3D相机中左右镜头彼此参数一致,光轴平行且垂直于基线,构成一对共极性结构,这样只有水平方向的视差,使搜索空间大大减少,简

55、化对应匹配过程和减少算法的计算量。为了帮助建立对应关系,提出了许多约束条件来减少搜索的范围和确定正确的对应点匹配,下面是一些最基本的约束条件。 1、相容性约束4 对于灰度图像,这一约束的具体含义是同一景物像点的灰度值理论上应该具有一定的相容性,由于镜头的位置不同和特性差异,场景中各对应点处的光强可能具有一定的差异。在判断两个匹配基元是否相容时要根据它们之间的相似性。问题的关键是在于如何度量匹配基元的相似性。 现在主要用的有两种相似性的假设,一种是基于光度学不变性,即左右图像对应区域中灰度的变化情况相似,如果景物中表面的深度变化比较平缓,同时由于双眼相隔的距离不大作这样的假设是有道理的;另一种假

56、设是根据几何学不变性,即两幅图像中同一对象的几何结构相同。如在以边缘作为匹配基元时沿外极线上任何扫描方向在左右图像中边缘出现的次序相同,虽然有时候出现在左图中的边缘由于遮挡可能不出现在右图中或出现在右图中的边缘由于遮挡可能不出现在左图中。 2、唯一性约束 在一般情况下,一幅图像上的每个基元只能与另一幅图像上的唯一一个基元相对应。而在特殊情况下,如物体表面是平滑的,每个像素灰度一样时就会存在一个基元与多个基元匹配的现象,这就需要利用下面的条件进行约束。 3、连续性约束 这个约束条件考虑的前提是:同观察者到物体表面的距离相比较,物体表面凹凸引起的变化造成的差异都很小,因此物体表面是平滑的,除了边界处深度不连续的地方外,得到的视差值图像中几乎处处平滑,而物体的边界只占图像面积的很小部分。 4、RGB灰度叠加约束条件 在灰度图像进行匹配时,可能会出现多个最佳匹配,这就会造成许多误匹配。为了减少这种误匹配,除了采用以上三个约束条件外,还采用了一种新的约束条