信息与通信IPCam影像处理原理简介ppt课件

《信息与通信IPCam影像处理原理简介ppt课件》由会员分享，可在线阅读，更多相关《信息与通信IPCam影像处理原理简介ppt课件（44页珍藏版）》请在装配图网上搜索。

1、IPCam影像处置原理简介2021.6概述 光学方面：镜头、光圈、快门等光学参数，包括Sensor对成像的影响 ISP算法：相关处置对图像质量的影响 编解码简介 影像方面：图像质量对比和评测镜头 镜头的材质 镜头的重要光学参数 日用型、夜用型关键差别以及影响 红外补光灯简介 举例：1002运用的镜头和红外补光灯镜头的材质 镜头的成像质量主要是由于材质、加工精度和镜片构造的不同等要素呵斥的。镜头材质有许多种，包括萤石、ED玻璃、玻璃、塑料等。普通消费等级的数码产品应该很少有用到萤石，ED玻璃或玻璃就很够用了，而我们最常用的是塑料。镜头根本概念重要光学参数EFL EFLEffective Foca

2、l Length 有效焦距，简称焦距 指像方主点到焦点的间隔。摄像机镜头是视频监视系统的最关键设备，它的质量目的优劣直接影响摄像机的整机目的，因此，摄像机镜头的选择能否恰当既关系到系统质量，又关系到工程造价。镜头相当于人眼的晶状体，假设没有晶状体，人眼看不到任何物体；假设没有镜头，那么摄像头所输出的图像就是白茫茫的一片，没有明晰的图像输出，这与我们家用摄像机和照相机的原理是一致的。当人眼的肌肉无法将晶状体拉伸至正常位置时，也就是人们常说的近视眼，眼前的景物就变得模糊不清；摄像头与镜头的配合也有类似景象，当图像变得不清楚时，可以调整摄像头的后焦点，改动sensor与镜头基准面的间隔相当于调整人眼

3、晶状体的位置，可以将模糊的图像变得明晰。镜头根本概念重要光学参数FOV FOV-Field Of View/View Angle视场角 指物方空间可以成像的角度范围普通照相物镜为60度左右镜头根本概念重要光学参数CRA1 CRAChief Ray Angle主光角 光线经过光学系统射到 Image Sensor 时，主光线的入射角称为主光角。普通 Image Sensor 的有效画面末端Maximum Image Height的CRA比较重要。CRA miss match 会呵斥 dark corner主要以及 color non-uniformity镜头根本概念重要光学参数CRA2CRA不匹

4、配呵斥dark corner图例镜头根本概念重要光学参数FNO1 FNOF数/F#光圈数 F1/相对孔径 FNO决议受衍射限制的最高分辨率 FNO决议像面照度 为了控制经过镜头的光通量大小，在镜头的后部均设置了光圈。假定光圈的有效孔径为d，由于光线折射的关系，镜光实践有效的有效孔径为D，比d 大，D与焦距f 之比定义为相对孔径A，即A=D/f，镜头的相对孔径决议被摄像的照度，像的照度与镜头的相对孔径的倒数来表示镜头光圈的大小。F 值越小，光圈越大，到达sensor的光通量就越大。所以在焦距f 一样的情况下，F 值越小，表示镜头越好。镜头的通光量以镜头的焦距和通光孔径的比值来衡量，以F为标志，每

5、个镜头上均标有其最大的F值，通光量与F值的平方成反比关系，F值越小，那么光圈越大。镜头根本概念重要光学参数FNO2 不同F值的光圈例如 在曝光时间一样情况下，F越大，像面照度越低，照度与F的平方成反比镜头根本概念重要光学参数MTF1 MTFModulation Transfer Function调制传送函数 表征lens的成像质量的重要目的，MTF越大成像质量越好，图像越明晰。MTF随空间频率增大而减小。MTF 曲线图 某空间频率下MTF与像质关系MTF Value像质0.1以下低劣0.10.3可分辨但像质差0.30.5一般0.50.8优良0.8以上卓越镜头根本概念重要光学参数MTF2一种MT

6、F test chart镜头根本概念畸变 Distortion畸变 不能正确的再现被摄物体的几何外形，往里凹或往外张开的景象称为 Distortion 畸变种类 畸变缘由 不同的视场，因放大率不同而产生畸变。畸变只改动物体的外形，但不影响分辨率。镜头根本概念防反射膜 AR Coating:Anti-Reflection Coating防反射膜 Coating 的作用主要是最小化空气和媒质间的折射率差别，最小化各方向的反射，使光的透过率更好的技术，要求至少在90%以上，普通在可见光范围内的波长的透过率为97%以上。假设Coating不当，会呵斥透过率较低，这样像面照度就会减小，图像也就更暗。日用

7、型、夜用型差别以及影响 在不需求红外光补助的监控环境中，运用普通的日用型镜头，这是由于普通的日用型镜头带有IR filter，会隔绝某些波长的红外光。在有红外光补助的监控环境中，需求运用红外镜头，红外镜头可以透过特定波长的红外光。由于镜头对不同波长光线的折射率不同，故聚焦点的位置会有所差别，而白天室内可见光的波长和夜晚补光灯翻开后的红外波长是不同的，这就是为什么白天调明晰了，夜视模糊，或者夜视调明晰了，白天模糊的缘由。我们运用的红外镜头在白天比较剧烈的阳光以下图像有偏色的景象也是由于遭到阳光中红外波段的干扰。红外LED补光灯简介 发射红外线控制的间隔与发射功率成正比。为了添加红外线的控制间隔，

8、红外发光二极管任务于脉冲形状，由于脉动光调制光的有效传送间隔与脉冲的峰值电流成正比，只需尽量提顶峰值Ip，就能添加红外光的发射间隔。提高Ip 的方法，是减小脉冲占空比，即紧缩脉冲的宽度，减小占空比可使小功率红外发光二极管的发射间隔大大添加。举例：1002运用的镜头举例：1002运用的红外LED0.2 9 9 0.5 8 7 0.1 1 40.1 7 0.3 3 0.50.50.4 2 0.0 8YRC bGC rB Sensor感光器件 目前V2、V3、V5采用的都是MI360 Array Format(4:3):640H x 480V(307,200 pixels)Pixel Size an

9、d Type:5.6 m x 5.6 m Color Filter Array:R,G and B primary color filters Optical Format:-inch Frame Rate:max 30 frames/sec Dynamic Range:45dB,max 60dB Power Consumption:65 mW at maximum data rate,2.8V Functional Temperature:-30 to+70图像处置技术 颜色模型 对比度 锐度 噪声抑制 运动检测颜色模型RGB 常用的颜色模型有三种，分别是RGB、YUV、HSV模型。RGB模

10、型 RGB是Red、Green和Blue的缩写，恣意颜色都可以由红、绿、蓝这三种颜色不同比例混合后产生。这个模型主要用于电子显示屏的颜色显示。RGB模型通常用三个八位或十六进制数来表示颜色，100%的红色、100%的绿色和100%蓝色混合，产生白色；0%的红色、0%的绿色和0%蓝色混合，产生黑色。RGB是一个加色模型。光源的亮度、色度、纯度混合在R、G、B三个参数中。光源的亮度(lightless)L就应该表示为：L=a*R+b*G+c*R 这里的系数a,b,c详细的值依赖于显示器所采用的规范，以NTSC视频信号规范，那么三个系数依次为：0.299、0.587、0.144颜色模型YUVYUV颜

11、色模型是仅次于RGB模型的运用最广泛的颜色模型。现实上YUV只是一类颜色模型(YCrCb)的总称，它是个很大的家族，具有相当多的存储格式，普通来说凡是基于YCrCb颜色模型的都可以称的上是YUV。Y代表了光源的亮度，色度信息也是组合在Cr、Cb中，其中Cr代表了光源中的红色分量，Cr代表了光源中的蓝色分量，因此它的变换公式是这样的：人眼对于亮度的敏感程度大于对于色度的敏感程度，所以完全可以让相临的像素运用同一个色度值，而人眼的觉得不会起太大的变化，经过损失色度信息来到达节省存储空间的目的，这就是YUV的根本思想。基于此，我们可以定义出许多YUV的格式，例如相临两个像素运用一个色度值的YUYV，

12、JPEG/MPEG中相临四个像素运用一个色度值的YUV420等等。颜色模型HSV1 H指的是Hue颜色，它是“颜色的同义词。S指的是Saturation饱和度，它指的是颜色的纯度，即颜色中含有灰色gray的程度。饱和度越高，颜色越纯；饱和度越低，颜色中灰色成分越大。任何颜色，饱和度变成最小值时，都会变成灰色。V指的是Value，即颜色中白色的成分。这个值越大，颜色就越白越亮，这个值最小，颜色就越黑越暗。最大值时，一切颜色都变成白色，最小值时，一切颜色都变成黑色。颜色模型HSV2 HSV模型是经过调理这三个值来标识颜色。它通常是一个color wheel的方式，一切边缘的颜色都是饱和度最高的颜色

13、，越向圆心饱和度越小。Hue经过角度值选取，另有一个亮度轴，来选取Value值。HSV模型上图，从左往右，自上而下的顺序，每副图是上一副图Hue旋转60度而得对比度是黑与白的比值，也就是从黑到白的渐变层次。比值越大，从黑到白的渐变层次就越多，从而颜色表现越丰富。对比度对视觉效果的影响非常关键，普通来说对比度越大，图像越明晰醒目，颜色也越鲜明艳丽；而对比度小，那么会让整个画面都灰蒙蒙的。高对比度对于图像的明晰度、细节表现、灰度层次表现都有很大协助。相对而言，在颜色层次方面，高对比度对图像的影响并不明显。对比度对于动态视频显示效果影响要更大一些，由于动态图像中明暗转换比较快，对比度越高，人的眼睛越

14、容易分辨出这样的转换过程。加强对比度往往经过添加图像中某两个灰度值之间的动态范围来实现。常用的对比度加强方法：灰度变换 直方图调整对比度实例锐度 目的为了加强被模糊的细节；消除或减弱傅立叶空间的低频分量，坚持图像中的高频分量。由于图像中，低频分量对应图像中灰度值变化比较缓慢的区域，高频分量对应区域边缘等灰度值具有较大较快变化的部分。常用线形锐化滤波器实现，滤波器中心系数为正周围系数为负。锐度实例1锐度实例2噪声抑制 噪声模型 噪声普通是高频分量 帧内去噪 空间域低通滤波 帧间去噪 空间域+时间域低通滤波V3中的运动检测 从视频码流中提取有用信息进展检测，并实时捕获当前帧画面 检测灵敏度分5级，

15、以应对室内外各种不同环境 经过调理灵敏度，可以控制虚警情况的发生 光照不太理想的黑暗环境下，由于噪声较大，会导致虚警发生 假设运动过于缓慢，运动信息不够强，会呵斥漏报 与大华终端对比测试(正在进展)：环境较暗时白天实验室关灯，V3还能正常判别，大华无反响 胳膊伸展运动，V3可以检测，大华无法检测 假设天黑以后，V3会不停报虚警，大华无反响 假设只露一个人头在动，V3无法检测，大华可以检测图像、视频紧缩技术 JPEG and Motion JPEG MPEG-4 H.264JPEG and Motion JPEG 国际规范化组织于1986年成立了JPEG(Joint Photographic E

16、xpert Group)结合图片专家小组，主要努力于制定延续颜色、多级灰度、静态图像的数字图像紧缩编码规范。JPEG是常用的基于离散余弦变换(DCT)的编码方法。图像分割成8x8的像素块作为根本处置单元；基于DCT的有损编码根本系统；用于高紧缩比、高准确度或渐进重建运用的扩展编码系统；对静止图像紧缩率可达25:1；MJPEGMotion JPEG紧缩技术，主要是基于静态视频紧缩开展起来的技术，它的主要特点是根本不思索视频流中不同帧之间的变化，只单独对某一帧进展紧缩。MPEG-4 为了顺应在窄带宽普通指384kbit/s通讯线路上对动态图像传输的要求，MPEG-4的制定初衷主要针对视频会议、可视

17、超低比特率紧缩384kbit/s的需求。MPEG-4利用了帧间图像的关联性，显著消减了帧间冗余信息，提高了紧缩率。H.264 H264集中了以往规范的优点，并吸收了以往规范制定中积累的阅历，采用简约设计，使它比MPEG-4更容易推行。H.264发明了多参考帧、多块类型、整数变换、帧内预测等新的紧缩技术，运用了更精细的分象素运动矢量1/4、1/8和新一代的环路滤波器，使得紧缩性能大大提高，系统更加完善。H.264主要有以下几大优点：高效紧缩：与H.263+和MPEG-4 SP相比，减小50%比特率；延时约束方面有很好的柔韧性；容错才干；编/解码的复杂性可伸缩性；解码全部细节：没有不匹配；高质量运

18、用；网络友善。监控行业中常用分辨率目前监控行业中主要运用以下分辨率：SQCIF128x96、QCIF176x144、CIF352x288、4CIF704x576、2CIF704x288，D1720 x576、half-D1 720 x288。SQCIF和QCIF的优点是存储量低，可以在窄带中运用，运用这种分辨率的产品价钱低廉；缺陷是图像质量往往很差、不被用户所接受。CIF是目前监控行业的主流分辨率，它的优点是存储量较低，能在普通宽带网络中传输，价钱也相对低廉，它的图像质量较好，被大部分用户所接受。缺陷是图像质量不能满足高明晰的要求。4CIF是标清分辨率，它的优点是图像明晰。缺陷是存储量高，网络

19、传输带宽要求很高，价钱也较高。2CIF704x288已被部分产品采用，用来处理CIF明晰度不够高和4CIF存储量高、价钱高昂的缺陷。但由于704x288只是程度分辨率的提升，图像质量提高不是特别明显。D1与4CIF类似，但是图像多了16列，主要是源于模拟电视PAL制式。图像质量评测方法 静态分辨率测试 颜色复原性测试 最低照度测试 视频流畅度测试静态分辨率测试1分辨率指摄像机摄取等间隔陈列的黑白相间条纹时，在监视器上人眼可以看到的最大线数，当超越这一线数时，屏幕上就只能看到灰蒙蒙的一片而不能再分辨出黑白相间的线条。测试照明条件：光源色温为3100100k，照度为2000100lux；将规范分辨

20、率图正放，将测试图的程度和垂直边框标志充溢摄像头拍摄区域，设置视频紧缩分辨率为QVGA/CIF或者VGA/D1，在以下3种设置下进展测试：a)画面质量设置为最高，网络带宽占用设置为不受限制；b)网络带宽限制为1024k；c)网络带宽限制为384k；测试目的：在384k网络带宽限制下，运用QVGA或者CIF分辨率进展视频紧缩和传输时，程度分辨率应该到达200线以上。在384k网络带宽限制下，运用VGA或者D1分辨率进展视频紧缩和传输时，程度分辨率应该到达350线以上。静态分辨率测试2 在PC上经过客户端或者在IE窗口中显示解码画面，经过目测方式记录程度分辨率。例如，下面两个图中，右图取自某摄像头

21、拍的分辨率板，可以看到，其程度分辨率大约为200线，超越200线的黑白条纹都无法分辨出来。颜色复原性测试 颜色复原才干是指监控系统终端摄像头准确表示和记录景物中的各种颜色的才干。在D65光源下，将GretagMacbeth ColorChecker图正放，设置摄像头画面尺寸为VGA/D1，并使ColorChecker根本充溢整画面。设置帧率为25fps，画面质量设置为最高，网络带宽占用设置为不受限制。在解码端保管单张图象为JPEG格式。利用Imatest.exe软件，对所保管的JPEG图象进展分析。最低照度测试对于有模拟视频输出的摄像机，最低照度指模拟视频输出信号幅度降低到350mV时的环境照

22、度。对于没有模拟视频输出的摄像机，最低照度定义为视频分辨率降低为100线的环境照度。对于有模拟视频输出的摄像机，在暗室中测试，将摄像机对准灰度测试卡，调低室内的光亮度，直至摄像机输出的视频信号在示波器上的辐度降至350mv，再用测光表丈量测试卡外表的照度值，计算出最低照度。对于没有模拟视频输出的摄像机，在暗室中测试，将摄像机对准分辨率测试图，分别设置视频紧缩分辨率为QVGA/CIF或者VGA/D1，在以下3种设置下进展分辨率测试：a)画面质量设置为最高，网络带宽占用设置为不受限制；b)网络带宽限制为1024k；c)网络带宽限制为384k；逐渐伐低室内的光亮度，直至解码端看到的画面分辨率下降为100线 时，再用测光表丈量测试卡外表的照度值，计算出最低照度。视频流畅度测试 测试视频画面的停顿，拖影，马赛克等性能目的。测试视频画面的停顿，在PC上启动电子秒表，使其处于摄像头拍摄画面中，使两个秒表图像同时出如今显示屏中，察看解码端的各帧视频画面中，秒表数字能否均匀添加。假设视频画面出现停顿，那么解码端延续某两帧画面中秒表读数会出现较大腾跃。Q&AThanks