数字视频处理 课件

《数字视频处理 课件》由会员分享，可在线阅读，更多相关《数字视频处理 课件（90页珍藏版）》请在装配图网上搜索。

1、2.3 2.3 模拟视频信号模拟视频信号n 电视信号是视频处理的重要信息源n 电视信号的标准也称为电视的制式n 目前各国的电视制式不尽相同，不同制式之间的主要区别在于不同的刷新频率、彩色编码系统和传送频率等等n 目前世界上常用的电视制式有中国大陆、欧洲等地使用的PAL制式以及美国、日本等地使用的NTSC制式等电视信号电视信号n 电视摄像机的作用就是将视频图像转换为电信号n 任何时刻，电信号只有1个值，即是一维的n 但视频图像通常是二维的，将二维视频图像转换为一维电信号是通过光栅扫描实现的（指在一定的时间间隔内电子束以从左到右、从上到下的方式扫描荧光屏）隔行扫描隔行扫描(Interlaced S

2、can)n 在隔行扫描方式中，电子束扫完第1行后从第3行开始扫，接着扫第5行，7行，一直扫到最后一行n 奇数行扫完后以同样的方式扫描偶数行，这样就完成了一帧的扫描n 在隔行扫描中，无论是摄像机还是显示器，获取或显示一幅图像都要扫描两遍才得到一帧完整的图像隔行扫描隔行扫描场场（Field）n 每一遍隔行扫描行的集合称为场，因此，一帧（Frame）由两个场组成，顶场（奇数行）信号和底场（偶数行）信号隔行扫描的由来隔行扫描的由来n 众所周知，帧率只要高于一定标准，就达到流畅n 考虑到交流电频率50或60Hz，电视标准制订者确定了25或30fps的帧率n 如果电视机采用逐行扫描，每秒扫描25或30帧行

3、不行呢？n 理论上可以，但实际不行隔行扫描的由来隔行扫描的由来n 原因在于，在电子束的照射下，CRT的荧光粉会立即发光，但只要电子束一离开，几乎瞬间就会暗下来n 人眼虽然看不到这么明显的变化，但仍然会有亮度衰减的感觉n 可以想象，如果采用30fps扫描方式显示，当电子束从屏幕的上半部分移到下半部时，屏幕上半部分的亮度就有了可以观察到的衰减，于是画面下半部分显得更亮隔行扫描的由来隔行扫描的由来n 为了解决这个问题，最佳的办法是加倍刷新率，改成60fps扫描，因为在60分之一秒内，人眼能感觉到的亮度衰减就很小了n 可是这样做，单位时间内扫描的总行数会加倍，那么水平扫描的速度就要加快。如此一来技术要

4、求就会过高，以当时的条件做不到隔行扫描的由来隔行扫描的由来n 于是标准制订者想到了一个折衷的办法，先花60分之一秒扫描奇数行(顶场)，然后再用后60分之一秒扫描偶数行(底场)，两者互补成完整的画面n 虽然扫描底场时，顶场的亮度衰减了，但是由于亮暗的部分交织在一起，反而不易察觉Interlace artifacts（交错缺陷）（交错缺陷）n An interlaced camera captures 60(or 50)unique fields per second.If a scene contains an object in motion with respect to the camer

5、a,each field carries half the objects spatial information,but information in the second field will be displaced according to the objects motion.Interlace artifactsn Consider the test scene sketched in the figure,comprising a black background partially occluded by a white disk that is in motion with

6、respect to the camera.Interlace artifactsn The first and second fields imaged from this scene are illustrated respectively.(The example neglects capture blur owing to motion during the exposure.)The image in the second field is delayed with respect to the first by half the frame time(that is,by 160

7、s or 150 s);by the time the second field is imaged,the object has moved.Interlace artifactsn Upon interlaced display,the time sequence of interlaced fields is maintained:No temporal or spatial artifacts are introduced.However,in the presence of motion,simply stitching two fields into a single frame

8、produces spatial artifacts such as that sketched in the figure.Techniques to avoid such artifacts is deinterlacing.逐行扫描逐行扫描(Progressive Scan)n 发展到液晶、等离子等显示设备后，因为所的点都是同时发光，且光度始终固定，不存在CRT遇到的相关问题，所以逐行扫描开始大范围应用逐行扫描逐行扫描n 在逐行扫描方式中，电子束从显示屏的左上角一行接一行地扫到右下角，在显示屏上扫一遍就显示一幅完整的图像n 液晶和等离子电视、电脑显示器扫描方式对比扫描方式对比n 逐行扫描

9、优点：图像垂直清晰度高，空间处理效果好，有利于电视转换和制式转换，能改善视频压缩效率等；其缺点是：数码率高，行扫描频率增高，硬件难度加大n 隔行扫描能节省带宽，且硬件实现简单NTSCNTSC制式制式n NTSC(National Television Standard Committe)是美国国家电视系统委员会在1953年制定的一种彩色电视制式，是目前常用的电视制式，在美国、日本等地广为使用n 它定义了彩色电视机对于所接受的电视信号的接收方式、彩色的处理方式、屏幕的扫描频率等等NTSCNTSC制式制式n 指标：525行/帧，30帧/秒(fps)n 在每场的开始部分保留20条扫描线作为控制信息，

10、因此只有485条线的可视数据PALPAL制式制式n PAL(Phase Alternate Lock)是联邦德国1962年制定的一种彩色电视制式，我国大陆和大部分西欧国家都使用这种制式n 625行/帧，25帧/秒n 每帧有575行有图像显示电视制式兼容性电视制式兼容性n NTSC制和PAL制是互不兼容的电视制式n NTSC制和PAL制都是彩色和黑白兼容的制式，这里的“兼容”有两层意思：一是指黑白电视机能接收彩色电视信号，显示的是黑白图像 另一层意思是彩色电视机能接收黑白电视信号，显示的也是黑白图像，这叫逆兼容性彩色与黑白电视的兼容性彩色与黑白电视的兼容性n 必需采用相同的一些基本参数，如扫描方

11、式、扫描行频、场频、帧频、同步信号、图像载频、伴音载频等等n 需要将摄像机输出的三基色信号转换成一个亮度信号，以及代表色度的两个色度信号，并将它们组合成一个彩色全电视信号进行传送n 在接收端，彩色电视机将彩色全电视信号重新转换成三个基色信号，在显像管上重现发送端的彩色图像，黑白电视机只显示亮度信号电视制式兼容性电视制式兼容性n 也有全制式的电视机，这为处理和转换不同制式的电视信号提供了极大的方便n 全制式电视机可在各国各地区使用模拟视频信号类型（传输、接口）模拟视频信号类型（传输、接口）n 复合视频信号n S-Video视频信号n 分量视频信号复合视频信号复合视频信号(Composite Vi

12、deo)n 定义为包括亮度和色度的单路模拟信号，即从彩色全电视信号中分离出伴音后的视频信号，此时色度信号与亮度信号混合在一起n 由于复合视频信号的传输仍然是一种亮度色度混合的视频信号，仍然需要显示设备对其进行亮/色分离和色度分离才能成像，这种先混合再分离的过程会造成彩色信号的损失，色度信号和亮度信号也会有很大的机会相互干扰从而影响最终输出的视频复合视频信号接口复合视频信号接口n 又称为AV端子或Video端子S-Videon 分离视频信号S-Video(Separated Video)是亮度和色度分离的一种视频信号，用两路导线分别传输，并可以分别记录在模拟磁带的两路磁轨上n 这种信号不仅其亮度

13、和色度都具有较宽的带宽，而且由于亮度和色度分开传输，可以减少其互相干扰n 与复合视频信号相比，S-Video可以更好地重现色彩S-Videon S-Video信号使用单独的两条信号电缆线，一条用于亮度信号，另一条用于色度信号，这两个信号称为Y/C信号n S-Video使用4针连接器 S-Video分量视频信号分量视频信号n 分量视频信号(component video signal)是指每个分量（Y、U、V或Y、Cb、Cr）作为独立的视频信号n 使用分量视频信号是表示彩色的最好方法，但需要比较宽的带宽和同步信号n 分量信号实际上也是亮色分离的信号，与S-Video不同的是两个色度信号不用分离分

14、量视频信号分量视频信号2.4 2.4 视频数字化视频数字化n 要让计算机处理视频信息，首先要解决的是视频数字化的问题n 视频数字化是将模拟视频信号经模数转换转为计算机可处理的数字信号，计算机要对输入的模拟视频信息进行采样与量化，并经编码使其变成数字化视频数字化常用的方法数字化常用的方法n 1.从复合彩色电视中分离出各个分量信号，然后数字化，如录像带、摄像机等的电视信号n 对这类信号的数字化，通常的做法是首先把模拟的彩色电视信号分离成YCbCr等彩色空间中的分量信号，然后用三个A/D转换器分别对它们数字化 数字化常用的方法数字化常用的方法n 2.首先用一个高速A/D转换器对彩色电视信号进行数字化

15、，然后在数字域中进行分离，以获得所希望的YCbCr等分量数据视频采样频率视频采样频率n 按照ITU-R BT.601标准，亮度信号的采样频率为13.5MHzn 对PAL制，亮度采样频率62525N=15625N=13.5 MHz N=864，为每一扫描行上的采样数目n 对NTSC制，亮度采样频率52529.97N=15734N=13.5 MHz,N=858有效采样样本有效采样样本n 对PAL制的亮度信号，每一条扫描行采样864个样本n 对NTSC制的亮度信号，每一条扫描行采样858个样本n 对所有的制式，每一扫描行的有效样本数均为720个有效采样样本有效采样样本采样格式采样格式n 两种采样方法

16、：一种是使用相同的采样频率对图像的亮度信号和色度信号进行采样 另一种是对亮度信号和色度信号分别采用不同的采样频率进行采样n 如果对色度信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为子采样(Subsampling)子采样的压缩特性子采样的压缩特性n 人眼对色度信号的敏感程度比对亮度信号的敏感程度低，利用这个特性可以把图像中表达色度的信号去掉一些而使人不察觉n 所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量n 子采样也就是利用人的视觉系统这个特性来达到压缩彩色电视信号的目的采样格式采样格式n 4:4:4 这种采样格式不是子采样格式，它是指在每条扫描线上每4

17、个连续的采样点取4个亮度Y样本、4个Cr色度样本和4个Cb色度样本，这就相当于每个像素用3个样本表示子采样格式子采样格式n 4:2:2 这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、2个Cr色度样本和2个Cb色度样本，平均每个像素用2个样本表示子采样格式子采样格式n 4:1:1 这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、1个Cr色度样本和1个Cb色度样本，平均每个像素用1.5个样本表示 子采样格式子采样格式n 4:2:0 这种子采样格式是指在水平和垂直方向上每2个连续的采样点上取2个亮度Y样本、1个Cr色度样本和1个Cb色度样本，平均每个像素用1

18、.5个样本表示子采样格式子采样格式n ITU-R BT.601标准使用了4:2:2采样结构n 亮度信号的采样频率为13.5MHz，色度信号为6.75MHz不同采样格式与频率不同采样格式与频率采样格式采样格式信号形式信号形式采样频率采样频率样本数样本数/扫描行扫描行(MHz)NTSCPAL4:2:2Y13.5858(720)864(720)Cr6.75429(360)432(360)Cb6.75429(360)432(360)4:4:4Y13.5858(720)864(720)Cr13.5858(720)864(720)Cb13.5858(720)864(720)标准化分辨率格式标准化分辨率格式

19、n 公用中分辨率格式CIF（Common Intermediate Format）格式具有如下特性：分辨率352288 使用非隔行扫描(non-interlaced scan)使用1/2的PAL水平分辨率，即288线n 1/4公用中分辨率格式QCIF（Quarter-CIF）和SQCIF格式（Sub-Quarter Common Intermediate Format）标准化分辨率格式（标准化分辨率格式（4:2:04:2:0）CIF CIF QCIFQCIFSQCIFSQCIF行数行数/帧帧像素像素/行行行数行数/帧帧像素像素/行行行数行数/帧帧像素像素/行行亮度亮度(Y)(Y)2882883

20、523521441441761769696128128色度色度(Cb)(Cb)1441441761767272888848486464色度色度(Cr)(Cr)1441441761767272888848486464标准化分辨率格式标准化分辨率格式n 类似的格式定义还有4CIF（4CIF，704576或720576），都是以CIF格式为基准进行定义n 如果是NTSC制，则各种格式的288的倍数相应改为240的倍数标准化分辨率格式标准化分辨率格式n The choice of frame resolution depends on the application and available sto

21、rage or transmission capacity.For example,4CIF is appropriate for standard-definition television and DVD-video;CIF and QCIF are popular for videoconferencing applications;QCIF or SQCIF are appropriate for mobile multimedia applications where the display resolution and the bitrate are limited.标准化分辨率格

22、式标准化分辨率格式宽高比宽高比(Aspect ratio)n 指视频图像的宽度和高度之间的比例n 传统影视的宽高比是 4:3，宽屏幕电影的宽高比是 1.85:1，高清晰度电视是 16:9，全景式电影是 2.35:1高清电视高清电视n 高清晰度电视(High Definition Television)是具有正常视力的观众可得到与观看原始景物时的感受几乎相同的数字电视n HDTV屏幕的宽高比均为16：9n 电视画面可用19201080像素和1280720像素两种尺寸n 扫描方式为逐行扫描或隔行扫描HDTVHDTV格式格式n 720p格式：1280720，水平720线，逐行扫描，720p30fps

23、，720p60fpsn 1080i格式：19201080，水平1080线，隔行扫描，1080i60fps(每秒60场)n 1080p格式：19201080，水平1080线，逐行扫描，1080p30fps，1080p60fps超高清电视超高清电视UHDTVUHDTVn Ultra-high-Definition Television超高清电视超高清电视UHDTVUHDTV标清电视标清电视n 标准清晰度电视（Standard Definition Television，SDTV）是指电视图像的质量比HDTV制数字电视质量低的电视，分辨率相当于PAL制或NTSC制模拟电视的最好分辨率n 720576

24、n 720480标准化分辨率格式（计算机）标准化分辨率格式（计算机）n VGA=Video Graphics Array 640*480n SVGA=Super Video Graphics Array 800*600n XGA=Extended Graphics Array 1024*768n SXGA=Super Extended Graphics Array 1280*1024n SXGA+=1400*1050n UXGA=Ultra Extended Graphics Array 1600*1200信号量化信号量化n 采样后所得到的模拟信号在时间-空间上是离散的，但在幅度上仍然是连续的

25、n 量化：将无限级的信号幅度变换成有限级的数码表示n 量化器：按照一定规则对采样信号的幅度值作近似表示，变成有限离散值均匀量化均匀量化n 对于均匀量化一般量化值都用二进制来表示，如果用B个二进制表示量化值，即量化字长，那么一般将幅度值划分为2B个等分区间111-4-4 -3 -3 -2 -2 -100101110011010001000-1/2-1/2-3/2-3/2-5/2-5/2-7/2-7/2 7/2 7/2 5/2 5/2 3/2 3/2 1/2 1/2 2 2 3 3 4 4信号量化信号量化n 在时间轴的任意一点上量化后的信号电平与原模拟信号电平之间在大多数情况下总是存在有一定的误差

26、，量化所引入的误差是不可避免的同时也是不可逆的n 由于信号的随机性这种误差大小也是随机的，这种表现类似于随机噪声效果，具有相当宽度的频谱，因此我们又把量化误差称为量化噪声信号量化信号量化n 如果视频信号量化比特率为8比特，信号就有256个量化值n 若最大信号正好用足8比特的话，小于1/256最大值的信号就只能当0处理了n 而且每两个相邻数字的差距也必需大于1/256最大值才能分得开，当两个原来不同的数值用同一个二进制值来表示时，实际数值与记录数值之差就成为量化噪声信号量化信号量化n 所以，量化比特率已决定了整个系统的理想状态下的最小噪声、动态范围和信噪比，模拟信号在理想状态是没有这种限制的非均

27、匀量化非均匀量化n 基于人的视觉特性，对于人眼不敏感的部分不需要进行过细的分层，只需进行粗量 化n 而对人眼敏感的部分，就需要进行较细的分层，即需进行细量化2.5 2.5 数字视频的采集数字视频的采集n 2.5.1 视频采集卡n 2.5.2 数字摄像机n 2.5.3 摄像头2.5.1 2.5.1 视频采集卡系统视频采集卡系统n 从模拟设备中获取数字视频：首先是提供模拟视频输出的设备；然后是可以对模拟视频信号进行采集的设备；最后，是接收和记录编码后的数字视频数据的设备视频采集卡系统视频采集卡系统n 提供模拟视频输出的设备有录像机、摄像机、电视机等n 对模拟视频信号进行采集、量化和编码的设备由视频

28、采集卡来完成n 最后，由计算机接收和记录编码后的数字视频数据视频采集卡视频采集卡(Video capture card)n 在这一过程中起主要作用的是视频采集卡，它不仅提供接口以连接模拟视频设备和计算机，而且具有把模拟信号转换成数字信号的功能视频采集卡视频采集卡n 视频采集卡是安装在计算机扩展槽上的一个板卡n 它可以汇集多种视频源的信息，对被捕捉和采集到的模拟视频进行数字化、冻结、存储、输出及其他处理操作，如编辑、修整、裁剪、按比例绘制、像素显示调整、缩放、压缩等视频采集卡工作原理图视频采集卡工作原理图视频采集卡的接口视频采集卡的接口n 视频采集卡的接口包括与模拟视频设备的接口、与PC的接口n

29、 可接收来自摄像机、录像机、VCD机等多种视频信号，通过软件可选择所需的视频源n 目前PC视频采集卡通常采用32位的PCI总线接口，插到PC主板的扩展槽中，以实现采集卡与PC的通信与数据传输视频采集卡的接口视频采集卡的接口n 视频采集卡至少要具有一个复合视频接口（Video In），以便与模拟视频设备相连n 高性能的采集卡一般具有一个复合视频接口和一个S-Video接口；一般的采集卡都支持PAL和NTSC两种电视制式视频采集卡的实时采集处理视频采集卡的实时采集处理n 由于模拟视频输入端可以提供不间断的信息源，视频采集卡要采集模拟视频序列中的每帧图像，并在采集下一帧图像之前把这些数据传入PC系统

30、n 因此，实现实时采集的关键是每一帧需要多少处理时间n 如果每帧视频图像的处理时间超过相邻两帧之间的相隔时间，则会出现数据的丢失，即丢帧现象视频采集卡的压缩功能视频采集卡的压缩功能n 视频采集卡可以把获取的视频序列进行压缩处理n 也就是说，视频序列的获取和压缩是在一起完成的，免除了再次进行压缩处理的不便n 不同档次的采集卡具有不同质量的采集压缩性能视频采集卡的驱动和应用程序视频采集卡的驱动和应用程序n 视频采集卡一般都配有硬件驱动程序以实现PC对视频采集卡的控制和数据通信n 根据不同的视频采集卡所要求的操作系统环境，各有不同的驱动程序n 只有把采集卡插入了PC的主板扩展槽并正确安装了驱动程序以

31、后才能正常工作外置式与内置式外置式与内置式n 外置式的USB接口视频采集卡和内置式的PCI接口视频采集卡n 内置式的优势：首先，价格要比外置的便宜很多 其次，它不会占用外部的桌面空间，现在在电脑桌上有太多的外设，如果摆放的过多也是件比较烦人的事情外置式与内置式外置式与内置式 其三，内置视频卡不需外接电源，不仅省去了一个电源插头的位置，也减少了电源连接线过多而显得十分杂乱的情况，而且还可以避免因市电电压不稳而带来的视频质量下降的情况发生外置式与内置式外置式与内置式n 内置式视频卡弱点：易受到电脑内部元器件的电磁干扰，引起其播放质量下降 在板卡安装时要比外置的麻烦一些，必须要拆开机箱才可以进行安装

32、 在安装驱动或软件时也容易和其他电脑设备发生冲突2.5.2 2.5.2 数字摄像机数字摄像机n 数字摄像机就是DV、Digital Videon 数码摄像机进行工作的基本原理简单说就是光-电-数字信号的转变与传输n 通过感光元件将光信号转变成电流，再将模拟电信号转变成数字信号，并由专门的芯片进行处理和过滤后得到的视频信息数字摄像机数字摄像机n 数字摄像机的图像传感器件能把光线转变成电荷，通过模数转换器（ADC）芯片转换成数字信号，主要有两种：一种是广泛使用的CCD（Charge-coupled Device，电荷藕合器件）；另一种是CMOS（Complementary Metal Oxide

33、Semiconductor，互补金属氧化物半导体）n 按使用用途可分为：广播级机型、专业级机型、消费级机型；按存储介质可分为：光盘式、硬盘式、存储卡式按照使用用途分类按照使用用途分类 1、广播级机型 2、专业级机型 3、消费级机型 1、光盘式 2、硬盘式 3、存储卡式 按照存储介质分类按照存储介质分类图像传感器件图像传感器件n CCD电荷耦合器件、CMOS互补金属氧化物半导体 n CCD的优点是灵敏度高，噪音小，信噪比大，但是生产工艺复杂、成本高、功耗高n CMOS的优点是集成度高、功耗低（不到CCD的1/3）、成本低，但是噪音比较大、灵敏度较低、对光源要求高n 在相同像素下CCD的成像往往通

34、透性、明锐度都很好，色彩还原、曝光可以保证基本准确数字摄像机数字摄像机n 数字摄像机不仅能拍出不同效果的片段，还可以代替照相机拍照n 可以根据自己想要的拍摄效果场景模式，还有很多滤镜效果数字摄像机相对模拟摄像机的优势数字摄像机相对模拟摄像机的优势n 清晰度高：模拟摄像机记录模拟信号，所以视频分辨率不高n 无损复制：DV上记录的信号可以无数次地转录，视频质量丝毫也不会下降，这一点也是模拟摄像机所望尘莫及的n 体积小、重量轻：和模拟摄像机相比，DV机的体积大为减小，重量也大为减轻数字摄像机相对模拟摄像机的优势数字摄像机相对模拟摄像机的优势n 在摄像时，使用者通过DV的液晶显示屏观看要拍摄的视频，拍

35、摄后可以马上看到拍好的视频n DV可以与计算机连接，以读取DV中的内容，继而对这些内容进行后期处理，如编辑等，还可以刻成VCD或DVD保存起来n DV还可以与电视机连接，不仅能在电视机上读取DV带中的内容，还能录制电视节目数字摄像机与计算机的信息交换数字摄像机与计算机的信息交换n 数字摄像机以数字形式记录的视频信号，如能通过接口卡与PC相连接，将信号输入计算机硬盘，就可方便地进行摄像后编辑和多种特技处理2.5.3 2.5.3 摄像头摄像头n 摄像头（Camera）利用光电技术采集影像，然后通过内部电路转换成能够被计算机所处理的数字信号，它作为一种视频输入设备，被广泛的运用于视频会议、远程医疗及

36、实时监控等方面摄像头摄像头n 近年以来，随着互联网技术的发展，网络速度的不断提高，再加上感光成像器件技术的成熟并大量用于摄像头的制造上，这使得它的价格降到普通人可以承受的水平，普通的人也可以彼此通过摄像头在网络进行有影像的交谈和沟通n 人们更倾向于把摄像头看成是一种网络设备，称之为“网络眼”（Web Eye）摄像头分类摄像头分类n 摄像头分为数字摄像头和模拟摄像头n 模拟摄像头捕捉到的视频信号必须转换成数字模式n 数字摄像头可以直接捕捉视频，然后通过USB接口等传到计算机里n 现在电脑市场上的摄像头基本以数字摄像头为主摄像头摄像头数字摄像头工作过程数字摄像头工作过程n 景物通过镜头生成的光学图像投射到图像传感器表面上，然后转为电信号，经过A/D（模数转换）转换后变为数字图像信号，再送到数字信号处理芯片（DSP）中加工处理，再通过USB接口传输到电脑中处理n 一般根据所用图像传感器件的不同有CCD和CMOS两类之分