第五章数字视频基本概念

《第五章数字视频基本概念》由会员分享，可在线阅读，更多相关《第五章数字视频基本概念（71页珍藏版）》请在装配图网上搜索。

1、第五章 数字视频基本概念Slide 1内容1.模拟视频2.数字视频3.计算机合成视频(计算机动画)一、模拟视频Slide 3什么是视频?视频(video)：随时间变化其内容的一组图象(24,25,30帧/秒)，又叫运动图象或活动图象(motion picture)。常见视频信号：电视，电影，动画等.视频信号的特点：内容随时间而变化,伴随有与画面动作同步的声音(伴音),人类接受的信息70%来自视觉,其中活动图象是信息量最丰富、直观、生动、具体的一种承载信息的媒体。视频信息的处理是多媒体技术的核心。Slide 4电 视3种彩色电视制式:NTSC制(正交平衡调幅制),美国、加拿大，台湾、日本、韩国、

2、菲律宾等采用 PAL制(逐行倒相正交平衡调幅制),德国、英国，中国、朝鲜等采用 SECAM制(顺序传送彩色与存储制),法国、苏联及东欧国家采用.Slide 5电视图象摄取、传输和重现的过程 拍摄图像和播放图像都采用“光栅扫描”(raster scan)的原理。摄象机摄取景物时，把自然景物的颜色分解为R,G,B 三个分量在彩电信号传输中，用Y,C1,C2分别表示亮度信号和两个色差信号，C1,C2的含义与彩电的制式有关。电视接收机把Y,C1,C2信号重新转换为R,G,B进行显示.Slide 6视频信号tWhite(0.714V)Black(0.055V)Blank(0.V)Sync(-0.286V

3、)Slide 7光栅扫描(raster scan)隔行扫描(interlaced,电视图象采用)奇数场偶数场1帧图像逐行扫描(progressive,计算机显示图象时采用)Slide 8Slide 9625视频信号的空间特性575(PAL)485525(NTSC)vertical resolutionaspect ratio(4:3 or 16:9)Slide 10视频信号的时间特性动作连贯性感觉的要求：帧频=15f/s；无闪烁感觉的要求：画面刷新速率必须=每秒50次。PAL制式：帧频为25 帧/s,场频50场/s；NTSC制式：帧频是30 帧/s,场频是60场/s电视扫描信号的行频：PAL：

4、625 x 25=15.625 kHz，周期为64s;NTSC：525 x 30=15.75 kHz，周期为63.5sSlide 11575625(4/3)*575视频信号的时间特性模拟信号传输电视节目时的带宽：PAL制式是8.0MHz（亮度信号为5.5 MHz，2个色度信号均为1.8 MHz），NTSC制式是6.0MHz（亮度信号为4.2 MHz，2个色度信号均为1.0 MHz）。全屏光点总数:575*(4/3)*575=440 kb(P)484*(4/3)*484=310 kb(N)视频信号最高频率:440 k*25/2=5.5MHz(P)310 k*30/2=4.65MHz(N)Slid

5、e 12电视信号的彩色空间在彩色电视中，用Y、C1,C2彩色表示法分别表示亮度信号（Luminance或Luma）和两个色度信号（Chrominance或Chroma）。C1，C2的含义与具体的电视制式有关:电视制式 C1的含义 C2的含义NTSC I QPAL U VCCIR601数字电视 Cr CbSlide 13电视信号的彩色空间 YUV空间(PAL)亮度分量 Y=0.3*R+0.59*G+0.11*B色度分量 U=(B-Y)*0.493色度分量 V=(R-Y)*0.877 YIQ空间(NTSC)亮度分量 Y=0.3*R+0.59*G+0.11*B色度分量 I=0.6*R-0.28*G-

6、0.32*B色度分量 Q=0.21*R-0.52*G+0.31*B (优点：与黑白电视兼容；有利于压缩信号带宽)Slide 14Slide 15电视信号的彩色空间YCbCr是国际通用的CCIR601数字电视信号中使用的彩色空间，它由YUV彩色空间经过缩放和平移得到。Y值的额定范围在16-235之间，Cr和Cb在16-240之间，具体的转换公式如下：Y=(77/256)*R+(150/256)*G+(29/256)*B Cr=(131/256)*R-(110/256)*G-21/256)*B+128 Cb=-(44/256)*R-(87/256)*G+(131/256)*B+128视频信号种类S

7、lide 17（1）复合电视信号复合电视信号(composite video signal)：由亮度、色度信号及同步信号复合而成的单一信号，也称为全电视信号.复合电视信号 适合于进行远距传输，其质量称为VHS（家用级)。彩色空间转换 RGB=YUV 图象信号编码信号复合RGBYUVCVBSV SyncH Sync复合电视信号 （模拟电视信号的编码）Slide 18Slide 190.0 1.25 4.83 5.75 6.0 NTSC复合电视信号的调制为便于电视信号远距传输，必须把三个分量信号以及同步信号复合成一个信号，然后才进行传输。CVBS=Y+I*Cos(Fsc*t)+Q*Sin(Fsc*

8、t)伴音信号与视频信号也复合在一起传输。6 MHz(NTSC)图象载波声音载波色度副载波音频6MHz4.2MHzSlide 20Slide 21Slide 22Slide 23（2）分量电视信号 为保证视频信号质量，近距离时可用分量视频信号(component video signal)传输,分量信号是指每个基色分量(R,G,B 或 Y,U,V)作为独立的电视信号传输。(Betacam，广播级或专业级).视频节目制作时使用的是分量视频信号 计算机输出的视频信号，是分量形式的视频信号。Slide 24（3）S-Video信号 S-Video是亮度(包含同步信号)和色度(2个色度信号复合在一起)互

9、相分离的一种电视信号，优点：减少亮度信号和色度信号之间的交叉干扰；不需要使用梳状滤波器来分离亮度信号和色度信号，这样可提高亮度信号的带宽。信号电平=1V 阻抗=75 ohms 信号电平=0.3V 阻抗=75 ohms S-Video使用单独的两条信号线分别传输亮度信号和色度信号，这两个信号称为Y/C信号。S-Video使用4针连接器Slide 25视频信号接口Slide 26视频信号接口二、数字视频Slide 28为什么使用数字视频？易于编辑、修改等操作处理 用户接收的图像质量更好(可达演播室水平)有利于存储，信息复制不会失真 有利于传输(抗干扰能力强)节省频率资源(占用频道较窄)可以通过公共

10、电信网和计算机网传输 可以与其它媒体组合使用 可以生成描述信息（bits about bits）,便于信息的检索和使用Slide 292 视频信号的数字化视频信号数字化过程:(8-10 bits)滤波取样量化PCM编码数字视频信息模拟视频信号VUYUVY亮度信号的取样频率:13.5MHzU,V色度信号的取样方式有多种不同格式Slide 30亮度信号的取样（CCIR601）ITU-R BT.601标准(CCIR601,美国称为D1标准)，对3种制式电视的取样频率和有效分辨率都作了统一规定。每一行的像素数目:PAL:13.5MHz=62525N=15625N,N=864NTSC:13.5 MHz=

11、52530N=15734N,N=858 有效（可显示）像素 均统一为：720720 pel(有效取样样本)12/16 pel 132/122 pel水平扫描线(64us)蓝色为NTSC蓝色为NTSCSlide 31色度信号的取样（CCIR601）人对颜色的敏感程度远不如对亮度信号那么灵敏，所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量。色度信号的取样频率有4种:格式 取样频率 平均每个像素的样本数 4:4:4 同亮度信号取样频率 3样本/像素 4:2:2 亮度信号取样频率的一半 2样本/像素 4:1:1 亮度信号取样频率的1/4 1.5样本/像素 4:2:0 亮度信号

12、取样频率的一半,1.5样本/像素 但隔行处理Slide 32色度信号的4种取样格式4:2:2亮度信号色度信号4:4:44:2:04:1:1Slide 33 名称 亮度(Y)色度(Cb,Cr)(行数/帧)(像素/行)(行数/帧)(像素/行)取样格式CCIR601 576 720 576 360 4:2:2CIF 288 360 144 180 4:2:0QCIF 144 180 72 90 4:2:0SQCIF 96 128 48 64 4:2:0常用数字视频信号的规格(CCIR601 ITU-R 601)亮度的取值范围:16(黑)-235(白)色度的取值范围:16-240Slide 34数字视

13、频的记时当使用失落帧时间码时，系统对除了每十分钟以外的每分钟的头两帧重新赋给序号。Drop-frame timecode:00;02;51;20Non-drop-frame timecode:00:02:51:20为什么？如果计时基准为30fps：30fps60秒1800帧如果计时基准为29.97fps：29.97fps60秒1798.2帧对于一段1分钟的视频，30fps和29.97fps的视频帧数的差别为：1800-1798.21.8帧，或约为两帧Slide 353 常见数字视频格式Windows和Mac OS常用视频文件类型文件类型 缩略语来源于创建者文件信息和编码平台.movQuickT

14、imeMovieApple不仅有视频，还有纯音频QuickTime支持MIDI可以用QuickTime流传输服务器来进行文件流传输常用的编码包括：Animation、Sorenson Video、H.264、PlanarRGB和CinepakApple QuickTime播放器，Windows和Mac都支持.aviAudio VideoInterleave常用的编码包括：微软RLE、Intel Indeo Video和Cinepak主要在Windows上使用，但 A p p l e 的QuickTime播放器也可以播放AVI文件.rm可以有很高的压缩比允许根据网络连通速度来选择压缩级别可以用R

15、eal服务器进行流传输跨平台需要Real播放器.wmv主 要 在 W i n d o w s Media Player上播放.mpg.mpeg对于DVD视频，可以将文件输出为DVD MPEG-2格式跨平台.flv支持Web服务器的累进下载在Adob FlashMedia服务器的支持下，可以流传输该文件Sorenson SparkOn2 VP6：支持alpha通道，即视频可以有透明控制H.264跨平台需要Flash Player来播放SWF文件，该文件调用或自己包含有FLV文件Slide 36数字电视标准数字电视是用数据压缩技术和数字传输技术的远程通信系统。目前用的最多的是卫星数字电视、地面数字

16、电视和有线数字电视。使用制式有美国ATSC DTV、欧洲DVB、日本的ISDB数字电视图像格式 SDTV EDTV HDTV三、计算机合成视频(计算机动画)Slide 38什么是计算机动画？计算机动画是采用计算机生成可供实时演播的一系列画面的一种技术。所生成的画面系列可在计算机显示屏上演示，也可转换成视频信息输出。与模拟电视信号经数字化得到的自然数字视频相比，计算机动画是一种合成数字视频。计算机动画综合利用计算机科学、艺术、数学、物理学和其他相关学科的知识，用计算机生成绚丽多彩的连续的虚拟画面，给人们提供了一个充分展示个人想像力和艺术才能的新天地。Slide 39计算机动画分类Simulati

17、onAnimation三维动画二维动画Slide 40计算机动画的历史1963年Bell实验室制作了第一部计算机动画片(二维)。三维计算机动画的研究始于七十年代初，八十年代中后期进入实用化。九十年代初，计算机动画应用于电影特技，如1993年“侏罗纪公园”取得轰动性效应，获得了该年度的奥斯卡最佳视觉效果奖。1996年，世界上第一部完全用计算机动画制作的电影玩具总动员上映,1998年放映的电影泰坦尼克中，船翻沉时乘客的落水镜头有许多是采用计算机合成的，从而避免了实物拍摄中的高难度、高危险动作。Slide 41计算机动画的应用应用领域涉及娱乐、电视、教育和科研各方面,例如:影视领域中电影特技、片头制

18、作、动画片制作、基于虚拟角色的电影制作等；商业：电视广告制作，电子商务；教育领域中的辅助教学、实验示教及集娱乐与教育于一体的教育软件；科学研究领域中，用于科学计算可视化，复杂系统工程中动态模拟；军事领域中的军事训练、作战模拟、训练模拟；娱乐行业，各种高档、大型游戏软件等。Slide 42传统动画制作过程所谓动画，是指利用人的视觉残留特性使连续播放的静态画面相互衔接而形成动态效果。传统卡通动画的制作过程：导演将剧本分成一个个分镜头，由高级动画师确定各分镜头的角色造型，并绘制出一些关键时刻各角色的造型。由助理动画师根据这些关键形状绘制出从一个关键形状到下一个关键形状的自然过渡，并完成填色及合成工作

19、。依次拍摄这一帧帧连续画面，就得到了一段动画片段。Slide 43计算机动画制作过程计算机动画是在计算机中建立景物的模型、设置它们的运动、生成逼真图像并转换成视频信号的过程。三维计算机动画制作过程分以下几个阶段：（1）建模（造型）（2）确定颜色和材质(纹理)（3）设置灯光和摄像机位置（4）描述和设置动画要求（5）图像绘制（rendering）（6）输出动画结果Slide 44动画制作方式Slide 45 （）建 模使用建模工具直接进行建模 patch可生成直纹面；skin可由多个不同的截平面线构造物体；revolve可由母线旋转成一个旋转体；boundary可由三条或四条边界构造曲面；roun

20、d可直接生成三个面相交处不同半径的圆角。使用基本几何形体，如球、柱、锥、台、立方体等，通过调整曲面上的控制点或编辑点来进行所需要的造型，亦可通过布尔运算进行实体造型。Slide 46(2)颜色和纹理的确定颜色的设定：确定中间色、高光色、自发光色、透明色、反射区颜色等。调整高光区大小，高光区与中间色区过渡、反射率、折射率、反射次数、折射次数等。使用本色贴图、高光区贴图、透明区贴图、白发光贴图、反射贴图、反射率贴图、粗糙度贴图、三维起伏贴图等。调整贴图参数，可得到金属质感，无高光非金属和高光非金属，自发光等质感。Slide 47颜色和纹理的确定材质(纹理)的设定：提供许多纹理模板，可直接做为贴图使

21、用，且调整方便，可以做材质渐变的动画。背景材质:输入的各种素材图像或纹理图像均可作为背景。软件本身提供了若干背景，如天空、地平面、云和太阳组成的自然环境等。Slide 48（3）设置灯光和摄像机位置灯光照耀在物体表面,显现出物体表面的颜色和质感，然后通过虚拟相机得到最后的图像效果,这一步与确定颜色和材质交替进行。在场景中设置灯光的数量,类型和位置。光源的类型:环境光、直射平行光、点光、白炽灯光、线光和面光源。每种光源又有多种参数可调，能生成许多特殊效果。如光通过雾气的效果、光的棱镜效果等。设定虚拟摄像机的位置,以及推、拉、摇、移和变焦等摄像机运动。Slide 49（4）运动的描述和设置动画是运

22、动中的艺术，运动是动画的要素。运动（motion）指的是场景中任何一种系列的视觉变化，例如:景物位置、方向、大小和形状的变化，景物表面纹理、色彩的变化,虚拟摄像机运动,其它。Slide 50（5）图像绘制（rendering）图像绘制有多种方法，最常用的是光线追踪法（Ray tracing）和光线投射法（Ray castimg）。它们能自动计算光线在物体间的反射、折射、透明及物体阴影、浓淡，使画面更生动、更逼真。绘制的动画图像如果是电影用的，每一秒需24帧画面，则计算机必须绘制生成24 x n帧图像（n是持续时间），如果是电视用的，则每秒需25或30帧画面。Slide 51（6）输出动画结果为

23、电视制作的计算机动画必须使用相应的视频卡把计算机图像转换成模拟视频信号，记录在广播级录像带上。如果是为电影制作的动画，则通过胶片机，把制作的动画图像输出到胶片上。Slide 52小结：计算机动画与图形学场景造型：精度不必像工业设计那样高，但对造型工具的灵活性及景物运动的可控性提出了更高的要求。提出了针对动画应用而设计的造型技术，如隐函数曲面造型技术和Catmull-Clark离散曲面造型技术等。由于简单性和兼容性，多边形网格模型在计算机动画系统中得到广泛应用。绘制：随着动画技术的发展，传统的真实感图形绘制技术必须予以改造，使之满足动画的需要。Slide 53运动控制的类型刚体运动变形体运动Sl

24、ide 54运动控制的几种方法关键帧（Keyframing）关键帧、位置、方向的插值 变形、正向、逆向动力学计算法(Procedural and Simulation)运动学 动力学 随机、过程、行为控制运动捕获技术重用以前的动作Slide 55关键帧动画关键帧动画是基于动画设计者提供的一组关键帧，自动产生中间帧的计算机动画技术。关键帧动画制作的步骤:脚本设计角色定义关键帧指定中间帧生成Slide 56n脚本中定义一系列要发生的运动脚本设计(Storyboard layout)Slide 57关键帧说明 Key-frame specifications 关键帧是动画序列中某个时刻的一个详细描述

25、，包括该时刻该场景中所有角色的位置 (1)(2)(3)(4)Slide 58 关键帧之间是中间帧，通常两个关键帧之间有3-5个中间帧生成中间帧Slide 59结果Slide 60通过计算进行运动控制运动控制方法用于控制(描述)动画形体随时间而运动/变化（形状、样式、行为）的方法主要有:运动学（Kinematics）方法,动力学（Dynamics）方法，物理推导方法,随机方法,刺激一响应方法,行为规则方法,自动运动控制方法等。Slide 61算法动画算法动画 运动使用变换表（如旋转、大小、位移、切变、扭曲、随机变换、颜色改变等）进行描述和控制，每个变换由参数定义，而这些参数在动画期间可按照任何物

26、理定律（如运动学的和动力学定律）来确定，这些定律可以使用解析形式定义或使用复杂的过程如微分方程的解来定义。Slide 62 o Animation handlingo Video postSlide 63基于物理的动画基于物理的动画采用基于物理的造型，应用物理的定律以及基于约束的技术来推导和计算物体随时间运动和变化的一种计算机动画。Slide 64Motion Control SystemDemonstration of TRACK,an animation system that integrates the following techniques in a unified framewo

27、rk:-direct kinematics(keyframing)-inverse kinematics-direct dynamics-procedural animation:walking and graspingSlide 65运动捕获技术运动捕获的动画数据包括关节运动数据和脸部表情动画数据。Use sensors to record a real personGet high-degree of realismWhich may not be what you want.(Dancing)Slide 66人脸动画(Facial Animation)例1例2例3Slide 67虚拟人第

28、一，能自动产生计算机生成的人（虚拟角色）的自然行为；第二，提高运动的复杂性和真实性，其运动的真实性远远超过对机器人运动真实感的要求，既要有关节运动的真实感，又要求在动画过程中，其身体、手、面部等行为动作的真实性；第三，应减少运动描述的复杂性，特别应能在任务级上进行运动的描述。Slide 68Crowd Behavioural ControlSimulation and control of group behaviors using autonomous social agents a behavioral modelViCrowd(football)Slide 69运动描述的困难运动富有含义 心情、个性 运动很复杂、很深奥 什么样的运动看上去很悲伤?描述的成本很高Slide 70