多视点视频的编码技术综述

《多视点视频的编码技术综述》由会员分享，可在线阅读，更多相关《多视点视频的编码技术综述（7页珍藏版）》请在装配图网上搜索。

1、多视点视频的编码技术综述摘要：阐述了多视点视频MVC的几种编码技术，包括其发展过程和主要原 理并且比较这几种方法的优劣，以及提出了 MVC在未来的可能的发展方向和研 究思路。关键词：综述；多视点视频编码；算法；3d场景；时间相关性;视点间相关性；视差估计；运动估计1 引言：多视点视频指的是由不同视点的多个摄像机从不同视角拍摄同一场景得到的一组视频信号，是一种有效的3D视频表示方法，能够更加生动地再现场景， 提供立体感和交互功能。多视点视频可广泛应用于任意视点视频、二维电视、交 融式会议电视、远程医学诊疗、虚拟现实以及视频监视系统等多种正在兴起的多 媒体业务。1与单视点视频相比，多视点视频的数据

2、量随着摄像机的数目增加而线性增加。巨大的数据量己成为制约其广泛应用的瓶颈，为此，ITU-T和MPEG的联 合视频组JVT, joint video team)提出了多视点视频编码(MVC, multiview videocoding)的概念。MVC主要致力于多视点视频的高效压缩编码，是未来视频 通信领域中的一项关键技术，也是国际视频标准化组织，在研究的热点问题。1多视点视频最为显著的特点在于视间的相关性。在传统的单视点视频编码中，通 常采用去除时间相关性和空间相关性的混合编码方式，运动估计(MotionEstimation)/运动补偿(Motion Compensation、帧内预测、帧间PB

3、预测、多参考 帧(Multi-reference frames)预测,DCT或DWT变换等是最为常用的编码技术，这些 技术也被众多视频编码国际标准如H.26X11/ MPEG-X所采用。MVC除采用传 统的单视点视频混合编码技术之外，进一步采用视差估计(Disparity Estimation)/ 视差补偿(Disparity Compersation)8、深度图技术(Depth Image)等来提高多视点视 频的压缩效率。此外，多视点视频分布式编码、多视点视频的码率控制技术等也 被应用到多视点视频编码之中。总之，要想多视点视频系统在实际生活中得到广 泛的应用，仅通过提高网络带宽和扩大存储容量

4、是远远不够的，还必须提高系统 的整体编码性能。6基于H.264架构的编码框图 5输入 图慷恢丙帧间 .运动补楼一” 运动琵计苗丙预構 -应变换视频编码技术概况2,3,5原始视频的数据量虽然巨大，但它们在时域、空域、以及统计上都存在大量的信息亢余。从20 世纪中期以来，由于数据压缩技术的发展和完善，极大的推 动了视频编码技术的前进。一些经典的视频编码技术随之出现，主要技术分为以下几个方面:(1) 预测编码预测编码就是利用像素的相关性计算预测值，并对实际值和预测值之间的差 异进行编码。预测编码按预测方法可以分为线性预测编码和非线性预测编码。17(2) 变换编码变换编码16就是将空域图像信号变换到另

5、一个正交矢量空间中，然后对转 换后的系数进行量化和编码。在目前所有的变换算法中，以 Ahmed 等人6于 1974 年提出的离散余弦变换(Discrete Cosine Transform, DCT)对视频编码算法最为重 要。随着1977年Chen等人以及1987年Hou等人2提出了针对DCT的一些 快速算法，DCT很快被各种视频编码标准所采用。(3) 熵编码嫡编码是利用信源的统计特性进行数据压缩，它是一种无损压缩编码技术。常用的嫡编码有霍夫曼编码、算术编码和游程编码。2.2多视点视频编码技术特点13,20：(1)预测结构;(2)运动跳过模式及其改良算 法;(3)亮度和色度补偿技术;(4)视差

6、合成预测.3.1 MVC预测技术为了在多视点视频系统中提高编码效率以及随机访问性能，需要设计合理的 预测结构，并采用多种预测技术来减少编码帧在时间和和空间上的相关性。73.2 DMVC的边信息生成技术DMVC的关键技术就是如何准确估计边信息。分布式视频编码中的边信息用 于接收端的信道解码和重建视频，是对当前WZ帧的预测，相当于传统编码中对 P帧或B帧的预测，只是预测是在解码端进行的，因此DMV将编码端的计算复 杂度移到了解码端。预测精度越高，说明边信息与WZ帧越接近，经过信道解码 后误码率就越低，依据边信息重建的视频效果越好。10多视点分布式视频编码的边信息，可以利用同一视点视频序列的时间边信

7、息 和不同视点视频序列的视间边信息共同生成，或将从不同视点视频图像进行融合 得到更加准确的边信息。73.3深度图像高效编码深度图像表示场景中对象的深度信息，其统计特性有别于传统的2D图像， 同时其在解码端不是为了显示，而是为了辅助合成任意视点，因此在设计编码方 法时就要充分考虑到深度图像的特性。在5,9,14,17,19,20中都提出了相应的保护图像对象边缘信息的编码技术，主 要有一下几种： 基于小板(platelet)的深度图像编码方法 基于形状自适应小波变换的深度图的编码方法 基于几何学的块划分方法 基于稀疏二值模式的深度图像编码方法在自由视点视频编码中，深度图像还可以辅助提高对应视点的编

8、码效率。深 度图像不仅可以提供准确的视差信息从而可设计更精确的视间预测技术，还可以 利用其反映的场景中物体离摄像机的距离信息来设计更高效的编码方式。13自由视点视频包含多个视点，一种直接的编码思路是采用视差估计方法来去 除视点间的相关性。然而这种思路在自由视点视频编码中存在以下问题:首先， 自由视点视频系统中通常使用较为稀疏的摄像机阵列，相邻摄像机的基线距离比 较大，视点间的相关性较小，相邻视点间还可能会产生遮挡等情况，严重影响了 视差估计的效率;其次，由于同一时刻的相邻视点间物体的运动并不是线性运动 采用类似运动估计的方法来进行视间估计并不准确。针对以上问题，2006 年， Emin Mar

9、tinian首次提出了基于视点合成预测(VSP)的多视点视频编码方法14,7。 该方法在编码当前视点图像的时候，利用深度信息采用3D warping技术15合成 一个虚拟视图用作当前编码图像的参考图像。该虚拟视图由于比视点间参考图像 更接近于当前编码图像，增强了视间预测效率，从而提高了多视点视频的编码效 率。2007年，Sehoon Yea在此基础上建立了基于VSP的率失真框架12,用于指 导多视点编码。2010年，Kirai，将VSP技术用于视差矢量预测13,提高了视差 矢量的预测精度。4 结束语多视点及深度视频可广泛应用于自由视点电视等多种新兴的多媒体业务，其 广阔的应用前景对当前的编码和

10、传输技术提出了很大的挑战。目前 MVD 编码主 要是基于传统的视频编码框架而设计的，如何在提高编码效率的同时增强合成视 点的图像质量是该领域研究的核心问题。未来可以从以下方面开展研究:一是研 究更高效的编码技术，深度图像所表征的信息仍有待开掘和利用，深度视频与纹 理视频间仍存在大量的冗余信息;二是研究结合人眼视觉特性的编码方式，以人 眼的感知特性来指导多视点及深度视频的压缩。综上所述，为推动自由电视的研 究和应用，多视点及深度视频编码尚有很多值得深入研究的问题，需要大家共同 探索。参考文献：1 .霍俊彦多视点视频编码的研究现状及其展望C.西安：西安电子科技大学, 2010.5.2 .王叶群.多

11、视点视频快速编码研究D.宁波：宁波大学,2013.6.3 .孟丽丽.多视点视频编码的研究D.北京：北京交通大学,2013.9.4 .王凤随多视点视频编码关键技术研究D.南京：南京大学，2013.11.5 .朱威.多视点视频编码快速算法关键技术研究D.杭州：浙江大学,2010.7.6 .刘峰.多视点视频编码框架及关键技术D.南京：南京邮电大学,2013.6.7 .潘榕.多视点视频编码相关处理技术研究D.天津：天津电子信息工程学 院,2011.5.8 .张磊.多视点视频编码中运动与视差估计的研究D.西安:西安电子科技大 学,2010.1.10 .李洁分布式多视点视频编码的边信息生成方法研究D.南京

12、：南京邮电大 学,2013.3.11 丁聪.基于H.264多视点视频编码关键技术D.北京：北京邮电大学， 2013.1.过失控制算法C.成都：西南交通大学，2012.11.13 .蒋毅刚.基于感知的视频编码方法综述C.宁波：宁波大学,2013.2.14 .何宛文.结合深度信息的多视点视频编码快速模式选择算法D.上海：上海 大学，2014.8.15 .吴笛.可分级的多视点立体视频编码及传输关键算法的研究D.武汉：武汉 大学,2013.10.16 .张艳.灵活的多视点视频编码预测结构D.厦门：华侨大学,2012.6.17 .刘晓仙任意视点视频深度估计及编码技术研究D.西安：西安电子科技大 学,2011.9.18 .朱威.一种多视点视频编码快速运动估计算法D.杭州：浙江大学,2011.2.19 .张秋闻.自由视点视频深度编码关键技术研究D.上海：上海大学,2012.5.20 .徐守衍.多视点视频编码与视点绘制研究D.济南：山东大学,2013.3.