MPEG7与媒体资产检索

《MPEG7与媒体资产检索》由会员分享，可在线阅读，更多相关《MPEG7与媒体资产检索（7页珍藏版）》请在装配图网上搜索。

1、MPEG-7与媒体资产检索PEG-7与媒体资产检索1、引言随着电视技术与IT技术的不断交融，以及IT技术日新月异的开展，实现视音频信息的数字化管理即所谓的媒体资产管理已成为可能。但要实现对庞大的视音频数据进展组织、管理及检索，仅仅有数字化的视音频信息是远远不够的，这时便提出了所谓的元数据etadata技术。元数据就是描绘数据的数据，即有关视音频信息的描绘信息。但如今多数媒体资产管理系统都是按照传统的管理信息系统的方式组织和管理元数据的，即将视音频信息进展编目，再将编目信息(元数据)存入数据库以备日后的检索和管理。这种方式对于版权、作者、主题等等文本信息是很有效的，但是要实现真正的面向内容的管理

2、就力不从心了。针对这一问题，PEG(vingPitureExpertsGrup)推出了基于内容的多媒体描绘标准PEG-7。PEG-7标准重点在于AV(Audivisual)信息的描绘和定义，以明确的构造和语法来定义AV信息的内容。它的正式名称是多媒体内容描绘接口(ultiediantentdesriptininterfae)。通过PEG-7格式定义的信息，使用者可以有效地搜寻、过滤和定义想要的视音频资料。2、PEG-7PEG-7于2001年推出，它本身并不试图定义一种新的数字压缩方法，而主要是针对基于内容的多媒体描绘问题。2.1PEG-7标准的范围PEG-7是PEG继PEG-1、PEG-2、P

3、EG-4之后制定的新标准，但它与前三个标准不同，它超越基于波形或基于样本、基于压缩(如PEG-1和PEG-2)甚至是基于对象(如PEG-4)的表示，也超越详细的存储方式(如可以应用于存储在磁带、影片等上模拟信号也可以应用于存储在磁盘、光盘上的数字信号，甚至可应用于存在于纸上的图形、图片)，其目的是建立一种基于多媒体内容的描绘方式，以便更有效地支持多媒体资料在产生、存储、交换、传输等过程中的各种应用，这些应用包括搜索引擎、编辑工具和个性化的检索机制等。但PEG-7并不涉及这些就在详细的应用本身，而是仅仅定义了多媒体内容的描绘方法，图1是关于PEG-7标准内容的抽象描绘。PEG-7对多媒体信息的描

4、绘目前主要包括以下几个方面当然，随着应用的不断深化，PEG-7也在不断的扩大和完善：有关媒体制作方面的信息如媒体的制作商、标题等；有关媒体使用方面的信息如媒体的版权、使用记录等；有关媒体存储方面的信息如媒体的编码方式、存储格式等；有关媒体时间域、空间域方面的信息如媒体中的场景切换、区域分割等；有关媒体特征方面的信息如媒体的灰度、纹理、音频特征等；有关媒体内容表述方面的信息如媒体中包括的对象、事件及其之间的互相关系等。2.2PEG-7描绘PEG-7定义了一组的描绘方法和工具，主要包含：描绘子D(Desriptrs)：用来描绘多媒体内容的各种特征。描绘方案DS(DesriptinShees)：用来

5、描绘D之间的构造及关系。描绘定义语言DDL(DesriptinDefinitinLanguage)：用来定义D和DS的语言。一个PEG-7描绘(desriptins)由一组DS实例组成，并与AV素材的内容链接，以使用户可以快速、有效地访问需要的AV素材。描绘可以与AV素材存储在同一存储系统中，也可以异地、远程存储。2.2.1描绘子PEG-7定义了一组标准的描绘子，下表列出的是一些PEG-7的视觉描绘子：类型特征描绘子视觉构造网格分布二维/三维多视图时间序列三维空间坐标系时间插值颜色颜色空间颜色量化颜色直方图主颜色可扩展颜色颜色构造颜色分布GF/GP颜色纹理边缘直方图同类纹理纹理阅读形状对象范围

6、基于区域的形状基于轮廓的形状三维形状运动镜头运动对象运动轨迹参数运动运动速度位置区域定位子时空定位子其它人脸描绘子每个描绘子都定义了标准和非标准两个局部，标准局部定义了描绘子的语法、语义及其二进制的表示法。而操作局部是非标准的局部，许多低层的特征(如颜色直方图等)都是可以自动抽取的，推荐使用的特征抽取及匹配算法都包含在非标准的局部。2.2.2描绘方案描绘方案(DS)定义了各组成局部之间的构造和语义关系，它由描绘子(D)和描绘方案(DS)组成，下面是在AV内容描绘方案中常用到的几个概念：语法构造：AV内容的物理和逻辑构造，如时间片断、空间区域的根底构造。语义构造：语义含义的细分，如时间事件、空间

7、对象构造。语法语义链接：语法元素与语义元素间的结合。一个顶层的AV描绘方案往往是由多个描绘方案组成：一组语法构造描绘方案(SyntatistrutureDS)：即片断、区域、颜色、文本、运动等物理特征的描绘。一组语义构造描绘方案(SeantistrutureDS)：即对象、人物或事件等语义特征，如进球、射门、广告等。语法语义链接描绘方案(Syntati-seantilinksDS)：即语法元素和语义元素之间的关系。摘要描绘方案(SuaryDS)：用于不同粒度间的阅读。媒体信息描绘方案(etaInfDS)：有关作者、出版者等信息的描绘，包括内容描绘方案、信誉描绘方案、创作目的描绘方案、版权描绘方

8、案、出版描绘方案等。介质信息描绘方案(ediaInfDS)：有关存储介质的描绘，如文件格式、存储介质、压缩格式、长度等。形式描绘方案(delDS)：提供AV数据的分类方法的描绘或当前AV内容和其它内容间的通信的不同方法。图2是一个AV描绘方案的构造描绘：2.2.3DDL语言DDL语言可以创立新的描绘方案和描绘子，也可以扩展或修改现有的描绘方案。PEG-7的DDL语言以XL语言为根底，但由于XL并不是专门用来作为AV内容描绘语言来设计的，因此PEG-7在XL的根底上作了进一步的扩展。PEG-7的DDL语言主要包括以下几个局部：XL语言的构造局部XL语言的数据类型局部PEG-7的扩展局部DDL语言

9、、描绘方案、描绘子之间的关系见图3。3、基于PEG-7的媒体资产检索检索是媒体资产管理系统中的重要环节，没有效的检索机制媒体资产管理也就没有意义了。基于PEG-7建立起来的媒体资产管理系统不仅可以包含传统的视音频信息，还可将其它多媒体信息(如做宣传片时所建的3D模型等)纳入其中，并且可超越存储方式(无论是在线、近线还是离线)建立检索机制。3.1基于PEG-7的媒体资产管理系统的构造虽然PEG-7描绘不依赖于资料的编码表示，但是在某种程度上，该标准建立在PEG-4之上，在PEG-4中定义的表示方式也非常合适PEG-7描绘的建立。PEG-4提供对视听资料以对象方式编码的方法，这些对象具有一定的时间

10、(同步)和空间(空间位置和三维感受)关系。利用PEG-4编码，将有可能把描绘附加到场景中的元素(VP)上。因此在媒体资产管理系统中，可将输入的视频编码成高、低两种码率的码流，高码率的可采用PEG-2编码，用于编辑、下载、播出等；低码率的可采用PEG-4编码，检索、阅读以及网络上的传输。PEG-7描绘建立在PEG-4编码之上，PEG-4编码与PEG-2编码之间用EDL表链接。系统构造见图4。3.2特征自动抽取一部视频节目由一系列场景组成，而场景由镜头组成，镜头又由帧组成。利用镜头边界检测算法可将视频序列分解成镜头，如最常用的颜色直方图法，计算每两帧之间的颜色直方图的分布差，当其超过某一阈值时，就

11、可认为这两帧是两个镜头的边界。将场景被分成镜头后，就可利用自动关键帧抽取算法抽取一个或多个关键帧作为镜头的代表，供用户阅读。关键帧抽取时，可先将第一帧作为镜头的第一个关键帧，然后将此关键帧与以后的每一帧作比拟，当差值超过某一阈值时，可将这一帧作为新的关键帧，以此类推，直到镜头完毕。镜头分解和关键帧抽取完成后就可对其进展静态特征(形状、颜色、纹理等)和运动特征进展自动抽取，并生成PEG-7的标准描绘，作为日后检索的根据。3.3人工编目对高层的语义描绘，是不可能自动抽取的，需更多的依赖人机交互。因此专业的编目人员是建立高效的检索机制所必不可少的。但是面对多种多样的用户需求，仅仅依靠几个专业的编目人

12、员是不可能的，一方面虽然已有了自动抽取的大量特征，但详细的语义说明仍然是一个海量的工作；另一方面，每一个人对AV素材的理解可能都不尽一样，既使是非常高程度的编目人员也不可能满足所有用户的需求。因此学习才能也就成为对媒体资产检索系统的一种更高层的要求。所谓的学习才能是指根据用户的检索过程生成新的描绘信息的机制。例如，有一用户键入98世界杯上巴乔射失的点球想检索有关的AV素材时，可能以前没有这样的描绘，所以无法找到。但用户可能通过98世界杯、点球等一系列过程最终找到了有关素材，这时系统就可将98世界杯上巴乔射失的点球这一描绘加到这一素材之上，当再有用户键入一样信息时，系统就可快速的找到有关素材。学

13、习才能将编目、检索两个完全分立的近程结合起来，扩大了编目才能，也进步了系统的效率，使得每一个用户都成为系统的编目人员，大大地减轻了编目人员的工作压力。与学习才能相对就的是遗忘才能。如过每一次检索都产生新的描绘，系统就会不停地扩大，直至最终崩溃。我们先看一看人类的大脑，之所以人类能记意大量的信息是因为我们忘却了更大量的无用信息。因此一个具有学习才能的系统必须具有遗忘才能，即可以将长时间无人使用的描绘从系统中删除的才能。当然，系统应将描绘分出级别，对于专业编目人员建立的系统描绘应设为最高级别，只有通过人工删除，系统无法自动删除，而对于由用户检索建立起的描绘那么由系统根据使用频率及当前系统的负载情况

14、采用有效的删除策略。3.4视频检索基于PEG-7的检索机制支持文本检索、图像检索、音频检索等多种检索方式，允许用户输入一幅图像或在键盘上键入一段音符来查找相关素材。但是在实际应用中，由用户直接输入图像是不太现实的，更多地是由用户输入对图像的文本描绘信息，这一点也进一步说明仅有低层的视觉描绘而缺少高层语义描绘的系统是没有实用价值的。根据用户的输入，系统采用相似匹配的算法检索到所有相关的关键帧(编目时描绘信息越详细，查询的结果也就可能越准确)，用户从所有关键帧中选择可能是自己需要的局部，然后调入相关的低码流的素材进展济览，当用户确认以后就可通过EDL表调用高码流局部进展下载输出。主要参考文献：1、IS/IEJT1/S29/G11N4031.verviefthePEG-7Standard(versin5.0).Js.artnez2、D-LibagazineSepteber1999.PEG-7BehindtheSenes.JaneHunter3、.bttn.?PEG-7及其在播送电视中的应用?.张颖辉、陶然、王越、马越4、北京邮电大学出版社.?PEG-7标准及其应用?.余兆明、李晓费、陈来春、