多视点视频预测编码框架研究
毕业论文关键词 多视点视频 视点间相关性 压缩性能 参考帧
Title Multi-view Video CodingAbstractMulti-view video refers to a set of video signals obtained from differentviewpoints by a number of camera arranged by a certain array, and it is a hot andimportant research area in the new generation of multimedia field.Because ofmultiple views, it will get a huge amount of data, so the compression and codingof the data is the key of this research. Firstly,This paper will describe theresearch background of the multi-view video coding.Secondly,it will discuss theresearch status,principle,the main technology of multi-view vedio coding.And thenthis paper will put forward a prediction coding structure which is based on theexisting multi-view video prediction coding structure,and it can improve thecompression performance and random access performance.Keywords :Multi-view Video Coding Reference frame Inter-view correlationCompression performance
目次
1引言.2
1.1论文研究背景和意义2
1.2多视点视频的发展历程和当前研究状况3
1.3多视点视频的应用4
1.3.1基于多视点视频的3D电视/3DTV.4
1.3.2多视点视频的自由视点电视5
2多视点视频压缩编码基础7
2.1多视点视频压缩的必要性7
2.2多视点视频压缩的可能性7
2.3视频数据组织结构8
3多视点视频编码的原理及其关键技术10
3.1多视点视频的原理10
3.2预测编码.11
3.2.1预测编码的基本概念11
3.2.2帧内预测编码11
3.2.3帧间预测编码13
4多视点视频编码预测结构14
4.1单视点视频预测结构14
4.2多视点视频（MVC）中常见预测结构15
4.2.1联播预测结构15
4.2.2仅使用视差补偿的预测结构（DCP-Only）.16
4.3考虑视点内相关性和视点间相关性的一种预测结构16
4.3.1此种预测结构的研究背景17
4.3.2实验结果数据分析17
结论.19
参考文献.21
1 引言1.1 论文研究背景和意义当今社会，经济发展日新月异，世界一体化趋向越来越明显，计算机网络通信技术也随着时代的步伐取得了巨大的进步，与其息息相关的电子信息技术同样取得了非常多成果，在此情形下生活的人们人们开始追求更加便捷、有品质的生活方式，日常生活中的许多事务不再需要我们事事亲为，科学技术与生活的已经在很大程度上互相融合，难以分割。009 年，好莱坞电影的《阿凡达》的问世更是点燃了人们对更加发达的多媒体技术的追求欲望。多媒体技术的进步和快速发展使与视频相关的应用在非常多的领域得到重视，越来越渗透到百姓的日常生活里，远程视频会议、远程医疗监控、HDTV、DVD、网上购物等应用改变的人们的生活方式，打开了一扇新的大门。同时，这些视频业务的储存和传输给现有的存储资源和通信系统带来了巨大的挑战。快速发展的通信技术使信道的带宽增加，但是仍然不能够满足各种各样视频应用的要求。存储数据十分庞大，因此也会使设备成本大大增加。所以，利用视频压缩技术来降低视频信号的存储容量和传输带宽，目前已经成为一项紧迫且现实的研究课题[1]。伴随着多媒体技术、全球经济的融合以及 GDP 的飞速提升，同时人们的品不断提升，对生活品质的追求逐渐变高，人们渴望观赏更加真实逼真的视频画面，但是一直以来的二文视频已经不能够满足人们更高的要求，而 3D 视频可以产生极强的立体感，带来十分令人震撼的视觉冲击力，所以多视点视频已经引起了国内外学者和研究机构的广泛关注，很多学术界的学者开始把目光聚焦于这一领域，这也相应的使得多视点视频编码（Multi-view VideoCoding，MVC)的研究和应用成为一大热点。例如，未来社会的现代化医疗过程中，远程清晰的反映出病人的真实病况； 互联网上 shopping时， 人们能够从多个角度看到自己想买的商品，获得一种足不出户就能够享受到真实的购物乐趣；观赏立体电视节目和电影时，能够另观众享受到仿佛在真实场景中的奇妙感觉。通常的2D 视频的数据量已经十分庞大，需要对其作出一些处理，而用多个摄像头按一定的方式排列，因为从多个视点进行拍摄，所以所得到的数据量一定是成倍增加的。随着视点数量的增加，势必线性增加大量的视频数据，此种情况下，完成对视频数据的传输和存储，绝对是非常考验当前的技术和研究水平的。要想应对这一难题，就需要对多视点视频数据作出一些处理，而处理的方式就是压缩编码，下文中我们将详细讨论视频压缩的可能性和必要性。采用何种方式对多视点视频数据进行合理的处理和高效的压缩，使经过高效压缩的视频数据在一定的带宽下，能够成功的传输，使得率失真性能得到有效的提高，是多视点视频研究的热点和重点。H.264/AVC 是目前学术界广为人知的一种传统的 2D 视频编码标准，现有的很多预测结构都是基于此标准，它可以提高编码的压缩效率，它具有低码率、应用目标范围较宽、容错能力强、极佳的图像传输质量、网络适应强等优点，它能有效的利用视频图像中视点内、视点间的相关性等从而有效的去除时间冗余和空间冗余，达到一定的的压缩比率来满足编码要求，相应产生帧内预测、帧间预测、变换编码、量化编码之类技术。1.2 多视点视频的发展历程和当前研究状况MPEG早于2001 年专门成立 3DAV（3D audio and 3D video) ad hoc 组研究 3DAV 的典型应用场景和可标准化的内容。MPEG成立于 1988 年，MPEG-1 标准是由其在 1991 年 11 月提出的。MPEG标准在数年间经历了多种变化，现在已经有MPEG-21 标准。第 71 次 MPEG会议在 2005 年召开，此次会议上一共有 7 项技术方案被提出。通过这几项技术提案进行比较，最终结果显示 MVC 的编码效率比其他基本的编码方案高出很多，因此，这个结果证实了MVC 标准化是非常重要的，而且十分可行。在此基础上，3DAV ad hoc组决定发布MVC 征求草案文档（call for proposals on multiview video coding）。在一开始，视频标准化组织开始了对多视点视频编码的研究，由于多视点视频序列能够营造出非常真实的身临其境般的视觉体验，多视点视频编码变成了近期视频编码领域的研究热门。近年来，学术界围绕多视点视频编码举办了多次专题研讨，如IEEE Transactions onCircuits and Systems for Video Technology 的 MVC 专辑，Signal Processing:ImageCommunication 的 3D 视频专辑，Picture Coding Symposium 的专题讨论等。从九零年代开始，国内的相关多媒体技术研究机构也陆续开始关注多视点视频编码，在多视点视频压缩预测结构方面和虚拟视点合成等领域取得了一些进展。当前多视点视频编码研究中，如何提高压缩效率以及随机访问能力是研究的重点及难点 。 在多视点视频中, 提高多视点视频压缩编码的效率，最主要的就在于，如何有效消除视点内和视点之间的时间冗余、空间冗余及交叉冗余。多视点视频压缩的基本方法，就是基于视差补偿和基于运动补偿。如果考虑计算的复杂度 ,那么视频压缩标准 H.264是目前效率最高的编码方法。目前，很多学者基于 H.264 视频编码标准提出了一些多视点视频预测编码框架，并且获得了一定的成果。但是，目前的研究情况表明对多视点视频的编码方案并不成熟，很多已经被提出的编码方案并不实用，所以在这一块的研究中，对视频压缩算法和补偿技术还有很多空间可以改进。随着网络越来越发达，经济水平的逐渐提高，对多媒体技术研究投入的人力财力的力度也越来越大。等到多视点视频编码技术被成熟应用后，人们现有的视听方式将会改变，人们可以在家里根据自己的喜好去观看和编辑视频，可以随意的切换视点，这样就极大地增强了用户的交互性。因此, 多视点视频的前景十分被看好，是一个特别值得花费时间和精力研究的领域。1.3 多视点视频的应用多视点视频具有十分良好的发展势头，在与多媒体技术有关的多个领域都可以得到很好的运用。例如 3D 视频、全景电视、远程医疗监护、网上购物、FTV、体育竞技直播等。三文电视和自由视点电视（FTV）是多视点视频中两个典型而且很有实用价值的运用，它能够改变人们的视听方式，提供更好的用交互性，给人们带来前所未有的奇妙体验，让人们进入一个奇妙的视听世界。