2.2 多视点视频技术的研究方向
1.全景视频 全景视频是将二文平面图像扩展到柱面或是球面的三文空间图像,在已知的各个方向设置视点采集视频,可以从给定视点中还原出任意二文视角的观察。
2.交互立体视频 交互立体视频提供的是对应于人的双眼的两路视频,旨在通过在人的双目视网膜上产生视差从而达到立体显示的目的。
3.交互多视点视频 交互多视点视频是由多部摄像机同时同步于不同角度拍摄而成的,通过调整摄像机的配置与场景的几何参数支持用户在场景中漫游,即可以按照自己的意愿从预先设定好的视点中选择一个进行观看。
4.3D视频对象 3D视频对象由形状和外观组成,通过多视点摄像机拍摄,并从多视点视频流中创建,既能合成到已有的内容中,也可以交互式地从不同视角、不同光强下进行观察。
2.3 多视点视频系统组成框图
图2.1多视点系统组成框图
图中2.1所示即为多视点视频组成框图,系统包括图像采集、压缩编码、数据传输、视点合成、终端显示等重要模块。下面介绍系统中的几项关键技术:
1.深度采集:基于飞行时间原理(Time-of-flight,TFO)即摄像机中包括一个内置的激光光源,其发射的光线经场景中的景物反射返回摄像机,在经由像素传感器接受之后,通过计算每个像素点上的光线从发射到接受的时间来确定各点的深度值。
2,多视点视频编码:多视点视频相对于普通视频中所包含的数据量剧增,使得它的存储和传输面临困难,因此需要对其进行特殊的压缩编码。源于同一场景下的视频数据,可利用多视点图像的固有相似性进行高效压缩,这些相似性是对多视点视频进行高比率压缩的主要依据。
3,视点合成:为了最终达到立体显示的目的,同时方便多视点视频进行存储和传输,系统要做到在任意的虚拟视点上合成虚拟的视图。视点合成技术同时也是实现系统交互性的关键技术,它的主要特点在于能够为用户提供交互选择观看视点的功能。这也是本课题所研究的核心内容。
4,立体显示:立体显示的主要原理是将处于不同角度拍摄的多个视图分别呈现给观众的双目,产生的视差经过大脑的处理从而达到立体效果。更多相关内容本章节之后部分还会具体介绍。 VSRS3D视频系统中的视点合成方法研究(3):http://www.youerw.com/tongxin/lunwen_40244.html