步骤2 对扩展后的边缘进行平滑
步骤 3 为防止垂直线条由于深度值的不同而在图像映射过程中发生扭曲,用方向算子提取源图像的垂直边缘,进而对该方向上深度值进行校正,从而确保垂直方向上深度值的一致。
4深度图估计
可以看到深度图在3D成像以及 3DTV系统中的作用是很关键的,它的质量直接影响到最后显示出来的质量。目前深度图估计的主要方法还是只有两种:
1. 用深度照摄机拍摄,直接得到深度图。这种方法虽然简单,但是由于深度摄像机本身价格的昂贵以及这种摄像机还有着很多的缺陷,所以使用的并不是很多。
2. 由多个照相机在不同角度拍摄,得到相应的参数,然后通过计算视差来画出深度图。这种方法正在不断的被改进,目前已经有一定的成熟度和相应的软件,如DERS 5.1。
4.1 DERS 5.1
DERS是针对ISO/IEC 运动图像专家组(MPEG)3D视频编码中的3DTV和FTV的参考软件。由于3DTV和FTV项目还正在发展之中,DERS软件也在不断完善。
DERS在一个双向的视差搜索使用图像分割算法的能量最小化,适用于空间附近的像素规范化。和其它深度图估计方法相比,DERS不仅取得了良好的优化性能,而且是实现速度最快的之一。然而,深入在物体的边缘部分,少纹理区域和闭塞区域的准确性并不令人满意。
图8. 深度图估计
4.2 DERS的算法的改进
4.2.1 深度一致性检查(Depth Consistency Check)
首先,在这一步使用交叉检查来检查一个像素的深度值是否是可靠的。交叉检查计算左视图是从左视图到右视图不匹配的像素位置,然后在相应的深度图细化之前从右视图返回到左视图。如果一个像素它映射到另一个像素却没有反射回来,那这个像素会被标记为不可靠的像素。交叉检查对右视图的检查过程也是相似的。可靠地评估和完善的图的生成模型要考虑到每个闭塞区域,少纹理区域,倾斜对象等每个视差的可靠性。
左右信心(左到右,右到左的一致性估计)计算公式为:
当
表示在点(x,y)的从左到右的视差, 表示在点(x,y)从右到左的视差, 是一个提前设好的阀值。可以通过左匹配错误和右匹配错误之间的差异量来判断闭塞和伪匹配。在等式()中,我们可以通过选择不同的阀值 自适应的改变从“强闭塞匹配”到“强伪匹配”的错误检测。
4.2.2 多深度图融合(Multipe Depth Map Fusion)
在图9中可以看到在一个3DV/FTV系统中,深度估计可以利用多个参考视图的信息。因此,有必要建立一个更有效的方法去进行多个深度图融合。
假设用M的临近视图作为深度图估计的参考,对于每一个目标视图块,我们可以计算出M深度值 ,k=1,2,..,M使用基于几何的深度估计方法在6.2.1已经讨论过。假设真实深度值 服从高斯深度模型,
(2)
当 是k次估计的加权参数
(3)
图9
4.3 DERS的使用
4.3.1配置文件(Configuration file)
配置文件是该软件运行必不可少的文件,下面我就列下我使用的香槟塔图像的配置文件:
#=============== INPUT PARAMETERS ================
DepthType 0 # 0...Depth from camera, 1...Depth from the origin of 3D space 视频深度图像的产生和编码+文献综述(7):http://www.youerw.com/tongxin/lunwen_9830.html