本文正是基于Kinect来做深度图编码方面的研究。一是为了研讨多种深度编码方式的优劣性能及其各自的适用环境。二是基于Kinect研究多位高精度深度数据的多种可视化编码方式，并探讨其各自的特点和适用编码场景。

1。3 论文组织结构

第一章介绍了课题研究背景和意义，以及论文的主要架构；

第二章研讨了现有的深度编码方式的性能优劣和适用环境。包括介绍两种深度图编码方式的各自最新编码标准，通过标准测试序列的编码实验对二者的编码性能进行比对，并在最后得出研讨的结论；

第三章研究了基于Kinect的深度图编码。包括介绍Kinect及其深度数据捕获原理，深度数据可视化时的编码处理，以及深度图的双边滤波预处理方式。并通过实验捕获不同场景及不同可视化编码处理方式下的深度图，最后由独立深度编码器HM编码以比较各自的深度图在编码方面的性能；

最后总结全文，并得出课题研究的总体结论。

2  深度编码方式的研讨

目前深度视频编码主要分为两个方向。一种是通过传统的2D编码器进行独立编码， 其标准如H。264/AVC、HEVC。另一种是通过基于3D扩展编码标准的编码器进行联合编码，如3D-AVC以及3D-HEVC。这里我们只介绍代表性的HEVC和3D-HEVC编码标准，并通过实验处理对他们的深度图编码效果进行比较，最后得出本章研讨的结论。

2。1  HEVC标准

2。1。1 编码框架

相比于H。264，H。265\HEVC的编码框架并没有大的变化。如图2。1。1所示，HEVC仍旧采用混合编码框架，包括帧内预测、帧间预测、变换、量化、环路后处理以及熵编码等模块【4】。

图2。1 HEVC编码框架

2。1。2 树形编码块

在编解码的设计中，H。265/HEVC增添了很多新的语法结构。这种新的结构增强了各种应用情况下操作的灵活性以及数据损失的鲁棒性。

与传统宏块不同，HEVC引入了树形结构单元（Coding Tree Unit，CTU)这一概念。一个CTU可以理解为，同一位置处的一个亮度CTB（Coding Tree Block)，两个色度CTB和相应的语法元素。

按照四叉树循环分割方式，CTU被划分为不同大小及不同深度的编码单元（Coding Unit，CU）。此外，为更高效、灵活地表示视频场景中的纹理细节、运动变化等内容，除编码单元CU外，HEVC还定义了预测单元（Prediction Unit，PU）和变换单元（Transform Unit，TU）。其中，编码单元是预测、变换、量化和熵编码的基本单元，预测单元是帧内/帧间预测的基本单元，变换单元是变换和量化的基本单元。各个处理环节由于这三个单元的分离而更加灵活，同时编码性能也可由此达到最优化。

2。1。3 预测编码

一帧视频信号内的临近像素块之间存在很大的空间相关性，同时相邻帧之间也有很强的时间相关性。为此，视频编码通常采用帧内预测和帧间预测的方式，利用已编码区域预测待编码区域，从而有效去除时域或空域冗余。视频编码对预测后的残差进行处理，我们称之为差分编码。这种方式大幅提高了编码效率。

a。帧内预测

HEVC支持5种大小的亮度块PU：4*4、8*8、16*16、32*32、64*64。如图2。1。3。1所示，每一种PU对应35种预测模式，其中包括Planar模式、DC模式以及33种角度模式【5】。而色度块预测共有5种模式，这里我们不展开讨论。

图2。2  33种角度模式的预测方向

帧内预测过程可看做三部分。第一步，获取相邻参考像素并判断是否可用。标准规定如若参考像素在Slice或Tile的边界、或其他一些特殊情况，该像素是不可用的。这时候，参考像素由最邻近的像素进行填充。第二步，对参考像素进行滤波处理。除去对不同大小的处理单元选择不同数量的模式来滤波外，HEVC另规定了一种强滤波方式，效果很好。第三步，根据上一步得到的参考值计算当前预测像素。不同的模式对应不同的计算模板，而依据模板计算即可得到相应的预测值。