1.3 立体视频压缩编码技术综述

海量的立体视频数据与有限的传输带宽和存储空间使得立体视频压缩编码技术成为了立体视频发展的主要瓶颈之一。与传统的单目视频相比，立体视频包含的内容广泛。从显示方式来看，立体视频通常包括双目立体视频、多目立体视频、自由视点立体视频以及全息立体视频等等。从数据表示方式来看，立体视频通常又可以分为基于彩色视频加深度图的立体视频、基于表面网格的立体视频、基于纹理映射的立体视频表示方法。上述立体视频的数据格式多种多样，对存储、传输以及显示的要求也不尽相同。因此，国际国内的研究机构针对不同的立体视频表示方法以及应用方式设计了相应的高效压缩编码方法。其中，最为主要的压缩编码研究包含以下两类。

1. 基于彩色视频加深度图的立体视频的压缩编码方法

基于彩色视频加深度图的立体视频是在传统的单目立体视频的基础上引入多目彩色视频和深度图而形成的。由于其与传统的单目视频系统具有良好的兼容性，因此其在立体视频系统中应用获得了广泛的应用。不难发现，由多目彩色视频和深度图组成的立体视频包含大量相关视频图像，在时域、空域以及视间三个维度引入了大量的冗余。为了有效去除上述立体视频的相关性，研究人员在采用传统的时域预测编码和变换编码来压缩立体视频的时域和空间冗余之外，还引入了视间预测编码来压缩不同视点之间的冗余。为了进一步保证前向兼容性，视间预测编码同样采用时域预测编码技术来实现。目前，该压缩编码方案已经在国际上获得了较大范围的关注和认同。国际标准化领域的两大巨头——国际电信联盟ITU和国际标准化组织ISO，于2012年联合成立了相应的标准化工作组，即Joint Collaborative Team on 3D Video Coding Extension Development来联合制定基于彩色视频加深度图的立体视频压缩编码技术标准。目前包括Qualcomm、Samsung、Sony、Sharp、MediaTek和华为等国际知名公司均参与其中。该组织提出了多项具有不同兼容性的立体视频编码方案，如与传统单目视频编码标准H.264相兼容的3D-ATM标准以及与最新的高性能视频编码标准相兼容的3D-HTM标准。尽管上述视频编码技术标准还在进一步的讨论中，但是可以预见在不久的将来，在上述组织和公司的推动下，该立体视频编码技术标准将获得更加广泛的应用。

2. 基于表面网格的立体视频的压缩编码方法

作为立体视觉技术发展中另一种重要的立体视频表示方法，表面网格技术在立体电影制作、三维动画、计算机仿真等领域同样获得了广泛的应用。表面网格是通过记录每一个顶点的绝对三维坐标以及与其相邻顶点间的相对位置关系来表示三维场景信息。与基于彩色视频加深度图的立体视频相比，基于表面网格的表示方法能够获得对三维场景更加精确的近似，但同样带来了更大的数据量。三维网格的压缩编码技术经历了较长时间的发展，从静态三维网格压缩到动态三维网格压缩，从单一码率的三维网格压缩到码率可伸缩的三维网格压缩。其中，对于目前应用最为广泛的静态三维网格的压缩编码技术，国际标准化组织ISO下所属的运动图像专家组（ISO/IEC JTC1/SC29/WG11，MPEG）正在研究并制定其相应的技术标准，并将在立体视频、三维动画以及计算机仿真等领域获得广泛的应用。尽管在上述研究的过程中取得了相当长足的进步，然而到目前为止，动态三维网格的压缩仍然是一个非常棘手的难题。压缩动态三维网格所带来的较高时间和空间复杂度使得其还难以直接应用于立体视频。但是由于其对三维场景、动态三维网格具有其无可替代的优势，因此，动态三维网格的压缩技术将在未来数十年成为三维网格压缩编码技术的热点之一。

总的看来，伴随着立体视频应用的大量涌现，立体视频的压缩编码技术将成为立体视频走向实际应用中不可或缺的一个重要环节。针对不同类型立体视频的压缩编码技术将在未来获得更加广泛的研究和应用。