文/郭辉 天津天地伟业数码科技有限公司
IPC江湖上流传的视频编码标准不下数十种,每种标准都可以说是厂商与各利益组织竞争、妥协、合作后的产物。这里我们简单把它们划为两个阶段:第一阶段可称为1080P及之前的阶段,这个阶段可称之为H.264时代;第二个阶段可称为后1080P时代,也包括目前愈演愈烈的4K时代,不过这个阶段的编码标准可称之为H.265时代。
前言
在网络高清领域,高清和H.264是一对紧密无间的“小伙伴”,从H.264诞生至今年的这十年间H.264对推动高清IPC的普及立下了汗马功劳,最终实现了一统江湖的局面。市面上几乎所有的IPC都是基于H.264编码,但是随着分辨率的提升,大路数的联网以及存储空间的暴增,让H.264的压缩变得越来越难以应付。基于这一点,H.265在2013年1月被国际电联(ITU)通过为下一代高清标准,其即通过提供更多不同的工具来降低码率,在同等带宽条件下,H.265将H.264的画质提升了50%,为整个安防行业带来新的变革。H.264统治了过去的十年,而未来的五年甚至十年,H.265将会成为主流,开启安防新的时代。
H.265的诞生
IPC江湖上流传的视频编码标准不下数十种,每种标准都可以说是厂商与各利益组织竞争、妥协、合作后的产物。这里我们简单把它们划为两个阶段:第一阶段可称为1080P及之前的阶段,这个阶段可称之为H.264时代;第二个阶段可称为后1080P时代,也包括目前愈演愈烈的4K时代,不过这个阶段的编码标准可称之为H.265时代。
高清编码标准第一阶段: H.264胜出
跟电信联盟最终确立了WCDMA、CDMA2000、TD-SCDMA三大3G标准一样,早前胜出的视频编码标准也有三种——MPEG-2、M-JPEG、H.264,其中MPEG-4问世比较早,也是最早实现硬解的,H.264也叫MPEG-4 AVC,有两个名字是因为早前它是由两个组织命名的,国际电联ITUT-T、ISO/IEC国际标准化组织分别给它取了名字。第三种标准M-JPEG是一种无需许可证的标准,具有广泛兼容性,普遍应用于诸如需要对视频序列中每一帧进行分析,一般每秒5帧以下低帧速的场合。M-JPEG还可以用来满足需要集成支持M-JPEG系统的应用需求。这三大标准中,MPEG-2出道时间早,压缩比小,占用空间大,影响也是最低的。H.264与M-JPEG是720P、1080P高清视频编码的两大主流,这得益与H.264的高压缩比和低带宽占用。
高清编码标准第二阶段:H.265横空出世
第一阶段的编码标准竞争犹如之前的3G标准,H.264最终成了3大标准中的WCDMA发展的最好。后1080P视频时代则是到了4G时代,如LTE一样在场的玩家所剩无几,有能力成为新一代标准的只有H.265。 从安防监控领域来看,这主要是由于产业链的快速发展,视频应用的发展朝着如下几个方面的趋势越来越明显。
更高清晰度(Higher Definition):数字视频的应用格式从720P向1080P全面升级,随着分辨率的提升甚至出现了4K×2K、8K×4K的视频格式;
更高帧率(Higher frame rate):视频帧率从30fps向60fps、120fps甚至240fps的应用场景升级;
更高压缩率(Higher ComPression rate ):传输带宽和存储空间一直是视频应用中最为关键的资源,因此,在有限的空间和带宽中获得最佳的视频体验一直是用户的不懈追求。
由于数字视频应用在发展中面临上述趋势,如果继续采用H.264编码就出现如下一些局限性:
宏块个数的爆发式增长,会导致用于编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多,用于编码残差部分的码字明显减少;
分辨率的大大增加,单个宏块所表示的图像内容的信息大大减少,这将导致相邻的4×4或8×8块变换后的低频系数相似程度也大大提高,导致出现大量的冗余;
同一个运动的运动矢量的幅值也将随着分辨率的增加而大大增加,H.264中采用一个运动矢量预测值,对运动矢量差编码使用的是哥伦布指数编码,该编码方式的特点是数值越小使用的比特数越少。因此,随着运动矢量幅值的大幅增加,H.264中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低;
H.264的一些关键算法例如采用CAVLC和CABAC两种基于上下文的熵编码方法、deblock滤波等都要求串行编码,并行度比较低。针对GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU,H.264的这种串行化处理越来越成为制约运算性能的瓶颈。
H.265的技术优势
作为新一代视频编码标准,H.265相对于H.264在很多方面有了革命性的变化。
灵活的编码结构
在H.265中,将宏块的大小从H.264的16×16扩展到了64×64,以便于高分辨率视频的压缩。同时,采用了更加灵活的编码结构来提高编码效率,包括编码单元(Coding Unit)、预测单元(Predict Unit)和变换单元(Transform Unit)。其中编码单元类似于H.264/AVC中的宏块的概念,用于编码的过程,预测单元是进行预测的基本单元,变换单元是进行变换和量化的基本单元。这三个单元的分离,使得变换、预测和编码各个处理环节更加灵活,也有利于各环节的划分更加符合视频图像的纹理特征,有利于各个单元更优化的完成各自的功能。
灵活的块结构——RQT(Residual Quad-tree Transform)
RQT是一种自适应的变换技术,这种思想是对H.264/AVC中ABT(AdaPtive Block-size Transform)技术的延伸和扩展。对于帧间编码来说,它允许变换块的大小根据运动补偿块的大小进行自适应的调整;对于帧内编码来说,它允许变换块的大小根据帧内预测残差的特性进行自适应的调整。大块的变换相对于小块的变换,一方面能够提供更好的能量集中效果,并能在量化后保存更多的图像细节,但是另一方面在量化后却会带来更多的振铃效应。因此,根据当前块信号的特性,自适应的选择变换块大小,可以得到能量集中、细节保留程度以及图像的振铃效应三者最优的折中。
采样点自适应偏移(SamPle AdaPtive Offset)
SAO在编解码环路内,位于Deblock之后,通过对重建图像的分类,对每一类图像像素值加减一个偏移,达到减少失真的目的,从而提高压缩率,减少码流。采用SAO后,平均可以减少2%~6%的码流,而编码器和解码器的性能消耗仅仅增加了约2%。
自适应环路滤波(AdaPtive LooP Filter)
ALF在编解码环路内,位于Deblock和SAO之后,用于恢复重建图像以达到重建图像与原始图像之间的均方差(MSE)最小。ALF的系数是在帧级计算和传输的,可以整帧应用ALF,也可以对于基于块或基于量化树(quadtree)的部分区域进行ALF,如果是基于部分区域的ALF,还必须传递指示区域信息的附加信息。
并行化设计
当前芯片架构已经从单核性能逐渐往多核并行方向发展,因此为了适应并行化程度非常高的芯片实现,HEVC/H265 引入了很多并行运算的优化思路, 主要包括以下几个方面:
Tile:用垂直和水平的边界将图像划分为一些行和列,划分出的矩形区域为一个Tile,每一个Tile包含整数个LCU(Largest Coding Unit), Tile之间可以互相独立,以此实现并行处理;
EntroPy slice:EntroPy Slice允许在一个slice内部再切分成多个EntroPy Slices,每个EntroPy Slice可以独立的编码和解码,从而提高了编解码器的并行处理能力;
WPP(Wavefront Parallel Processing):上一行的第二个LCU处理完毕,即对当前行的第一个LCU的熵编码(CABAC)概率状态参数进行初始化。因此,只需要上一行的第二个LCU编解码完毕,即可以开始当前行的编解码,以此提高编解码器的并行处理能力;
H.264中已有特性的改进:相对于H.264,H.265 标准的算法复杂性有了大幅提升,以此获得较好的压缩性能。H.265 在很多特性上都做了较大的改进,如表1所示。
H.265对安防影响
谈到H.265,那么不得不提的一个公司就是海思半导体。因为不管H.265效率有多高,编码能力有多么强大,毕竟到现在都没有一个SoC芯片能内部集成H.265压缩,直到海思宣布将基于H.265/HEVC标准推出业界第一颗高清网络摄像机处理器Hi3516A。该处理器采用海思先进的H.265/HEVC算法,改善了H.265/HEVC标准固有的图像振铃效应,极大减少了大运动场景下的拖尾现象和块效应,并在保持与H.264/AVC相同图像画质下编码码流降低50%。同时,Hi3516A灵活的高性能ARM Cortex-A7处理器配合海思第二代智能分析协处理单元IVE2.0,提供车牌识别、周界防范、人脸识别等多达40种智能分析应用。并且可支持最大从3MP到5MP的高像素视频图像输入,是一颗彻彻底底的高大上的SoC芯片。相信随着这颗芯片的上市,将催生一大批的H.265设备生产厂家,而且海思聚集了一批国内顶尖的“铁杆粉丝”包括天地伟业、海康威视、宇视等几家作为基线客户将在展会同步展出H.265的样机,届时大家将实实在在感受到新技术带来的新格局。而且随着海思后端NVR芯片Hi3536的推出,那么H.265的整个生态链条将全部打通,从前端采集到后端存储全部都将实现一个新的跨越。与H.264/AVC相比,H.265/HEVC的最大本领是可以在维持画质基本不变的前提下,让数据传输带宽缩减至H.264/AVC的一半。同时其还支持最高为7680×4320的分辨率,因此不管是以后的4K或者是更高级别的超高清视频,我们同样可以通过H.265/HEVC格式进行编码,这样低码流会带来更低的存储空间占用又保证高质量的图像画质。可以预见在不久的将来,基于H.265编码的IPC和NVR将在安防市场大行其道,成为市场的主角。
结语
IPC未来的趋势一定是朝着高分辨率、高帧率、低带宽占用这三个方向发展,随着硬件技术的发展在该领域的高清晰度视频应用和发展的需要,H.265现在可谓是占据了天时、地利、人和。首先,在当前安防行业的发展速度非常迅速,高清晰度、存储、网络传输, 使得H.264解码编码算法的压力越来越难以支撑;其次,H.265标准算法的发展目标是提高高清视频编码、传输、解码效率,而且随着4K的普及越来越高的分辨率带来的海量存储也是一个必须要解决的问题,而解决这个问题非H.265莫属。最后随着海思Hi3516A的落地以及国内一线大厂的积极跟进,H.265毕终竟将会成为主流的视频压缩技术,在安防行业中取代H.264,引领安防发展进入的新的时代!