AVS-S标准是武汉大学国家多媒体软件工程技术研究中心率先面向安防监控制定的数字音视频编解码标准。AVS-S标准的顺利出台，将使我国安防产业摆脱没有自主核心产权标准的尴尬局面，为产业发展带来新的契机。那么，AVS-S标准具有哪些技术特色？目前标准进展如何？未来又该如何实现产业化发展？

AVS-S标准化历程
    视频信号压缩技术是数字化安防最为基础的技术，它是安防产业向数字化、网络化迈进的前提。安防产业经过多年发展，人们注意到，不同于传统的数字媒体产业，安防监控业务对视频编码存在一些特殊要求，这些需求包括：支持感兴趣区域的高质量编码，支持变化环境的优化编码，能适应多种网络情况，支持通过专网、互联网、无线网络等传输，支持位置信息等辅助信息叠加，面向存储的优化编码等等。

    当前安防产业仍然沿用ITU或MPEG组织的标准，由于这些标准制定时没有考虑上述需求，在利用它们开发安防产品时，并不能达到最佳性能。同时，我国安防产业从2000年不到100亿的产业规模高速发展到2008年近1800亿的产业规模，已成为国民经济的支柱产业之一，为了摆脱国外的专利风险，为安防产业的长期健康发展提供保障，制定满足安防监控应用的编码标准迫在眉睫。

    在这一背景下，作为我国多媒体安防监控领域的重要科研基地，武汉大学国家多媒体软件工程技术研究中心率先倡议制定面向安防监控的数字音视频编解码标准。在2007年6月AVS哈尔滨会议上，武汉大学团队联合公安部一所提出了面向视频监控的AVS标准(简称AVS-S)完整的技术需求，从视频编码、音频编码、系统安全等方面定义了安防监控业务中的音视频技术规格，AVS组织正式启动了AVS-S技术方案的征集和评估工作。

    AVS-S标准是AVS接下来两年中的一项主要工作内容。在2008年9月的AVS工作组天津会议上，视频专题组率先完成了完整的AVS-S视频编码标准，这是全球范围内首个针对视频监控需求制定的视频编码标准。2009年3月在杭州举行的AVS标准工作组第28次会议翻开了历史新篇，其最鲜明的特色是走国际化道路，在本次会议上，AVS-S的标准文本最终确定下来，并将其定为AVS的伸展档次，同时例行进入90天的内部审阅期。AVS-S音频部分工作启动稍晚些，目前还处于WD文件起草阶段。

    AVS组织专门为安防监控业务量身定制标准，这一工作在世界上属于首创，具有非同寻常的意义，相关工作引起了国际同行的重视，AVS工作组正与MPEG国际标准化组织协商，以视频标准的伸展档为基础，制订国际安防监控音视频压缩与处理标准MPEG-S，这将进一步推动国际安防监控行业标准化进程和技术进步。应MPEG组织的邀请，在今年4月召开的第88次MPEG大会上，中国代表团正式提交了MPEG-S的需求草案。

    AVS-S的顺利出台，将使我国安防产业摆脱没有自主核心产权标准的尴尬局面，为产业发展带来新的契机。采用AVS-S对普通DVR、DVS等前端监控产品升级后，将使压缩码流具备更好的可伸缩性，满足了在不同带宽传输能力的异构网络上传递监控图像的要求，同时也便于手机、大屏幕电视墙等不同显示分辨率的监控终端融合到统一的监控平台中。在3G移动通信蓬勃发展的今天，AVS-S标准必将促进以手机视频监控为代表的移动监控业务的广泛应用。

AVS-S的技术特色
    在AVS-S视频标准制定过程中，一共有16项视频提案被采纳，分别涉及感兴趣区域（ROI）编码技术、背景帧技术、灵活条带集技术、核心帧技术、非参考P帧技术、改进的运动矢量缩放、场景模式编码技术、受限的DC预测模式等多个方面。其中，ROI、背景帧技术和场景模式编码技术最富特色，下面就三者简单介绍。[nextpage]

ROI编码
    重点目标和特殊区域的图像清晰度是安防业务对监控视频最重要的技术需求，AVS-S采取ROI编码技术来满足这一要求。与传统的无差异性编码不同，感兴趣区域算法将监控图像根据重要性划分为不同的区域，不同区域采用不同的压缩策略，将有限的资源分配给车牌、人面部等权重高的重点区域，以此保证监控录像满足公安的交管、刑侦等业务对高效视频压缩技术的实际需求（如图1）。AVS-S中的ROI技术主要由武汉大学提供，这也是ROI技术首次被AVS标准采纳。

    需要提出的是，目前对象分割算法的复杂度是非常高的，精细准确的分割对象很难实际应用。所以，针对视频监控的特殊需求，往往只考虑对目标物体所在的区域进行区分。在许多的监控应用领域，如对银行ATM机的监控、小区门口的监控等等，主要监控区域是固定的，可以在压缩标准中提供交互接口，预先设定需要高清编码的区域。

背景帧
    在视频监控应用中，监控图像的内容一般不会发生太大的变化，因此可以将监控场景的背景图作为长期参考帧，保存在编码器和解码器中，以提升视频编码的编码效率。背景帧技术就是根据监控图像的这个特点，在编码过程中，引入背景帧和背景预测帧两种新的帧类型，并且背景预测帧只能参考背景帧，编码过程可以用背景预测帧替代原有的I帧，进而提升编码效率。

场景模式编码技术
    场景模式编码技术则考虑如何让视频编码器更好地适应监控场景的多样性。在视频监控应用中，使用监控摄像的应用场景多种多样，例如，室内监控，室外监控，红外监控等。即使是同一监控场景，因为环境光照变化，拍摄的监控序列特性变化也比较显著，存在白天、夜晚、阴雨天、雨雪天等不同气候条件。这些监控的应用场合变化或环境光照的变化对视频编码器的编码性能影响比较大，使用同一种编码方法对这些不同场景的序列进行编码将导致视频编码器的编码效率下降。

    针对这种情况，AVS-S采纳了场景模式编码技术，将输入图像序列按照不同场景，分成不同的场景序列进行编码。将确定的场景模式及其场景特征参数输入到视频编码器中，并将场景模式和模式参数编码后输入到编码码流中。图2给出了通过场景模式及场景模式参数来控制缩放、量化编码过程。[nextpage]

    经初步的性能测试结果表明，AVS-S的编码性能达到了和H.264相当的水平。在背景相对静止（摄像头不动）的典型监控序列上，AVS-S比H.264有明显的性能提高，并且AVS-S抗误码能力出色，具有可分级功能，支持感兴趣区域编码，能够满足安防监控的特殊需求。

AVS产品化之路
    基于历史原因，监控市场仍以广泛使用的国际音视频编码标准，如H.263、MPEG-2、MPEG-4、MPEG-4 AVC（简称AVC，也称JVT、H.264）等为主流，其核心技术专利和知识产权都被日本、欧美等国的少数公司和科研院所垄断。对于中国的安防产业来说，知识产权与专利收费问题的压力将不断增加，由此对企业生产经营的负面影响也将日趋突出。在核心标准上受制于人将极大地阻碍我国安防产业的健康持续发展。

    AVS产业化的最佳模式是设计高性能DSP芯片加AVS编码算法，便于厂家快速设计和开发产品，而避开复杂的AVS算法。这种模式具有软件算法灵活可调的优点，方便扩充算法功能。该硬件方案采用模块化设计，根据功能的不同主要有音视频编解码模块、音视频信号数模变换模块、外部存储模块（DDR2存储器、NOR Flash、NAND Flash、硬盘、SD卡等）、CPLD逻辑控制模块、10/100M自适应以太网通信模块、USB接口模块、红外遥控模块、键盘控制模块、云台控制模块、GPS定位模块、CF无线网卡模块、串口（包括RS232和RS485）、电源管理模块和总线扩展槽等模块组成。该模式不仅能同时满足视频应用对运算能力和控制功能的要求，而且大大简化了系统设计的复杂性。

    在我国，大部分监控设备厂商尚不具备AVS编码算法的研发能力的现状下，该模式很好的满足了现在嵌入式视频应用领域对处理器芯片的要求，很有可能成为今后视频应用处理器芯片的主流解决方案。

    视频监控系统中存在的信源、信道、终端等多种异构性，使得各视频监控系统中的海量视频资源难以高效融合，无法保障监控系统跨行业跨区域的互联互通、共享共用。因此如何突破异构网络环境下信源、信道、终端之间差异造成的互联、互通、协同工作的技术瓶颈，实现各类监控报警系统海量音视频资源之间的融合，成为当前视频监控系统亟待解决的关键问题。具体主要包括以下方面。[nextpage]

    （1）信源的异构性：在视频监控领域目前存在多种信源编码格式，包括MPEG－4、H.263、H.264、AVS等。这些不同的编码格式适用于不同的应用场景，例如MPEG－4适用于交互式对象编码、流媒体应用，是面向对象的编码标准；H.263适用于极低码率的应用场景。因此，如何适应信源编码格式的异构性是当前视频监控系统的一个挑战。

    （2）信道的异构性：在视频监控领域目前存在多种传输信道，包括ISDN、xDSL、GPRS、CDMA等。其中与有线信道相比，无线信道的带宽较低，通常只有几十Kbps，误码率则较高，可以达到10－3－10－5。而且不同的无线信道具有不同的带宽和误码率。因此如何适应信道带宽和误码率的异构性是当前视频监控系统的一个挑战。

    （3）终端的异构性：在视频监控领域目前存在多种终端设备，不同的终端如PC、掌上电脑、手机等具有不同的计算能力和显示能力。如MOTOROLA A780型号手机最大仅支持播放320×240、15f/s的视频。因此，如何适应终端计算和显示能力的异构性是当前视频监控系统的一个挑战。

    上述视频监控系统中存在的信源、信道、终端等多种异构性，使得各视频监控系统中的海量视频资源难以高效融合，无法保障监控系统跨行业跨区域的互联互通、共享共用。因此如何突破异构网络环境下信源、信道、终端之间差异造成的互联、互通、协同工作的技术瓶颈，实现各类监控报警系统海量音视频资源之间的融合，成为当前视频监控系统亟待解决的关键问题。而近年来逐渐成为研究热点的视频转码技术正是解决这一问题的有效途径。

    视频转码是一种将已压缩的视频数据从一种格式转换为另一种格式的技术。其中视频数据的格式参数包括信源格式、分辨率、码率等。相应地转码也主要分为：信源格式、降码率、降分辨率等多种转码。

    在异构网络环境下，通过视频转码技术进行格式转换是保障监控视频整合和共享的有效手段，如图3所示。

    对于视频转码，最简单的方案就是全解全编：解码器将输入码流完全解码成原始视频序列，编码器再将这个视频序列编码为目标格式。但是这种方案没有利用转码输入视频流的信息，因此转码效率很低。因此如何基于转码前后视频流的相关性，在已知输入视频流特征信息的条件下尽量提高输出视频流的转码效率，是视频转码的核心问题。目前基于信息重用的视频转码方案可以大致分为四种：像素域闭环方案、开环方案、频率域闭环方案、快速频率域闭环方案。

    AVS有望在今后成为视频监控领域的主导编码标准，但其大规模应用尚需时日，故构建高效MPEG-4到AVS转码器可以缓解目前AVS视频码流紧缺的压力，实现AVS标准的平稳过渡。[nextpage]

·充分利用城市范围内现有的各类图像资源，通过开发多功能转码器将分布在城市各处的具有不同图像编码格式、不同接入带宽的图像监控系统连接起来；
·转码器能够支持主流的视频编码格式标准及监控网上通用的图像尺寸；
·转码系统可以根据网络带宽实现对输出图像码率的控制；
·转码后的图像质量损失小；
·出于安全性考虑，对监控图像的访问和浏览必须是实时的，从而要求转码器转码速度不得低于25fps。

产品化关键点之思考
    AVS编码效率的研究，是AVS编码器达到实用的关键所在。下面分别给出这几方面的应用技术方案。

AVS视频编码算法的编码效率优化
    考虑与现有的视频编码标准兼容互通问题，此无线视频编码框架中的码流结构和语法采用AVS标准，保证在低码率下编码性能优越且计算量小，保留那些对编码贡献较高的编码工具和选项，获得最经济的编码方案，具体如下：

·帧内预测：通过邻块中已解码的相邻像素对4x4小块进行预测，其中亮度采用5种预测模式，为DC预测、水平、垂直、右下对角和左下方向的空间预测，色度采用4种预测模式，为DC、水平、垂直和PLANE预测；
·帧间预测：采用多种块模式组合的运动补偿，块模式大小为16x16、16x8、8x16、8x8；运动向量的精度为1/4像素；参考帧为1~2帧；预测时块匹配标准采用SAD公式计算；
·整数变换：采用4x4大小的整数变换，变换系数为1、2基，变换与量化同AVS；
·熵编码：CAVLC编码，同AVS标准；
·环滤波：按块模式分类的不同强度的去块滤波器，参考AVS标准中的定义。

AVS视频编码算法在DSP上的运算效率优化
    无线通信设备大多为电池供电的手持设备，通信耗电最小一直都是移动通信的基本要求。在多媒体通信中，手持设备的功耗主要包括通信能耗和计算能耗两个方面，因此其计算能力远不及固定设备。同时，移动设备的成本限制制约了其存储空间和显示能力，在此环境下的无线视频应用，编解码计算量和内存要求必须适合当前移动设备设计和制造水平。为减少计算量，必须在保证大致相同编码质量和效率的前提下提出可替代的快速算法，并在高效实现过程中考虑内存占用问题。

    因此，以效率优化为主要研究目标。拟采取如下综合优化手段：代码优化、关键算法的优化、数据结构优化、程序流程的优化、编译参数优化、结合体系结构的优化。每种优化策略都紧密结合处理器的硬件体系结构展开。

面向低功耗的快速模式选择算法
    在混合编码框架下，支持多编码模式编码。如果利用Rate-Distortion Optimal工具来优化，会将所有编码模式全部循环一遍，会带来计算复杂度的巨大增加，使功耗上升。在编码效率和计算复杂度间进行平衡，需要对当前块的编码模式进行有效的估计。

    AVS-S的所有可能的编码模式分为三个层次，如图4所示：[nextpage]

    第一个层次将所有的预测模式按照去除冗余信息的类型分成两个类别，帧内预测（Intra prediction）和帧间预测（Inter prediction），这个层次的模式选择下文统称为Intra/Inter模式选择。第二个层次是根据预测模式块的大小进一步分类，其中帧内模式又可以分成Intra16×16、Intra8×8、两种大小，这三个类别之间的选择下文统称为Intra预测块大小选择；帧间预测模式可以分为16×16、16×8、8×16、8×8四种块大小。第三个层次是按照帧内预测的方向进一步细分，每一个不同的方向为一个Intra预测模式，这个层次的选择称为Intra模式选择。

AVS视频编解码算法的鲁棒性能优化
    互联网或3G无线网络丢包、误码、延迟问题突出，带来对差错敏感的压缩视频还原质量严重退化，而实时视频传输对时延敏感，出错数据不可能重传。因此，需要在视频编解码算法中实施容错技术来减轻传输过程中的差错干扰。

    抗错性视频编码工具是研究得最早也是研究成果最多领域，其研究成果已经被H.263+、H.263++、MPEG-4、H.264等视频压缩协议广泛采用。它通过修改标准压缩算法的语法或语义结构来增加一定的冗余信息，达到在出错情况下解码器更快地重同步或使错误隐藏效果更好的目的，因而非常有效。但是，H.264等标准中采用的容错工具只是定义了语法和语义，并没有定义具体的实现算法（类似运动估计这类开放的问题），所以，研究计算效率高、容错性能优异的控制算法是容错编码工具在应用中需要解决的迫切问题。

    容错编码技术通过添加冗余信息增强信道传输的鲁棒性，但却牺牲了编码效率，帧内编码可以有效阻止差错扩散，但是编码效率不高，必须解决信源编码效率和信道传输鲁棒性之间的矛盾，在优化端到端的总体失真度的基础上进行编码模式的合理选择。

    为抑制错误的帧间扩散，通过解码器的反馈，编码器自适应地插入帧内宏块。在视频编码中插入一定数量的帧内模式的宏块或I帧可以有效地控制视频编码中的错误扩散。但是过多地插入帧内模式的宏块和I帧会导至编码效率的下降，产生端到端的时延。可以看出，如果要求视频编码提高出错抑制性能、增强鲁棒性，就必然会降低视频编码的效率，传输数据增加，产生时延。为此必须利用端到端的RD模式优化，使编码效率和容错效果达到最佳平衡，最终在网络接收端得到最佳的视频质量，从而优化网络视频通信系统的性能。

    视频信源编码器在做运动估计、编码模式判决和码率控制时都是基于率失真模型的，传统的率失真模型只是考虑信源编码失真，没有考虑信道传输的失真（如误码、丢包），因此，将这个模型直接应用于容错视频编码会产生较大的模型失真。所以，需要建立一个面向IP分组丢失信道的率失真估计模型，该模型能准确表示信道统计和瞬时特性，并能将预估结果提供给编码和传输层算法使用。

    综合AVS视频编码方案的鲁棒性和实时性的考虑，采用如下差错控制编码解码技术：基于编码器的差错弹性编码、基于解码器的错误掩盖、编解码交互的差错控制。（本文由国家多媒体软件工程技术研究中心胡瑞敏、张晋东、王中元提供）