视频分析技术的背景
    “美国国防部的研究表明，在一个非智能的视频监控系统里，一个工作人员监控两台监视器，10分钟后遗忘45%的内容，20分钟后会遗忘95%的内容”，这是近两年各个视频分析厂商推销视频分析技术及产品时经常用到的“话术”。由此可见，视频监控系统需要智能，系统需要具有能像人一样具有独立思考的能力，并克服一些人为监控行为的不足。

    众所周知，视频监控技术的发展经历了闭路电视监控时代、DVR时代及网络监控时代。在闭路电视监控时代，通过矩阵的控制切换功能实现对前端视频信号的选择并切换到指定监视器上，值班人员需要聚精会神地盯着监视器以试图发现可疑情况。由于摄像机与监视器并非一对一比例配置的，因此必然会漏掉一些信息。在DVR时代，视频监控系统已经实现了一定的数字化，利用视频编码及硬盘存储设备，可以进行大容量长时间录像，但是，DVR的功能侧重在“录像”上，因此，其主要作用通常是事后调查回放而不能防患于未然。虽然部分DVR设备实现了VMD（视频移动探测技术）的“初级智能”，但实际应用效果并不好，算不上视频分析。

    综上所述，闭路电视监控系统、数字视频监控系统有如下弱点：摄像机与监视器通常是按照“多对一”比例配置，无法监视所有通道；对于模拟电视墙，人的注意力不能永远集中监视并提早发现可疑行为；DVR/NVR通常是起录像作用，在需要时用于事后调查；DVR/NVR的检索功能单一，不具有智能检索功能。

    能否让计算机系统独立“读懂”视频信息，从而代替值班人员，实现对视频内容的自动判定及报警；能否将视频信息建立标签索引或特征描述，从而实现定制化的视频快速检索，是视频监控的发展之道，也是智能视频监控技术的核心，即视频内容分析IVS（Intelligent Video Surveillance）。图1为视频分析功能示意图，利用视频分析技术，可以在成百上千的原始图像中提取出异常视频，进而自动报警、显示及录像存储。

可实现的功能
    如果说摄像头和编码传输系统完成了“眼睛”的功能，那么视频分析便是担任“大脑”的角色。视频分析技术能够在图像及图像描述之间建立映射关系，使计算机系统能够通过图像处理和分析来理解视频信息中“发生了什么事情”，实质是“自动分析和抽取视频源中的关键信息”。这样，计算机系统便能够“读懂”视频信息内容，再为视频信息设置一定的规则，计算机系统将“读到的内容”与“设定的规则”进行匹配，一旦行为与规则完全匹配，便可以迅速报警或者索引出来。[nextpage]

    总结来看，智能视频监控系统主要优势体现在：快速的反应时间——毫秒级的报警触发反应时间；提前预警机制——在事件刚刚发生即快速报警；更有效地监视——安保操作员只需要注意相关信息；强大的数据检索和分析功能——能提供快速的反应时间和调查时间；带宽及存储资源的节约——系统可以按照VCA报警来传输或录像。

视频分析技术的原理
    视频分析技术通常采用背景分离（背景减除）技术来进行图像变化的检测（所有的视频分析模式，如入侵、丢包、逆行等都是一种模式的图像变化）。其思路是对视频帧与基准背景图像进行比较，相同位置的像素（区域）变化则认为是变化了的区域，对这些区域进一步处理、跟踪、识别，得到包括目标位置、尺寸、形状、速度、停留时间等基本形态信息和动态信息，完成目标的跟踪和行为理解之后，也就完成了图像与图像描述之间的映射关系，从而使系统进一步进行规则判定，直到触发报警。

    背景减除法是目前普遍使用的运动目标检测方法，其算法本身需要大量的运算处理资源，并且仍然会受到光线、天气等自然条件及背景自身变化（海浪、云影、树叶摇动等情况）的影响。但是，针对不同的天气以及自然干扰，已经有多种附加算法（过滤器）应用来弥补这些缺陷，随着芯片能力的提升及算法改进，相信视频分析技术会进一步成熟。

视频内容分析的关键技术
    前景目标的探测是视频分析技术实施的前提条件。背景减除法是目前视频分析技术中用于前景目标探测的最常见方法，其原理是利用当前图象和背景图象的差分（SAD）来检测出运动目标（区域）的一种方法。此方法可以提供比较完整的运动目标特征数据，精确度和灵敏度比较高，具有良好的性能表现，但对动态场景的变化，如光线变化情况也比较敏感。背景减除法的工作原理如图2所示，当前图像与背景图像模型做差后形成运动目标区域，即图中的小船。

    背景模型的建立是背景减除法的关键所在。通常，视频分析算法需要一定的时间进行“背景学习”，所谓背景学习，实质上是利用时间平均图像的方法，将背景在一个时间段（如30秒钟）内的平均图像计算出来，作为该场景的背景模型。那么，“背景学习”时间结束后，系统仍然需要具有“背景维护”的能力，之前建模的背景并不是一成不变的，这样能保证系统对场景内的图像变化不那么敏感，如光线变化、影子等等，因此，开发出实用、有效的背景模型以适应动态、复杂的场景是目标探测及视频分析技术的关键。

视频分析的工作流程
    视频分析实质是人工智能的一部分，是通过模仿人类的工作过程来实现的。人类通过眼睛这个“传感器”实现视频的采集、预处理、处理然后将真实图像传送给大脑，大脑并不是对所有传送过来的图像进行整体的分析处理，而是采用多层分级，将背景、缓慢移动及远处的目标分辨率最低化，忽略一些细节；并对前景感兴趣区进行二次聚焦（我们常说的眼前一亮就是这个意思），获得更多细节，然后对该区域进行判定。[nextpage]

    图3所展示的案例是日常生活中常见的情况，图像是一个地铁站台，画面中出现一个穿红色衣服的女子，手里拿着一个黑色包放到站台中的一个空地上，之后迅速离开。这是一个很普通的视频场景，值班人员对这段场景很容易迅速地提取出特征描述来，即“一个红衣女子将一个黑色包放在站台上后迅速离开”，而对这个简单的信息，值班人员利用眼睛采集到信息，首先是场景（站台），之后分离出感兴趣的前景目标（红衣女），之后对其跟踪，最后形成结论（丢下一个包），之后将整个过程的完整信息传给大脑去按规则判定。

    无论采用何种视频分析架构，其视频分析过程都是视频内容分析的算法模块“协力作业”的结果，视频分析基本过程如下（见图4）：

·加载算法过程：加载用户的预定义规则，如防区、分析模式等；
·过滤器加载：对特殊场景进行预处理如防抖动、雨雪、灯光抑制等；
·背景建模及更新：背景模型建立并自动学习更新背景情况；
·目标提取与跟踪：提取跟踪前景变化目标，检测并分析目标的活动；
·目标分类：对跟踪的目标进行分类，如人或车辆等；
·视频分析判断过程：根据规则判断是否符合预定义规则；
·触发报警过程：确定目标活动违反规则，根据预定义传输报警到指定的用户。

视频分析技术难点
    视频分析技术本身并不是一项新技术，但其在视频监控系统中的应用还仅仅处于起步阶段，它给视频监控系统带来了颠覆性的革命，具有美好的发展远景。目前，视频分析系统本身有一些技术问题有待提升，下面是一些需要克服的技术难点。[nextpage]

光照适应性
    通常，视频监控系统需要24小时昼夜工作，所处环境的光照情况也是一直处于变化中，如昼夜的交替、阴晴雨雪雾等天气条件，及外界光源干扰，如照明灯光、逆光、反光、车灯，还有室外云彩、云影的动态变化等，所有这些都对视频分析核心算法的光照适应性提出了严格的要求，优异的视频分析算法应该具有先进的背景学习、更新、维护功能。

自然天气变化
    雨、雪、雾、沙尘天气、烟雾、气流、云影等，体现的不仅仅是光照的变化，而是真正的图像像素变化，这些“小假象”会导致系统视为场景中有物体在移动，从而干扰了真正的目标探测，浪费系统资源，因此，需要采用“过滤”机制将这些干扰做过滤处理。

背景的高频率变化
    在视频图像背景中，可能出现摇动的树叶、晃动的波浪、光线反射、物体的反光、草地的微动等等现象，这些现象都可能造成画面像素出现变化，从而导致误报。系统需要具有先进的过滤器，实现对规则往复性、细小运动进行过滤，使其集中精力在前景。

高速移动目标
    视频分析系统基于自身算法及目前处理器的运算处理能力，通常对非实时视频图像进行分析（如每秒采用12帧或6帧），这样当像素的采用频率比较低的时候，视频分析算法需要连续分析一定数量的帧才能确定是否报警，而这时如果需要的分析时间长于入侵者通过防范区域的时间，入侵者可能已经完成入侵动作而导致系统漏报。

视频分析的架构
    目前，在实际应用中，视频分析产品主要有三种架构：一种是基于后端的服务器（软件算法运行于CPU）；第二种是基于前端的IPC或DVS；第三种是利用前端嵌入式视频分析设备（仅仅做视频分析，不做编码压缩工作）。其中，第三种方式是在嵌入式设备中固化视频分析模块，利用网络客户端进行远程配置与报警管理。三种架构也可以按照目前主流说法分成两大类，即前端分析与后端分析（见图5）。

[nextpage]    需要注意的是，对于视频分析功能，最根本的考核是性能，即良好的探测率和较低的误报率。其实视频分析架构方式并不是最重要的，其实质都是视频分析算法来完成的，只不过是运行平台不同，一个在DSP上，一个在计算机的CPU上，也不存在某种方式绝对好与坏，实际应用中应该根据项目的规模、前期设备的架构、用户的需求、网路建设等具体情况进行选择部署。

视频分析技术实施误区
    视频分析的设置本身并不难，通常步骤是：选择好视场、明确分析模式，然后进行防区、分辨率、灵敏度、各种过滤器的选择和使用。设置视频分析的过程很快，但是，对一个通道视频分析进行参数微调、现场模拟、参数修正、再模拟、算法优化、效果观察等工作却是一个漫长而复杂的工作。在各环节中，要解决 “提高探测率，降低误报率”的问题，必须长期地尝试和试验，这也是视频分析厂家实验室产品和真正可投入应用的产品的最大区别。

    视频分析产品的真正考量在室外环境，对于室内环境，厂商基本可以进行模拟试验，问题不大。但是对于大型户外项目，环境复杂、遇到的问题比较多，系统调试阶段工作量比较大，从调试到试运行，可能需要不止一次的现场模拟、参数微调、效果观察、统计、再模拟过程。每个项目有自己的特点、一个项目中各点位有自己的特点，各点位又有不同的应用需求，并且视频分析产品并非是“即插即用”的产品，因此必须针对不同的项目、不同的点位、不同的需求进行有针对地实施。

    视频分析技术具有一定的复杂度，国际上真正掌握视频分析算法的厂家并不多，从掌握算法、推出实验室产品到产品真正能够投入项目运行，还有很长的路要走。对于一些非常普遍的场景，在实验室中进行模拟有一定困难，因此许多厂家利用工程项目实施过程，不断修正参数以适应不同的环境，这并不代表厂家的产品不成熟，反而是厂家实力的体现。

如何选择视频分析产品
    视频分析系统涉及编码压缩、视频分析算法、系统平台等多种应用，因此厂家的行业经验积累、开发能力和对需求的理解等因素至关重要。产品发布时间早、成功案例多的供应商，其产品会越成熟和可靠。在复杂室外环境下的误报率和漏报率能反应厂家真正的实力，室外环境，风霜雨雪雾、高处物体或飞鸟的阴影、摇动的树叶、海浪、摄像机的风摆震动、室外建筑的反光等都可能是触发误报的原因。但优秀的厂家已经掌握了以上误报的解决方案并使VCA产品表现日益优秀。

    如前文所述，目前视频分析技术的架构方式主要是是基于后端服务器和采用DSP方式，两种方式没有孰优孰劣的问题。但值得注意的是，基于后端服务器的视频分析系统，可以灵活地调整所需要视频分析的通道及变更视频分析模式，而基于前端（DVS、IPC）的视频分析方式，由于是硬件方式，比较固定，一旦建设完成，如果想增加或取消视频分析通道，或需要更改分析模式可能需要硬件的更换或者固件的升级工作。具体选择何种视频分析产品，应根据自己的实际需求来决定。

     （本文作者西刹子系国家一级建造师，系统集成项目经理，8年安防行业设计、咨询、调试经验，具有大量的铁路、地铁智能IP监控行业经验，并建有自己的博客）