在过去很多年中,智能技术赢得了目光和人气,却没有获得大的市场进展,令人困惑。这篇文章将探讨如何把智能视频技术的应用从行业化解决方案和系统化的角度来看待,才能使其走向大规模应用。
大规模智能视频监控技术应用的必由之路
在过去很多年中,智能技术赢得了目光和人气,却没有获得大的市场进展,令人困惑。这篇文章将探讨如何把智能视频技术的应用从行业化解决方案和系统化的角度来看待,才能使其走向大规模应用。
智能视频分析技术的发展制约因素
随着用户对操作自动化水平要求的日渐增高,智能技术逐渐聚集了市场的目光,成为工程商、集成商、生产商和终端用户的宠儿。但是,在过去很多年中,智能技术赢得了目光和人气,却没有获得大的市场进展。
智能视频分析技术来源于计算机视觉与模式识别学科,是一种非标准的技术,业界没有一个所谓智能视频分析技术的标准。非标准技术要想获得大规模的应用很困难,因为不同行业用户的需求千奇百怪,而且没有独立、可靠与公众一致认知的衡量标准,测评显得非常困难,难以形成规模性的生产来降低成本,系统的互联互通也无法实现。如此一来,很难令用户对智能技术的应用慷慨解囊。
笔者认为,智能视频分析技术如果要想较快发展进入大规模应用的阶段,必须要解决三大问题:提出行业化智能技术应用解决方案、解决智能化的平台软件问题、进行行业化智能技术深度研发。
提出行业化智能技术应用解决方案
行业化解决方案是实现智能视频分析功能“标准化”的唯一途径。经过在整个监控领域对智能化技术做标准化是不现实的,但在众多重要而专业的领域中经过不断实践、提炼和深度研发,在该行业内部形成具有行业共识的“标准功能模块”是可行的,有利于将智能视频在该领域推向大规模应用。
解决智能化的平台软件问题
传统的平台软件无法操作智能设备,这是因为有几个重要的原因:1、智能视频分析系统与传统系统在报警信号的来源上有非常大的差异,前者来自视频内容本身的分析,而后者需要来自其它的传感器,如红外探头等。如何从视频内容中获得、处理、传递、存储、搜索以及视觉表达这些报警信息是智能系统必须要解决的问题,而传统的平台软件显然无法直接兼容性地解决这些问题。2、做智能研发的公司往往规模比较小而鲜有参与大型行业工程实践的经验和机会,难以有研发并完善平台软件的机会。而做平台软件的公司往往经过多年工程项目的积累,在传统的平台软件上已经做得很成熟,但是这些工程性的公司却缺少了智能核心技术。因此无法直接在自己的平台软件上添加对智能设备的控制,或者无法在平台软件后台进行直接的智能化处理,即使一定程度上可以在后台软件做一些基本的智能处理功能,也无法进行大规模的智能功能部署,因为后端的智能处理方式需要把前端图像通过数字化传输回来之后,经过数字图像的解压缩、智能处理、再压缩和存储的过程,非常消耗计算资源,因此实际上无法进行大容量的智能视频分析部署。由此可见,智能化的平台软件必须要获得解决。
行业化智能技术深度研发
行业应用过程中,不断涌现新的智能视频分析需求,这些需求和行业的应用紧密相关,未来的智能绝对不是简单的入侵报警、绊线检测之类的基本智能分析,例如可靠的人类行为分析、社会公众事件的识别、跨越场景的跟踪以及360度全景拼接技术等都成为智能技术深度研发的典范,深度研发的需求从本质上要求智能系统可以做到人眼和大脑协同工作相类似的效果。例如,在地铁的智能应用中,分析扶手电梯的运动方向、模糊估计人流堵塞程度以及在大型人脸数据库中做人脸的搜索识别等将成为主流需求。因此行业化的智能技术深度研发将是智能技术获得行业推广和广泛应用必须要完成的艰巨任务。
通过以上分析,我们可以看到,智能技术的非标准化特性正是阻碍它获得大规模应用的重要原因。要想在短期内解决上述问题,就必须通过行业化需求的提炼来把智能技术进行行业性的“标准化”,并解决智能平台软件问题,形成统一的智能化应用接口来连接前端智能设备与后端的智能化平台软件,同时需要不断解决行业应用中出现的深度智能需求,这样才有可能迎来智能技术大规模应用的春天。下文将分别从行业解决方案、智能平台软件与整合以及深度智能技术研发三个方面来做具体探讨。
智能解决方案
一个系统化的智能解决方案,需要从行业需求分析、产品形态、系统构架、平台软件四个方面来考虑解决。
从行业需求看解决方案
要提出一个解决方案,首先要理解清楚这个方案到底要解决这个行业的哪些需求。我们在应用过程中会遇到非常丰富的需求,每个客户都有不同的应用场景和期待。研发厂家不可能有足够的资源可以对所有的需求进行支持,但是我们经过长时间的分析发现,行业的客户需求有很高程度的重叠性,把这些重叠性加以提炼,就会得到“主流需求”,而且“主流需求”往往具备如下的特征:报警实时性的需要、要在某种事件触发的状态下获得更加细节信息的需要、自动化数据挖掘与共享的需要。因此,分析行业化需求的最有效方法是分析需求最多的应用场景,以及在这些场景中具有上述特征的“主流需求”,表1和表2以智能交通和智能安防为例对应用需求进行了分析。
表1 智能交通应用需求分析
表2 智能安防应用需求分析
[nextpage]
从产品形态看解决方案
产品形态要解决的问题包括根据“主流需求”的特征来选取不同的产品形态,同时产品形态的选择兼顾考虑安装的便利性、性价比、技术实现的难度等。
1、嵌入式智能视频分析服务器:可以选择不同的摄像机来做配合,是用户对已建成的系统进行智能升级的最佳选择,并且是不同特殊智能分析应用下的灵活之选(如烟火检测下需要摄像机具有良好的色彩还原能力时可以有更多的摄像机来源选择)。在较为分散的智能监控点中广泛使用,支持各种不同的通信方式,如WIFI和3G等,并支持前端存储、智能事件搜索和点播等。
2、一体化智能摄像机:可以支持高清智能化应用、安装简单方便、设计紧凑、方便维护,在功能上大体与嵌入式智能视频分析服务器相当。
3、多路混合型智能视频分析服务器:具有强大的多路处理能力,可以同时进行模拟和数字视频输入信号的智能处理、支持对高清IP摄像机信号源的智能分析、支持多路球机的智能分析功能,内置车牌识别和PTZ跟踪软件。这种设备具备多路处理能力而大大提供了性价比,并且支持模数混合型的智能化处理,对于工程商而言,在处理混合型监控系统的智能升级时具有不可比拟的优越性。同时由于连接了众多类型的设备,使得这些设备之间的融合变得简单容易,对于诸如跨越场景的跟踪、多路视频的实时拼接、协同式智能工作模式的支持具有非常良好的效果。
当提出一个系统解决方案的时候,必然要考虑不同的硬件产品形态来获得最终的产品功能、性价比、技术实现的可能性等。
从系统构架看解决方案
一个良好的解决方案,需要从如下的几个方面考虑系统构架可能涉及的技术与产品形态的选择。
第一,前端智能还是后端智能?
前端智能分析具有很强的优势,比如可以支持前端存储,无需进行图像的远程传输,并因此可以对图像进行高质量的前端存储,如果用户需要获得图像信息,则可以通过分布式事件搜索完成,并通过点播获得高质量现场画面。更重要的一点是,前端智能分析让每个独立的分析单元可以成为单独的智能监控单元,即使整个系统的网络都瘫痪了,这些独立的前端单元还可以继续独立工作、进行存储和报警,避开了系统网络通信瘫痪所带来的监控瘫痪的风险。
后端存储往往将智能视频分析功能嵌入在平台软件上,虽然这种方式可以通过以比较低成本的方式来轮询进行智能视频分析,但是有两个较为严重的问题:要在后端进行智能视频分析就必须对前端传来的图像进行解压再分析,这个过程占用了大量的平台软件终端设备的资源,实际上并没有降低成本,反而使得作为观看与浏览图像的平台软件运行终端运行效率大幅下降,甚至无法支持很多路的视频解压和显示。
也因为如此,从图像处理质量、智能分析的效率、实时性以及性价比上看,在后端进行大规模的智能视频分析是不合理的。并且,视频内容搜索时无法实现大规模场景下的视频事件搜索,这和前端分布式存储与搜索的理念是无法比拟的。因此后端智能分析的模式,只有在智能分析视频路数较少、存储和搜索规模要求不高的情况下才适合。
第二,DSP还是工控机?
智能算法在DSP和工控机上的实现各有优势,需要灵活选用。一方面DSP的实现方式非常紧凑、稳定,而且在监控点比较分散的时候具有非常高的性价比,安装调试与维护都方便;另一方面,工控机平台相对来说具有较为强大的运算能力,在硬件的设计与实现、智能算法的编程实现上相对容易很多,因此在多路分析、降低成本、运行复杂算法、支持高清分析等方面具有明显的优势。但是工控机平台在较为分散的监控场合不是很合适,会失去成本优势,而且其稳定性、散热设计等都必须加以考虑。值得注意的是,工控机方式的实现,既可以在前端使用,也可以在后端使用。
第三,分布式存储搜索与网络存储搜索
如前文所述,分布式存储搜索与网络存储搜索相比来说,前者在图像质量、搜索效率、带宽成本上具有无法比拟的优势,但是对于那些具有专用通信系统,无需担心网络带宽的用户来说,网络中心存储的方式具有较为安全的特点。
第四,一体化智能摄像机与嵌入式智能分析服务器。前文已经比较过这两种不同的产品形态可以根据不同的需要出现在系统的构架中。
第五,球机的智能
球机的智能视频分析功能一直是业界的一个难点,涉及到视觉技术中的运动计算以及智能厂家与球机厂家的技术开放与配合问题。球机的智能获得解决之后,将大大促进智能应用的广度和深度。大范围、宽广视野内进行智能化的应用成为可能,并且,复杂的跟踪技术、自动获取远程目标的视觉内容细节等都可以顺利实现。
第六,混合的智能处理
混合的智能处理,包括模拟与数字的混合、高清与标清的混合、固定摄像机与球机的混合、独立分析与协同智能的混合。这对于工程商与集成商来说是非常重要的,因为在工程实现中,不同情况的混合非常常见,特别是对现有已建系统进行智能升级的时候这种需求特别明显。
第七,高清与智能的结合
高清与智能的结合,是未来发展的主流,已经有不少厂家在高清摄像机上移植智能视频分析模块,在目前看来,CMOS高清智能设备在性价比上占有较强的优势,而基于CCD的高清设备内嵌智能视频分析功能时,在性价比上难以满足市场的需求。
第八,平台软件:智能视频的专业化与行业化
没有平台软件的支持,智能设备就不可能获得大规模的工程应用,道理很简单,如果用户无法通过平台软件去操作智能设备的话,大的工程项目上就不会看到智能视频分析技术与设备的影子!要想智能技术获得大规模应用,它必须要和专业化与行业化的平台软件“联姻”!
智能平台软件
兼容智能视频分析技术与设备的软件平台可以通过两种方式来实现:智能设备厂商研发专业化的平台软件、智能厂商向大型平台软件商提供整合方案与SDK。
智能设备厂商研发专业化的平台软件
从长远来看,智能技术研发厂商必须要实现专业化平台软件的研发,如果不能做到这一点,不但在市场上将会因为对第三方平台软件的依赖而陷入困境,而且难以迅速主动切入大规模应用的市场。
但现实的情况不容乐观,目前大部分的智能设备研发厂家规模都比较小,资金与技术力量都难以支撑从头开始做行业化的大型平台软件,而如果没有大型项目的支撑,这些平台软件的研发和完善几乎是不可能做到的。目前,一些领先的智能厂商,凭借强大的研发力量,以及良好的项目合作关系,已经开始了智能化平台软件的研发(图1为智能交通平台软件示意图)。
图1 智能交通平台软件 [nextpage]
智能厂商向平台软件商提供整合方案与SDK
大型平台软件商难以接受智能厂商的平台软件,基于两个重要原因:一是在技术上,大型平台软件往往经过了极长时间的研发和工程实践,在应用上已经非常完善和成熟,并形成了较好的品牌; 二是在商务利益上,平台软件商难以接受智能厂商提出的另外一套价格。想想看,大型的非智能平台软件已经很昂贵,何况智能的平台软件?如果双方合作,在智能设备与传统的平台软件上实现互联互通是双赢与明智的选择。
一般来说,智能厂商提出开放式的平台整合方案比智能设备自身去兼容各家的平台软件要容易很多,以某智能设备厂商为例,开放式智能协议构架包括设备接入SDK、报警管理SDK、算法设置SDK、流媒体SDK(见图2)。
图2 智能视频分析系统整合协议构架
设备接入SDK:提供智能前端向平台软件接入的标准通信方式与接口,往往与第三方平台软件的设备接入服务器进行对接。
报警管理SDK:提供基于智能分析结果的事件及报警信息的表达方式、数据描述方式、存储与搜索模式等,往往与第三方平台软件的业务管理服务器进行对接。
算法设置SDK:提供智能算法不同的参数设置、与前端设备信号流的交换方式等内容,往往与第三方平台软件做直接的融合对接。
流媒体SDK:提供流媒体传输接收、解压、存储以及基于时间、地点和事件搜索的接口,往往与第三方平台软件做直接的融合对接。
深度智能研发
如果可以检测车辆非法拐弯,而不能做车牌自动识别;如果看到有人入侵,但却无法看到入侵者的相貌和身材;如果可以跟踪一个对象,但是超越了一个摄像机场景之后就不能再进行持续性的跟踪;如果可以检测到人的流量,却无法判断是不是真正形成人流的堵塞这些都表明,如果没有在各个行业中展开深入的智能应用研发,现有的很多智能技术还只是“半吊子”,用户将无法从智能技术中获得完整的解决方案。以下来分析两个典型的智能研发需求的实例。
一、人流堵塞程度检测,这个功能在很多应用场合中广泛应用,特别典型的是在地铁中的应用。地铁月台或者过道,具有突然人流增加和高度堵塞的安全隐患。如果要在人流非常密集的地方做人数的精确统计是不现实的,因为不一定可以获得理想的摄像机安装位置,即使安装位置比较理想,由于遮挡、粘连、长时间拥挤、局部人流变化等原因,将难以精确估算人流数量。同时业主可能对堵塞程度的关心远远大于人流密度,因为人流密度很高而保持通畅流动的时候表示会是一个可接受的安全范围。因此必须把堵塞和密度两种智能分析判断做综合性的检验,这部分的工作需要做深入的研发和现场调试才有可能满足工程应用的需要。
二、图像拼接与跨越场景的智能协同分析,这个功能在许多场合中有巨大的市场价值,特别是在平安城市的应用中。在宽广的监控地带,如广场、边界、大楼门口、高速公路、大型十字路口等,一方面需要具备对宽广视野的全局把握,另一方面用户也希望对具备细节具有“无极放大”的能力,可以完成这个任务的一个技术方案就是使用多路图像的实时拼接技术与协同式智能视频分析技术来做应用整合,如图3所示。
图3 基于多路视频全景拼接与协同式智能跟踪
深度的智能研发需要具有独立自主的研发能力,需要强大的团队研发力量做保障。目前,大部分智能厂家还没有实现智能设备与功能上的创新,还停留在入侵检测、绊线、翻墙检测等等。不过,一些有远见和能力的行业领先者,如桂林远望智能通信科技有限公司等也已经开始了最新技术的研发包括高清智能化、模数混合分析、协同式智能、 模式识别、复杂跟踪、实时图像融合等。当然,要想真正实现中国“智”造,还需要所有国内智能视频分析厂家不断分析用户需求,从不同角度不断深化智能技术的研发。