要使网络视频监控系统智能化,其最重要的产品形态就是使网络摄像机智能化。这样,所监控的视频图像,经过前端智能网络摄像机的分析识别后,可只将有异常的图像传输到后端去记录与显示,因而可大大减轻网络的负担。但如何使高清网络摄像机(1280×1024)的富余CPU资源,嵌入哪些智能视频分析与识别的软件算法到网络摄像机中,是目前国内外安防学者研究的重点之一。本文介绍一种新的单路高清IP网络摄像机的功能模块方案、并在此基础上嵌入智能功能组成智能网络摄像机,文中还介绍了其组成方案、设计原则与要点,以及应具备的合适的智能化功能等。
众所周知,拾取所监控的光电图像要靠摄像机,而模拟摄像机只能传输单向的视频信号,其性能受制于DVR和操作员的水平。但网络摄像机能够传输全双工的数字化信息,并能够与系统内的其它设备有效集成,使它们能够在一个分布式、可扩展的环境下达到更高的性能水平。网络摄像机可以与多个应用系统并行通信,以实现各种不同的功能,例如侦测画面中的运动情况,或发送不同格式的视频流等。带有IP地址的摄像机更加方便组网,因为它不需要进行额外的模/数转换,也不需要在摄像机端安装发送设备,所以摄像机的尺寸将会越来越小,而这也更便于隐蔽,是安防监控系统所需要的。
网络摄像机将传统摄像机和电脑的功能整合到了一起,它不仅将视频信号数字化并压缩,还拥有一个网络接口。其视频通过IP网络传输,并记录在装有视频管理软件的标准PC上。用网络摄像机组成的网络视频系统是一个真正的网络视频系统,同样也是一个完全数字化的系统,因为没有使用任何的模拟设备。所监控场景的视频信号,从网络摄像机持续不断地通过IP网络进行传输,无论浏览者所处何处,摄像机都能给浏览者提供稳定的图像质量。因此,网络摄像机最适于应用在平安城市的网络安防监控系统中,而要建设成智能网络安防监控系统,首当其冲的应使网络摄像机智能化。这样,所监控的视频图像,经过前端智能网络摄像机的分析识别后,可只将有异常的图像传输到后端去记录与显示,因而可大大减轻网络的负担。但如将智能软件算法全部加入前端网络摄像机中,由于其本身的CPU资源有限,往往需要提高前端设备的配置或者使用专用的视频分析仪器共同作用,这样会使设备的体积与成本大大增加,因而也不是用户所需要的。
由此,如何充分利用网络摄像机的富余CPU资源,嵌入哪些智能视频分析与识别的软件算法到网络摄像机中,是国内外安防学者研究的重点之一。本文介绍一种新的单路高清IP网络摄像机的功能模块方案、并在此基础上嵌入智能功能组成智能网络摄像机,文中还介绍了其组成方案、设计原则与要点,以及应具备的合适的智能化功能等。
高清IP网络摄像机的功能模块解决方案
与普通的摄像机相比,网络摄像机的内部主要是增加数字化处理与数字视频压缩以及网络接入功能,即将数字化的视频信号转换成符合网络传输协议(如TCP/IP协议)的数据流,以便送到网上传输。因此,一台网络摄像机可以被看作是一台摄像机和一台电脑的结合体。它能够捕获影像并直接通过IP网络进行传输,从而使授权用户能够通过标准的基于IP的网络基础构架,在本地或者远程地点实现观看、存储和管理视频数据,或者监听该摄像机内置麦克风采集的现场声音。
由于网络摄像机上还有通信(COM)接口,使网络摄像机具有控制数据的捕获及转换功能。因为通过COM接口可与外接的解码器相连接。因此,网络上任一授权用户的PC机,就可通过网络传输经由摄像机COM口,对其外接的解码器发送指令,使摄像机云台与镜头根据需要动作。同时,该COM接口也可以从前端接受数据,并传输到网络上的任一台PC机上。
网络摄像机上还有报警(ALARM I/O)接口。这种报警信号接入端子可以接收由各类报警传感器传来的开关量信号,并对其进行编码,而后送入TCP/IP网络,通过应用软件对该报警信号进行各种联动响应设置(如发出声、光报警与进行报警录像等)。[nextpage]
由于每台网络摄像机都拥有自己独立的IP地址,能够直接连接到网络,并内置Web服务器、FTP服务器、FTP客户端、Email客户端、报警管理、可编程能力以及其它众多的功能。网络摄像机无需与PC机连接,也可以独立运行,并可安置在任何一个具备IP网络接口的地点。除了视频信息之外,网络摄像机还能够通过同一网络连接去实现更多其它的功能,并传输其它一些有用信息,如视频移动侦测、音频、数字化输入和输出(可用于实现报警联动,如触发警报或激活现场照明等)、用于传输串行数据或进行PTZ设备驱动的串行端口等。网络摄像机中的图像缓存,还可以保存并发送报警发生前后的视频图像。
因此,IP网络摄像机可将获取的视频源在本地进行预处理、压缩,然后通过IP网络进行远端传送与存储。其重要组成部分包含视频预处理、视频压缩以及IP网络视频(Video-OverIP)功能。目前,IP摄像机的输入数据格式是:1路D1/25帧/s+1路CIF/25帧/s,这样通常可用1片Cyclone Ⅱ EP2C35和1片低成本处理器来实现。
由于目前IP摄像机的分辨率正在由标清D1逐步进化到高清(1280×1024),并且必须进行本地实时压缩,因而只能采用硬压缩方式。如果采用多片DSP处理器,则将使系统成本、集成度和功耗增加,而让用户无法接受;如果采用单片低成本的FPGA器件,则性能又无法满足设计要求,但若采用单片高性能的Stratix系列FPGA器件,则可达到要求。因为这种器件是具有相对应的结构化ASIC Hard Copy系列器件,它还可进一步将成本降低到1/10,并降低50%的功耗。因此,采用这种FPGA器件的单路高清IP摄像机的功能模块如图1所示。
图1中,视频输入预处理部分(含滤波、缩放等功能),可以用Altera公司的VIP套件实现。而1路1280×1024/25帧/s+1路CIF/25帧/s与H.264视频压缩则均将在FPGA硬件中实现。NiosⅡ处理器和VoIP参考设计可实现视频到IP网络的映射,并在以太网上传输。
此外,还可通过连接一片低成本的DSP处理器,来协助做一些视频码流的分析工作,虽然这些工作的逻辑关系比较复杂,但对性能要求并不高。采用Altera公司自定义的片内总线Avalon和SOPCBuilder系统集成工具,可将所需外设自动集成互连在一起,从而可大大提高设计效率。[nextpage]
由于平安城市建设的需要,更加推动了视频监控的发展,从而也推动了FPGA在这一领域的应用。尤其现在要求多通道、高清晰、网络化、通信接口高速化、智能化,都促进了FPGA在这一领域的进一步发展。反之,FPGA的芯片技术、IP核、参考设计的进步和更新,又推动了视频监控的发展。
实现智能网络摄像机方案的组成与原理
通过前述的采用单片高性能的Stratix系列FPGA器件的单路高清IP网络摄像机的功能模块方案,加上嵌入的智能软件算法模块即可组成智能网络摄像机。
显然,一台智能网络摄像机,即由摄像镜头、CCD或CMOS成像器件、A/D与预处理部分、智能软件算法模块、编码压缩模块部分与网络接口模块等六部分组成。因此,智能网络摄像机的解决方案,其组成与工作原理框图如图2所示。
由图2可知,摄像镜头收集所监控场景的光学图像,并将它们聚焦成像到CCD或CMOS成像器件的感光面上,其转换输出的视频电信号经A/D变换与去除噪声、图像增强等预处理后,再送入嵌入智能软件算法的模块中。智能软件算法是智能网络摄像机最重要的部分,其算法的优劣、异常信号分析识别的准确与否是该摄像机能否实用的关键。当智能网络摄像机开始进入监控状态时,会把所监控场景的图像经编码压缩通过网络传输到监控中心,然后就只将有识别异常的信号,才经编码压缩,通过网络接口送到网络中传输,这样就可大大节省网络带宽的资源。
由于通过视频压缩后传输,会失去一部分真实信息并产生一些噪音信号,这时用智能软件对压缩后的视频进行分析与识别处理,相对会有更多的漏报警和误报警。而本方案的智能网络摄像机是对没有压缩的原始图像进行目标提取,就显然没有上述问题。并且,它只有在出现异常需预/报警的情况下,才需要把相关的视频发送到后端进行监视和记录,而一般情况下只需要通过网络传送很少的目标数据信息,这些目标数据信息的流量还不到视频流量的1/50,从而减少了对网络带宽的要求和消耗,减少了用户在网络方面的投资,而同时对网络条件不是很好的用户也带来了使用智能视频网络监控系统的可能。
因此,实现智能网络摄像机方案的重点是,选择与设计好的智能软件算法,然后将其嵌入DSP或与FPGA中,以形成智能软件模块部分。
智能网络摄像机方案的设计原则及要点
实现智能网络摄像机方案的设计原则及要点主要有以下几点。
模块化设计
这里所说的模块化设计,主要是使智能化功能模块化。个人认为,上节所述的可嵌入智能网络摄像机中的8个智能化功能,除前3个最基本的功能每个摄像机都需要而组成一个模块外,其余可单独组成。这样比较灵活方便,可以根据实际监控地点的需要而选取不同的模块装入,从而可减少资金投入,工程商也愿意接受。因此,进行模块化设计不仅可以给生产厂家带来方便,也非常适合实际中的需要。 [nextpage]
可靠性设计
任何产品均需进行可靠性设计,即要求系统所设计的结构合理、产品经久耐用、系统运行稳定可靠。这样,必须进行EMC设计,要可抗EMI、防雷电及各种干扰等,以便能适应各种恶劣气候环境而不出现故障。
人性化操作设计
所谓人性化操作设计,即非常适合于人的简单方便的操作使用。如尽量采用按键式操作,要有明确的指示灯和喇叭提示,在它安装得隐蔽与高的情况下,还可使用遥控器,将日常操作集中在遥控器上。
实用化设计
所谓实用化设计,即系统非常实用,操作使用简单方便、环节少、易学。能自动地方便地进行功能设置,以及与防盗、防火、门禁等系统联动,自动化程度高,使系统能在实际可能发生受侵害的情况下及时预/报警。此外,还要求有自检功能,并将自检结果定时上报给管理中心,接受管理中心监控,以便出现故障立即维护。
经济性设计
在考虑系统经济性时,除考虑降低系统的研发成本、生产成本外,还要顾及系统的使用成本,即已包括使用期间的维护费、备件费等。
为获得较高的性价比,设计时不应盲目追求复杂高级的方案。在满足性能指标的前提下,尽可能采用简单的方案,因为方案简单,意味着结构简单、可靠性高、成本低。
在上述因素综合考虑后,再选择确定适当的方案。
智能网络摄像机应具备的智能化功能
利用网络摄像机的优势而形成的智能网络摄像机,是嵌入有智能化功能的网络摄像机。一般,可充分利用前端网络视频设备所富余的CPU资源,来实现一些基本的智能视频功能。并且,除普遍应用的智能功能外,还可在此基础上,根据不同的应用嵌入一些不同需要的智能化功能。
可嵌入网络摄像机中的智能化功能包括以下几种。
监控摄像机普遍需要的智能化功能
1、有视频遮挡与视频丢失侦测的识别与预/报警功能
在一个大型的安防监控系统中,监控中心的值班人员所能顾及或者查看的最大可能是几十路视频图像。如果系统中某一路视频图像被遮挡或丢失时,大多是这一路摄像机被人为遮挡或破坏或本身故障(如切断供电线路或电源损坏问题等)等,而值班人员很难在第一时间发现,这有可能会带来重大的安全隐患。但当系统具有视频遮挡或视频丢失侦测感知的智能识别与预/报警功能时,值班人员则能第一时间根据声光报警去进行查看与处理,从而可消除视频图像被遮挡或丢失所造成的安全隐患。
2、有视频变换侦测的识别与预/报警功能
在一般的网络安防监控系统中,当其中某一路视频图像变换了(即不是原设定的设防点的视频图像范围)时,这多半是罪犯想对原设防点实施犯罪而移动了摄像机或摄像机受到较大的震动而移动等,值班人员在第一时间也很难发现。但当系统具有视频变换侦测感知的识别与预/报警的智能功能时,值班人员则能在第一时间根据声光报警进行查看与处理,从而可消除视频变换所造成的安全隐患。[nextpage]
3、有视频模糊侦测的识别与预/报警功能
在智能安防监控系统中,当侦测到其中某一路视频图像模糊,即可能是摄像机镜头被移动(即焦距丢失),而引起的原设定的视频图像模糊不清等时,即可自动启动录像、定点显示与预/报警。这样,值班人员则能第一时间去进行查看与处理,以消除安全隐患。
当然,在高速球或一体化机,也可配置快速(t≤1s)自动调焦系统解决。
根据不同的应用嵌入的智能功能
1、可嵌入对各种天灾的检测识别与预/报警的智能功能
在平安城市的建设中,还必须有对城市火灾与水灾的水位、危房、桥梁易断处、道路危险路段或铁路公路旁易发生山石崩、雪崩以及地震站侦测地震等的地方进行检测、识别与预/报警的智能功能。通常,安置带十字刻度标尺的摄像机去进行监测。当视频设防点的视频图像移动到十字标尺的某一警告刻度时,所嵌入的智能软件算法即能自动启动录像、定点显示与预/报警,从而使值班人员能第一时间根据声光报警去进行查看与处理,以防止各种灾害带来的危害。
2、可有视频移动侦测的识别与预/报警功能
在智能安防监控系统中,必须至少有视频移动侦测的预/报警功能,这尤其在银行、珠宝店、商店、仓库、财会室、军械室、保密室、博物馆、油库以及一切重要的监控的场所对安全性要求比较高的地方均需设置。当然,这一功能必须要滤除老鼠、猫、狗等小动物以及由光线变化等环境带来的干扰,尤其在如雨雪、大雾、大风等复杂的天气环境中,要能精确地侦测和识别单个物体或多个物体的运动情况,包括其运动方向、运动特征等。此外,视频移动的检测区域还可单独地进行开或关,以适应特殊时间段各出入口、大厅、停车场等的要求等。
当侦测与识别到是不认识的移动人体侵入时,即自动启动录像、定点显示与预/报警,使值班人员能第一时间根据声光报警去进行查看与处理。并且,还要能根据其运动情况,自动发送PTZ控制指令,使带云台的摄像机能够自动跟踪物体。如人体超出该摄像机监控范围,也能自动通知人体所在区域的其它摄像机继续进行追踪,直到抓捕罪犯。
3、可有出入口人数统计的智能功能
可嵌入出入口人数统计功能,该功能可通过对摄像机所监控的画面进行分析,自动统计计算穿越国家重要部门、重要出入口或指定区域的人或物体的数量。
这一智能化功能的应用,还可广泛在服务、零售等行业用来协助管理者分析营业情况,或提高服务质量,如为业主计算某天光顾其店铺的顾客数量等。
4、可嵌入人群注意力及拥堵等检测识别与预/报警的智能功能
该项智能化功能,能识别人群的整体运动特征,包括速度、方向等,用以避免形成拥塞,或者及时发现可能有打群架等异常情况。其典型的应用场景包括超级市场、火车站、娱乐场所等人员聚集的地方。
此外,还可统计人们在某物体前面停留的时间。据此还可以用来评估新产品或新促销策略的吸引力,也可以用来计算为顾客提供服务所用的时间等。[nextpage]
5、可嵌入非滞留爆炸物或可燃等危险物品的检测识别与预/报警的智能功能
该项智能化功能,主要用于对重要设施或公共场所等处的可疑滞留物体(如可燃、化学与爆炸等危险物体)超边预定时间段还未取走等异常行为,进行处理、识别,并锁定跟踪与预/报警,从而尽快排除,以保障人民生命和财产的安全。
6、可有自动开关灯光、调整光强与识别有否外人侵入的智能功能
在党政机关、学校、企业和大型家居环境,还可采用智能视频分析技术消除巨大的电能浪费与安全隐患,如自动关闭不必要的灯或打开有人办公工作的灯或视需要调整灯光的强度等。因为智能安防视频监控系统可随时计算出在一定的环境中什么位置有人走动或办公,自动打开或增强相应位置的灯光,自动关闭或减弱其它位置的灯光。此外,它还可用来自动分析这些环境中的人是否与本办公室或家庭数据库中己有的一致,如发现有外人侵入,则可及时预/报警等。
7、有能联动相应防区的其它安全防范设备的综合安全防范功能
一个智能安防监控系统除必要的视频监控系统外,至少要能联动相应防区的安全防范设备,如出入口控制系统,防火防盗报警系统等。即需要与门禁探测器、防火与防盗及煤气与放射线泄漏等安全的报警探测器等设备联动,以达到综合化的安全防范功能。例如,当接收到门禁探测器,或防火、防盗及煤气与放射线等泄漏的报警信号时,相应位置的网络摄像机即可通过可预置云台自动转到相应的预置位,以自动进行录像,并触发警铃与灯,以进行声光报警,从而实现综合化的安全防范功能。
此外,还可根据需要,专门嵌入人体特征生物识别以及电子警察与智能交通所需的智能功能等。
上述的智能化功能,可根据用户不同监控地点的需要,分别安置於安防监控系统前端的不同位置的摄像机中,当然有的较复杂一点的也可嵌入DVS与DVR中。
结语
由上可知,利用高清网络摄像机的优势而形成的智能网络摄像机,是嵌入有智能化功能的网络摄像机。显然,这种前端监控设备的智能化,能有效地节省带宽资源,是网络智能视频监控系统的一种较好的组成方式。这样,在有智能网络摄像机的智能视频监控系统的后端,就只需集中对前端摄像机发送过来的目标数据信息进行管理,而不需要对视频信号进行处理与识别,所以后端系统不需要昂贵的设备也能完成高效的智能视频分析。由于后端只有前端发送来的预/报警事件的关联画面显示,使监控中心工作人员能够很轻松地完成整个系统的监视。而这种关联录像的功能,也使录像搜索和回放变得简单迅速,从而又节省了宝贵的时间。因此,上述智能网络摄像机的解决方案,是一种非常实用而有效的方案。
值得指出的是,虽然智能网络摄像机的实现方案比较好,但不能将所有的智能分析与识别功能都通过前端网络摄像机来实现。因为它本身的CPU资源有限,要嵌入较复杂的智能软件算法,往往需要提高前端设备配置,或者使用专用的视频分析仪器共同作用,才能实现在前端进行视频分析与识别的功能,所以需要合理配置。