大数据在安防行业的应用使得安防更加智能化,大数据的技术一般分为数据采集、存储、挖掘和分析技术。其中,智能分析居于核心地位。而智能分析是安防大数据区别于IT大数据的重点之一,只有利用智能分析技术将安防大数据的非结构化数据转换为结构化数据,才能将IT大数据成熟的技术体系应用到安防大数据中,充分发挥安防大数据的作用。
文/王运金
安防存储技术发展现状
存储在安防行业的发展过程中经历了磁带存储、DVR、NVR、SAN直存等产品形态,新兴的软件定义、云存储等概念也是层出不穷,但无论怎样发展,存储起到的作用始终是是写入和读取两个功能。传统的分布式存储如DVR、NVR产品,只能对监控点位分散的结构通过划分若干监控区域进行分布式存储,保证基本的写入需求,对于大规模读取的性能无法按需满足;监控领域的集中式存储主要指SAN、一体机设备,这类设备通过RAID、增加扩展柜的方式获得了单机的大规模写入空间,满足了高密度的需求,但是对于视频的读取仍无法做到按需分配;云存储的架构真正做到视频的写入、读取按需分配、线性扩展,增加独立的存储节点即可获得更高的读和写性能。
从实际实用的角度来看,用户对于存储的主要需求是建、存、读、管、维。由于监控行业高端存储如云存储仍处于起步阶段,没有统一标准,市场上存在着存储产品参差不齐的状况。这几个标准对应的衡量标准可以作以下几点总结:
1)、建的瓶颈体现在上线部署便利程度,能否做到分钟级快速部署,能否降低设备分批上线的难易程度;
2)、存的瓶颈体现在能否满足海量规模存储,单一的录像、复杂的小尺寸图片等,既能保证空间又能保证性能;
3)、读的瓶颈体现在能否按需读取,特别是给予视频监控进行的实战业务部署,读取的性能线性增长,存储能否给予保证;
4)、管的瓶颈体现在易用性,能否实时准确获取设备状态,能否把传统存储不友好的人机界面变成更加亲切的交互;
5)、维的瓶颈在于保证设备的高可用性,如何在云存储系统把发生的故障当作一种常态并兼顾数据安全和成本二者的平衡点。
云存储的发展现状
云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统,保证数据的安全性,并节约存储空间。与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。从严格意义上讲,云存储不是存储,而是服务。云存储已经成为未来存储发展的一种趋势,云计算和云存储正引起一场技术革命,安防行业也不例外。
当前安防行业大规模的高清视频监控系统应用中,需要满足海量高清的视频数据存储,高清视频数据如720P、1080P、5MP、8MP等高分辨率IPC的接入,大路数并发大码流的实时数据读写,传统存储的性能面临极大的挑战;
安防监控视频图像的高清显示、海量非结构化的数据存储、多元信息融合、音视频图像的分析挖掘、大规模数据的智能分析及决策需要引入云计算、云存储等多种先进技术,尤其在平安城市、智能交通、智慧城市以及跨地域的大规模行业应用当中,对于这些行业中海量的视频图片等非结构化数据存储系统的需求,意味着数据存储能力和计算处理性能的提升,存储产品要求具备高性能、高容量、高可靠性以及可扩展性,同时需要实现与安防行业应用的深度结合,满足安防系统海量视频数据管理的特殊业务应用。
目前,云存储在各大行业安防市场中,都已有规模性的部署和使用。例如,智慧城市和平安城市的建设,就要求在视频监控方面,需提供海量的存储系统,能并充分利用好存储的数据进行深入的分析处理。传统的存储技术无法满足社会发展的需求,云存储在安防领域的应用将会成为必然的选择。
安防云存储的技术优势
云存储在视频监控前景越来越广阔,云存储的作为未来发展的风向标,与传统存储相比,安防云存储主要有以下优势:
高速存取
安防云存储需要面临高并发、高码率的数据存储要求,面对的都是高清、高码率的视频存储,存储系统需要提供高性能的数据吞吐能力。安防云存储通过采用数据离散式存储机制,每一个监控点的录像都以分块形式,并发存储于不同的存储节点中,在读取时,这些存储节点将并发提供服务,避免了单台设备读取的瓶颈,速度比传统存储快几十倍,可以满足平安城市等大型安防项目中,海量并发存储、读取的需求。
安防集成
在实际应用中,安防云存储与各项业务系统结合非常紧密,如图侦、视频智能分析等,在存储阵列中直接集成视频录像管理、视频回放和媒体转发业务,充分利用云存储高可靠硬件和网络。同时,安防云存储提供标准sdk接口,可以方便让客户对安防业务系统进行二次开发,与安防业务系统更为紧密的集成。
码流直存
安防云存储由于其使用场所、用户的固定性以及用户对视频高效应用的要求,一般都会采用码流直存的方式,从而简化系统的架构,降低故障点,提升系统部署的效率以及运维成本,而且云存储一般也是架设于专网之中,更能保障录像的质量。
检索迅速
针对系统中会产生PB级海量监控数据,存储设备的数量达数十台上百台,因此管理方式的科学高效显得十分重要。云存储可提供基于集群管理技术的多设备集中管理工具,具有设备集中监控、集群管理、系统软硬件运行状态的监控、主动报警,图像化系统检测等功能。在海量视频存储检索应用中,检索性能尤为重要,因此数据检索的速度对安防存储显得至关重要。
安全可靠
当在线存储系统出现故障后,热备机可以立即接替服务,当故障恢复时,服务和数据回迁;若故障机数据需要调用,可以将故障机的磁盘插入到冷备机中,实现所有数据的立即可用。
云存储在智能分析中的作用
目前在安防行业,智能分析主要有两类:一类是对视频图像等非结构化信息的处理和分析,包括视频智能分析工具、视频摘要、图像清晰化工具、视频清晰化工具、视频转码工具、视频编辑工具等等;另一类则是对结构化、半结构化信息的大数据分析处理工具,此类处理和分析工具是安防行业吸取IT行业在处理大数据方面的架构和经验,比较流行的如Hadoop,Spark大数据处理的框架,以及数据挖掘工具,以对结构化和半结构化的数据可以实现快速和准确的数据分析和挖掘。
大数据在安防行业的应用使得安防更加智能化,大数据的技术一般分为数据采集、存储、挖掘和分析技术。其中,智能分析居于核心地位。
智能分析是安防大数据区别于IT大数据的重点之一,只有利用智能分析技术将安防大数据的非结构化数据转换为结构化数据,才能将IT大数据成熟的技术体系应用到安防大数据中,充分发挥安防大数据的作用。对于视频图像等非结构化数据的分析和处理,目前可能更多地是把它归属到智能分析的范畴,这些技术很多已在初期应用中不断改进和完善,很多更新的智能分析技术仍处在研发过程中,对这类数据的分析和处理也将成为安防大数据的核心价值点。日益丰富的智能算法将大大提高视频监控摄像机的使用范围和价值,处于应用初级阶段的智能视频监控,也将随着智能算法的日益丰富而快速发展。而数字处理芯片、编解码能力以及压缩算法,是影响图像处理技术的重要因素。
智能分析产生海量的结构化数据、非结构化数据、半结构化数据等,海量数据必须拥有能够进行可靠、可保证效率且拥有快速的读写以及响应能力的存储,传统的集中存储式架构已无法满足智能分析所产生的数据的存储,云存储面向海量的非结构化数据,具备高可靠、高性能、大容量、弹性扩展、自动化管理等特点,轻松满足海量的数据存储和弹性变化的业务需求。
(作者现任浙江大华技术股份有限公司产品经理)