常州市平安城市视频监控技术已经从联网整合阶段,发展到视频实战深度应用阶段。面对视频资源整合规模的持续扩大、视频实战业务的广泛应用以及视频信息化处 理过程中产生的海量结构化数据,如何充分利用海量的视频数据,实现视频数据的高效检索以及基于实战业务构建“警务大数据”视频大数据实战应用平台,成为视 频深度应用亟待解决的问题。常州市公安局在公安信息网建设了统一开放的视频云计算软硬件环境,通过研究视频大数据应用工具模型,将逐步实现视频信息化、信 息情报化、情报实战化的视频大数据的最终目标。
文/任文植 江苏省常州市公安局技防支队
邓玲玲、马君毅、蒋宗文 东方网力科技股份有限公司
项目背景
1、常州市视频监控建设现状
近年来,常州市公安机关在市委、市政府统一部署下,以构建立体化现代化社会治安防控体系为目标,已建成较大规模的视频图像监控系统,全市已安装各类治安监控摄像机11万余台,其中,公安自建摄像机近2万台,社会企事业单位接入各级公安监控中心摄像机6000余台,基本形成“点上覆盖、面上成网、外围成圈、覆盖城乡”的立体防控网络。视频指挥、无线移动图传、“3.20”车辆抓拍、应急处置、移动终端采集、人体特征识别等各类图像应用系统得到广泛应用,已成为公安实战应用战斗力新的增长点。为切实加强图像资源的共享应用,我市公安机关积极开展图像信息资源的联网和整合共享工作,在公安实战中发挥了巨大作用。
2、常州市局对视频监控系统的需求
常州市公安局在规划中将“三网三平台”作为一个远景目标,分别为:1)在互联网,建设社会视频图像信息共享平台。该平台面向共享,提供公安与社会单位之间自建的视频监控系统的相互共享与应用,提升公安机关服务人民群众的能力;2)在图像专网,建设视频实战应用平台。该平台面向实战,具备社会面视频监控资源联网整合、全市车辆卡口轨迹数据汇聚、全市涉案视频图像信息汇聚等功能,向全警提供视频实战化应用工具集;3)在公安信息网,建设“警务大数据”视频大数据实战应用平台。该平台面向大数据,提供车辆大数据研判、价值视频图像信息库、大数据统计预测、核心区关注等功能。同时,三网三平台之间通过安全交互平台相联,最终形成一个完整的公安视频信息大网络。
3、已有系统存在的问题
随着公安信息网中视频业务应用需求的不断调整与增加,目前公安信息网的计算、存储和应用管理能力已无法满足业务要求。需要采用云计算、物联网、移动互联、智能视频等技术升级建设新的视频信息,有效解决视频图像数据采集整合、价值信息提取、数据结构化处理及存储应用模式变革等问题,建设云架构下的视频大数据信息综合应用平台,为公安实战应用提供服务支撑,成为当前一项重要任务。
要满足云架构下的视频大数据应用需求,目前还存在以下亟需解决的问题:1)视频图像存储运算能力需进一步提升:缺少统筹规划,不能重复利用; 2)合理规划公安信息网视频应用:未实现与原有视频专网实战业务数据关联;3)探索与专业警务系统的关联应用:实现相关业务系统的关联查询;4)视频图像实战应用深度不足:数据量激增后缺乏对数据的有效管理,未发挥视频大数据的应用成效。
项目建设方案
1、常规方案与云中心方案的比较
(1)存储:在视频云计算中心所面临的视频大数据系统中,数据的存储管理是一个重要的组成部分。由于视频内容分析独有的应用特性,其运行过程中会输出多种异构数据,在视频的分析、处理、及检索的过程中,每一类数据都具有不同的输出模式,且针对不同类型的数据有着差异性极大的分析模式和用户访问规律,因此传统的单一数据模型无法对视频大数据进行有效的管理。在视频云框架的建设中需要针对以上提出的不同数据特性,对数据进行分类优化管理,以最为快速有效的方式满足终端用户和各种服务对数据的请求。实现各系统间存储资源的动态分配。
(2)计算:随着常州市视频监控系统的不断发展,视频图像资源的迅猛增长给海量监控视频的内容分析、数据管理、语义关联和数据挖掘等工作带来了新的挑战,其系统规模大、工作负载大、动态性强、关联关系错综复杂,因此具体的任务协调和工作负载平衡等具有很大的难度。在这种情况下,需要建立一个有效管理大规模系统全局能力的机制,进行有效的任务管理和调度,构建起一个能够流畅高效运行的大规模分布式系统。系统的终极目标是及时制止犯罪,实现公共安全,所以需要对数据做到实时处理,甚至能建立预测模型,云计算就是实现这种目标的工具。
(3)检索:随着系统建设的不断推进,公安业务系统会积累越来越多的视频图像资源,如视频图像信息库中的案件信息、结构化视频文件、结构化图片文件以及结构化文本信息越来越多;常州市每天记录2000万条行车记录,一个月是6亿万条,如此庞大的数据量给传统的数据存储和结构化分析都带来了巨大的压力,导致用户所关注的目标车辆的轨迹线索查询以及各类研判分析也越来越慢;同时系统设置的报警任务产生的报警数据也越来越多,一方面需要快速检索到需要处理的报警任务,另一方面也需要对报警信息进行实时响应…这些要求都已逐渐趋向大数据应用。
使用传统的检索手段对海量大数据检索速度慢、精确度不高,检索方式单一,对不同类型数据没有针对性的数据检索方案。当前的数据系统中的信息检索方式无法很好适应基于视频结构化描述技术的视频大数据应用需求。因此,视频云计算中心针对视频大数据设计了复合型检索机制,以全面满足系统应用需求。实现性能和设备数量线性扩展,从而实现千亿级数据秒级查询的能力。这种高效检索能力,给刑侦、交通服务都带来了巨大的好处,使得类似套牌车的大数据量查询运算的应用变得有可能。
(4)数据挖掘:随着实战应用的展开,系统已经积累了越来越多的数据种类,如案件信息、地点信息、时间信息、报警特征信息、车辆特征信息、人脸特征信息、运动目标特征信息、轨迹信息、用户信息等,但是对这些相关信息的关联关系缺少深度的挖掘应用,还没有从分析数据的角度,挖掘现象背后的原因,进而为辅助决策提供数据支持。
2、云中心方案
在公安信息网,常州市局技防支队已完成“警务大数据”视频大数据实战应用平台的测试,临时搭建了大数据平台,测试环境采用物理机+虚拟机相结合的方式,取得了良好的效果。同时,经过详细测试发现,对于大数据存储节点、计算节点等对磁盘IO、CPU运行速率以及内存大小等强依赖性的服务,普通虚拟机支撑并不好,只有高性能物理机才能满足要求,而平台普通应用一般虚拟机即能满足基本要求。根据存储计算和业务应用的特点,合理规划物理机和虚拟机资源,构建公安信息网大数据软硬件环境:
(1)采用云计算一体机与物理服务器混合云的部署策略,遵循开放架构标准:系统所需虚拟机部分采用融合刀片服务器、分布式存储及网络交换机为一体,无需外置存储等设备,并预集成分布式存储引擎、虚拟化平台及云管理软件,资源可按需调配、线性扩展;“警务大数据”视频大数据实战应用平台部分采用高密度服务器物理部署。基于云操作系统和内含的管理软件,公安视频大数据业务可实现平滑对接与平稳升级,并可针对公安视频应用大数据优化配置,大幅提升运行效率。
(2)部署“警务大数据”视频大数据实战应用平台软件:系统由视频专网视频实战应用平台案事件、人、车结构化信息汇聚到公安内网,并从公安内网八大资源库、警综、违法犯罪人员信息库等警务系统抽取案事件信息、人员信息、车辆信息,构建底层三大数据仓库。在数据汇聚整合基础上,建设车辆大数据研判系统、视频分析处理工具系统、价值视频图像信息库、大数据统计预测系统、大数据视频侦查工具实现“警务大数据”视频大数据应用项目需求,项目总体架构图如下:
图 平台总体架构图
主要功能和性能指标
常州市公安局视频图像专网视频实战应用平台已实现全市各类视频联网2.2万台,并积累了大量的视频图像信息,亟需在公安信息网建立基于大数据的视频信息应用平台,通过合理规划,与视频专网中视频、图像信息进行平滑对接,建设基于视频图像数据的应用工具集以及数据挖掘算法模型,以实现所有关联数据的搜索查询。充分利用好公安大数据基础,探讨和研究公安大数据应用方向,真正使公安信息化走向大数据应用和数据挖掘,最终服务于治安防控和案件侦破。
1、主要功能
1)车辆大数据研判系统
在公安内网建设一套车辆大数据研判系统。该系统以车辆数据为基础(包括卡口和GPS车辆数据),通过云中心车辆二次识别系统分析的车辆大数据信息,研究车辆特征、车辆时空轨迹挖掘嫌疑车辆信息,最终对嫌疑车辆、警情产生预测预警模型。
2)视频分析处理工具系统
该视频分析处理工具系统在云存储、云计算的整体云框架基础上,开发高效便捷的视频图像处理工具集,以提高视频图像资源的调阅、查看效率,实现对案件相关视频图像的查询、下载、导入、浓缩、处理、检索等业务职能,实现视频处理分析工具的高效化、便捷化,进而推动视频侦查工作向广度和深度应用发展。
3)价值视频图像信息库
视图库用户在公安用户在统一授权(通过PKI的授权)下,可以查询权限浏览范围内的案事件信息、视频、图片和视图结构化信息/线索。针对图像研判功能的操作结果(原始视图、线索信息)进行分类存储到相应视图库中。价值视图库按照公安部标准设计,同时充分考虑与公安内网的其他系统的对接,保持松耦合设计。可以对视图信息库中的案事件、人员、车辆的结构化信息以及线索信息基于视频云检索技术,实现深度匹配检索,主要输入一个关键字,既可将与该关键字相关的人、车、物以及案事件信息快速检索出来。
4)大数据统计预测系统
大数据的核心价值体现在预测功能,本系统基于车辆卡口信息,可分析出套牌车辆、盗抢车辆、卡口实时流量、视图库历史数据、外地来常异常车辆等,并对大数据平台服务器运行状态进行实时统计监测,对用户模块使用情况进行大数据分析。
5)大数据视频侦查工具
包括简单图片处理、高级图像处理、图片编辑、人脸识别等功能模块。实现视频侦查工具的简单化、集中化,提高一线民警侦查破案效率。
6)常州核心区关注功能
对常州市核心区的视频监控点位、卡口点位进行全天候布防,可实时浏览市政府周边视频画面,对出入政治核心区的车辆、人员进行大数据分析,预判出潜在的警情信息,实现市政府周边警情的实时监测与动态管控。
2、性能指标
1)查询速度
在十亿级数据库中,不限制查询时间范围,进行精确查询和模糊查询,均秒级返回结果。
2)研判分析响应时间
在十亿数据中分析1天和30天的通行记录,轨迹分析、跟车分析、频次分析、套牌 分析、落脚点分析、首次入城、昼伏夜出、碰撞分析和频繁过车等为10秒内返回结果。
3)流量统计数据生成时间
在十亿数据中统计1天、7天、30天、90天和1年的数据,均10秒内返回。
应用成效分析
经过合理的统筹规划建设,在常州市公安局技防支队建设了一套统一的视频云大数据建设解决方案:1)首先物理层采用了大数据一体机与物理机相结合的混合云架构,针对视频大数据的特殊性,针对性的提出了云存储、云计算和云检索方案,解决了视频图像存储运算难的问题;2)面对公安信息网与视频专网无法连通的问题,通过此次对公安信息网视频大数据应用的规划,打通了与视频专网视频图像数据资源的关联,使得数据真正实现了在专网汇聚内网实战应用的模式;3)打通了与图像专网的数据关联的同时,此次大数据应用规划时也考虑了与公安信息网内各警种专业业务系统如警综、车驾管等八大库的对接,实现数了据的关联查询;4) 在实现了内外网数据关联以及内网专业警务系统的对接后,在公安信息网针对汇聚的一系列视频相关大数据,探索研究基于大数据的实战技战法模型,开发了丰富的平台功能,以满足用户对视频大数据的不同应用需求。
具体来说,目前该“警务大数据”视频大数据实战应用平台经过近10个月的筹划建设,目前已经基本完成平台框架和核心功能的部署上线使用,已在常州市局公安信息网对全警开放试用,已接入前端摄像机2万路以上,视图库月案件数500余起,车辆日通行记录2000万条左右。尤其,该视频大数据平台通过先进的车辆二次识别技术,日推送套牌嫌疑车辆100多条,经人工判定日产生真实套牌车 10-20辆推送至指挥中心,真正用视频大数据技术解决用户关心的核心需求,为接下来的案件侦破和研判提供了线索依据。
结论与展望
日益庞大的数据量和繁杂的业务需求对系统架构提出了更高标准的要求,传统的数据存储以及计算方式,已远不能满足海量异构信息的存储、计算和检索需要。迫切需要建设一套统一开放的云架构,在统一的云架构框架下实现海量数据存储、查询和应用的云计算服务,同时又要针对视频监控行业大数据的特殊性,在统一的云平台下提出专业的视频大数据解决方案。因此常州市公安局开创的对视频大数据分析的探索之路也是时代发展所需,实战综合利用所虑,意义深远。