东方网力基于深度学习的人群智能分析系统,突破传统,引入安全指数概念,能够实现超过300人的大场景人群异常状态监控,大大提高了场景内人数统计的精确性,为相关部门的决策提供强有力的技术支撑。
传统人群系统VS深度学习人群分析
智能分析系统应用到实战,有三个先决条件,即准确性、适用性和抗干扰能力。传统的人群分析系统在三个条件中都具有明显的局限性:
1、规模上的局限性:无法针对大规模,极端密集情况下的人群进行分析;
2、精度上的局限性:基于像素统计和纹理的人群特征获取,在描述精度和复杂度方面精度不够;
3、场景复杂度上的局限性:如何克服射影畸形、干扰背景、光照条件变化等仍不够理想。
传统的视频分析技术,是通过各种模型找到“人”。事实上,模型找出的只是已经被定义好的一组特征,比如“头肩模型”,根据头部形状,头肩轮廓,还有头发颜色等组合特征,去分析画面中的目标。通过计算目标与既定特征组合的相似程度来判断该目标是不是“人”,进而对找到的“人”进行行为分析,数量统计等。
基于这样的技术原理实现的智能分析系统,受场景制约比较显著。一般要求在背景简单,光照稳定,特定摄像机安装方式的视频中。一旦有影响模型特征提取的干扰情况,“人”的误检漏检就会表现明显。
而东方网力基于深度学习的人群分析技术,不再采用人为定义特征组合的方式去判断目标是否为“人”。而是通过大量数据样本分析,让计算机自行学习人和其他目标的区别,运算出能显著标识“人”的一层层特征信息。由于样本覆盖率较大,在机器学习的过程中,该技术能有效突破光照突变,背景复杂,人体部分遮挡,应用场景单一等传统技术的难点。
图1 深度学习与传统技术对比
基于深度学习的人群分析系统可支持超过300人的大场景监控,对感兴趣区域人数统计精确度达到95%以上。
系统中为业务应用提供决策依据的重要指标
针对大规模人群监控的应用,过去以应急处置为核心,现在转移到以应急准备为重点。要做好应急准备,必然需要精确的数据支撑。
我们根据调研及项目实际应用总结发现,人群密度和安全指数两项指标对应急准备具有重要的指导意义。
人群密度判定
传统方法利用人数的统计来判断场景内是否拥挤。但因监控场景面积不同,单纯的人数统计无法判断出场景内人员的密集情况,而用户更关注场景内的人群密度,人数统计仅做为辅助数据提供。
人群密度与计数对视频进行实时分析,检测出画面中人群的区域,并对其进行人群分割(如图所示),从而可以统计场景中的实时人数。同时根据人群和人体之间的关系,计算各区域的人群密度,得到感兴趣区域的人群密度分布图(如图所示)。
图2 人群检测与分割示意图
图3 人群密度与计数示意图
判定人群密度后,引入“情景构建”概念,不同的人群密度对应不同的预案等级。
借鉴某省公安厅人群密度指标,实现“人群四色报警”。
当人群密度达到四色报警阈值时,触发相关报警,工作人员对应执行四种等级的预案。
安全指数判定
人群密度做为人群的属性之一,对实战工作具有重要的指导意义,但不能仅凭这一指标就做出决策。因为即便当人群密度较低时,各种突发状况同样有可能引起群体事件。
举例说明:人数比较稀疏的场景,突然聚集了多人;某通道,有多人滞留;场景中有个体剧烈运动;人群无序的状态等等。以上多种状态,即使在人群密度较小时,也有可能发生危害性事件。
基于上述提到的各种人群异常状况,我们引入了“混乱”的概念,并结合多种人群行为,输出“安全指数”。
混乱的定义:场景中群体运动是否具有一致性。对于混乱程度高的场景,如下图中,左图人群滞留时间长,基本无运动,因此混乱程度低;右图区域颜色为蓝色,说明运动频繁。
图4不同混乱程度的画面(左图混乱程度低)
“安全指数”综合聚集、滞留、混乱等多种异常情况,系统输出一个具体数值给用户,安全指数越高,代表场景内人群运动更有序更可控。当安全指数低于阈值时,推送报警至决策者,决策是否启动预案。
我们基于深度学习的人群分析系统,通过输出人群密度和安全指数,全方位描述人群异常状态,有效地对人群活动进行预判,为用户在事前提供精准的信息,帮助用户进行各项决策。