前言:我们从越来越多的突发恶性涉车案件中发现,视频监控仍停留在被动服务于“事后研判”找寻案件线索的处理模式,整个系统并未做到主动干预,防患于未然更无从谈起。再从交通拥堵、交通事故到环境污染,在这类涉及民生的热点词汇中,智能交通系统成为能够最大程度地发挥交通基础设施的效能,提高交通运输系统的运行效率和服务水平的重要解决方案之一。本文将从大数据、成像技术、云计算和云存储四个方面深入分析宇视智能交通的核心技术。
金刚一:用大数据思维构建智慧交通
以一个一线城市为例,每天由卡口、电子警察等车牌识别设备所产生的数据量约2000万条,一年达73亿条的数据规模。除此之外,还有同时产生的车辆抓拍图片数据,违法记录、事故处理等产生的业务数据,实时流量信息,以及路网管理与交通事件信息等多种类型的数据。仅考虑智能交通系统中车辆过车相关信息,就达到了每年50亿条的规模。根据摩尔定律,未来达到500亿规模的那一天也许离我们并不遥远。因此,我们将面临着一个海量数据采集、存储、计算、应用的难题。
随着数据的海量激增,传统的系统架构已开始暴露出一些处理瓶颈。系统存储无法弹性扩容;查询速度缓慢,无法快速响应突发事件;应急指挥系统操作复杂;各种类型数据资源分散,无法做到整合并进行综合分析;警力资源增长速度赶不上车辆保有量增长速度。当前系统架构已经无法胜任海量结构化数据处理,我们需要一个可以符合智能交通业务需求的全新系统架构!
宇视结合大数据思想构建了全新的智慧交通系统架构,从三个维度分别解析了智慧交通与大数据的关系构建。从系统架构来讲,分为数据采集、数据仓库、数据应用服务和数据可视化四个层次,分别对应了智慧交通业务中的原始视频库,基础信息库与警情/案情事件库,而从数据发展的维度,则对应了数据向知识递进的知识管理理论基础。
数据采集层:海量与多种类数据采集
智慧交通系统中的数据采集层,主要指卡口电警终端设备,它们采集非结构化的视频和图片数据,以及经过前置智能算法所处理后输出的结构化过车信息数据。除此之外,还有大量的其他感知数据的接入,比如RFID射频数据,GPS定位数据,以及其他诸如单兵、浮点等设备采集到的数据。
数据仓库层:海量和多种类数据存储
所有来自于数据采集层的数据在数据仓库中进行存储。在这里根据数据类型的不同进行了不同的存储。结构化数据存储在数据库服务中,非结构化的原始视频和图片数据则存储在了基于宇视CDS云存储方案的存储介质中。
数据应用服务层:海量数据的快速计算
在大数据的思想下,我们不追求个体数据的精确性,而是在海量数据中挖掘出规律性本质。在这里,所有的基于结构化数据的检索与数据挖掘计算的服务得以实现。同时,为实现更多的智能化业务,在数据应用服务层,也提供基于流式数据处理的视频智能分析服务。为满足更多的实时性要求,基于宇视Unihadoop分布式计算使得海量数据检索与计算都以秒级为单位完成。
数据可视化:数据计算的可视化呈现
基于数据应用服务的计算结果,在数据可视化层进行呈现。例如指挥中心的大屏显示,或者是基于电子地图的实时轨迹显示,或是基于交通流量统计的多种形式的信息发布等。
而贯穿整个系统架构的基础则是宇视科技的IP全交换技术。摆脱了传统流媒体转发的技术,IP全交换技术可以大幅提高数据在网络中交互的效率。业界对大数据所具备的特征进行了总结,就是我们熟知的4V:Volume数据量大、Variety数据种类多、Velocity速度快、Value价值高。从宇视的基于大数据的智慧交通的架构中,我们可以清晰的找到这4个特征:
数据量大
一线城市年50亿条数据规模的采集与存储
数据种类多
视频、图片等非结构化数据、结构化数据
速度快
基于100亿条数据的精确查询,1s
基于100亿条数据的模糊查询,1s
基于100亿条数据的三条件查询,7s
基于100亿条数据的模糊套牌查询,<300s
价值高
数据可视化、事前预判智能研判:套牌分析、跟车关联性分析、频度分析、轨迹碰撞、实时布控等交通流量统计、交通行为分析、交通诱导信息发布现在,大数据是普遍的热门词汇,有些人认为hadoop就是大数据,有些人认为分布式数据库就是大数据。我们不这么认为,宇视从整个系统架构的角度出发,结合行业业务,融合多年来积累的网络、存储、算法、硬件等技术,设计出多维度符合大数据思想的智慧交通系统架构。
金刚二: 全天候光学成像技术提高识别率
在智能交通的应用中,最被关注的指标即捕获率和识别率,而决定这两个指标的关键技术一个是成像,一个是算法,成像是基础,算法是保障。
自动光学滤镜技术
在电子警察的应用场景中,尤其是东西方向,强逆光、强顺光等复杂光照条件往往影响电子警察摄像单元的成像,有时还会产生强烈的Smear现象,并导致车牌区域过暗或过曝,从而降低识别准确率。针对此种现象,宇视采用Smart-OF自动光学滤镜技术,降低Sensor进光量,使CCD整体采集的亮度较低,嵌入式算法根据车牌测光区域会调整抓拍相机的曝光参数来提升画面质量,这样的处理后,画面中亮区暗,暗区亮,车牌及车辆特征清晰,且画面中其他场景色彩还原真实,细节层次不丢失。
自动光学滤镜组件被安装在摄像机镜头前端,有一组带微电机进行升降控制。摄像机工作时通过感光系统及其嵌入式算法计算出当前时段的环境照度状况,当需要增强或减弱光线对图片清晰度的影响时,系统会自动向前端光学镜片电机发送升降光学镜片的指令,进而实现控制图像质量的目的。针对不同的应用场景、不同时段的照度特点,宇视针对性地开发了相应的成像处理技术。
Smart-OF自动光学滤镜技术的两大优势是:
1、可根据场景中不同时间段的光照变化进行自动切换;
2、使用Smart-OF自动光学滤镜技术不会对色彩还原产生影响,可保证全天候任何时间段都清晰有效成像,保证违法处罚证据的有效性。
自动偏振镜切换技术
在卡口的应用场景中,需要看清车内人脸。但由于车窗表面反射的偏振光导致无法看清车内人脸,这时我们就需要偏振镜来过滤掉偏振光。但夜间如果继续使用偏振镜的话,将导致夜间图片亮度降低。宇视科技业内首创的内置自动偏振镜切换技术,可以通过传感器自动检测当前时段的环境照度状况,当需要使用偏振镜时,通过电机控制切换成偏振镜使用模式;当不需要使用时,通过电机控制切换成增透模式。
卡口红外补光技术
在卡口的应用场景中,为了看清车内人脸,爆闪灯成了白天和夜间抓拍补光的关键部件。但是在夜间爆闪灯所带来的白光污染不仅影响周围居民,还会对驾驶员产生较强的刺激,是潜在的事故风险点。为解决白光污染的问题,宇视业内首创了红外补光的卡口解决方案,不仅可以在白天成像出正常的彩色卡口图片,还可以在夜间通过红外光成像出黑白的卡口图片,并且可以清晰的看清车内人脸特征,同时还可以识别车辆号牌,以及车牌颜色等车辆特征信息,很好的解决了看清车内人脸与白光爆闪补光的这两个技术矛盾点。
金刚三:基于云计算的智能算法架构
智能交通行业的智能算法的主要核心技术是对道路交通对象进行分析的各种技术,主要包括:车牌识别技术,视频检测技术和交通行为分析技术。
通过车牌识别技术,可以实时获取车辆的牌照号码,车辆颜色,车辆品牌等信息;通过视频检测技术可以准确地获取车辆位置、速度、大小等信息,并可以区分交通对象类别和自动拍照;通过交通行为分析技术,可以准确地获取交通灯状态、交通对象行为状态等动态信息。近年来在上述基础上发展而成的车内人脸识别技术、交通流量检测技术、人群聚集检测等专用技术也得到了广泛应用。
在目前的智能交通应用中,这些智能分析算法主要都安装在独立的终端上,区域性和全局性联系较弱。这种方式虽然有一定的便利性,以及具有布置简单快速的优点,但同时其弊端也已经显露出来:
1、算法更新无法自动及时应用至终端:智能分析算法更新后,迫于终端硬件水平的限制和交通对象实时性的要求,很多效果不错但运算复杂的算法无法得到广泛的应用;
2、算法无法自动根据使用环境定制优化:无论是多么优秀的算法,都无法保证对所有的环境和场景通吃。而现实中由于场景光照、安装位置、角度、不同的交通对象等变化产生的算法鲁棒性问题一直广泛存在,导致研发企业投入大量成本用于场景定制或者算法升级;
3、算法累计的学习数据无法自动共享:大量的设备无法进行数据共享,导致海量的交通数据没有被充分利用就被抛弃,不仅造成资源浪费,而且限制了交通主管部门对城市整体交通的掌控水平。
云计算
云计算是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需提供给计算机和其他设备。这些资源来自一个共享的、可配置的资源池,并能够快速获取和释放。云计算的核心思想是对大量用网络连接的计算资源进行统一管理和调度,构成一个计算资源池向用户提供按需服务。通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中,云计算应用的思想是将资源整合。
“云端上”的智能分析技术:云学习
当前的智能分析算法加上云计算的产物是云学习。其核心是整合各类计算算法、设备等资源,突破智能分析计算瓶颈,应对智能算法等大量消耗运算资源的技术需求,并将前端、后端等各类运算资源虚拟化,实现统一管理;实现运算资源服务化、动态分配运算任务,统一调度,提升运算效率。
云学习的优势
超大规模,超强计算能力和可扩展能力
首先,从智能交通整体方案的角度来看,云学习通过强大的分布式计算能力可对庞大、复杂而又无序的交通数据进行有效的分析和处理,自我认知数据的发展规律,从而有效地支持交通数据建模、时空索引、交通数据的挖掘、交通数据的分布式处理及交通流动态预测等。
其次,从智能分析算法的角度来看,云学习同样拥有明显的优势。有了云学习,所有的算法都可以统一布置到云服务器中完成,而终端只需完成简单的采集、数据反馈即可,这不仅可以突破单机硬件运算能力的瓶颈,加入大量有利于智能分析的算法,大大提升智能分析的准确率,而且对未来的算法改进留下了无限空间。
创新的大数据机器学习算法
通过海量数据的共享,可以在云端获取大数据模板和样本进行分析和训练,并且得益于实时更新的样本和深度学习算法,智能分析的准确性、鲁棒性和适应性将产生质的飞跃。可以说,云计算的出现开启了“数据为王”的大数据时代的序幕。
数据的高可靠性
“云”使用了数据多副本容错、计算节点同构可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机可靠。
通用性和可扩展性
云计算不针对特定的应用,在“云”的支撑下可以构造出千变万化的应用,同一个“云”可以同时支撑不同的应用运行。
首先,“云”的规模可以动态伸缩,满足应用和用户规模增长的需要。因此,同一个云架构,不仅可以布置在北上广这类一线城市,同样可以应用于小县城,甚至一个小区、一个学校等小范围领域。
其次,由于云端对外的接口统一,因此可以很容易实现跨平台的设备接入。设备无论是运行在嵌入式系统,还是OS系统,只需联接Internet,都可以轻松调用云端的服务。
廉价和易维护
由于算法可以集中在云端,因此后续的算法升级、改动只需在云端进行操作,而无需面对大量的终端设备。
金刚四 CDS云存储
随着高清视频监控的快速发展以及在智能交通、平安城市领域的大规模应用,高清视频的传输、转发、存储及应用对配套硬件平台提出了严峻的挑战,系统的稳定性、可靠性及实战应用成为用户关注的焦点。传统的IT架构无法满足高清视频的大规模部署应用,更加高效节能、稳定可靠的云计算、云存储技术的应用将是未来发展的趋势,也将成为未来智慧城市建设的潮流。
根据IDC报告,未来十年全球数据将增加50倍,由2012年2.8ZB到2020年将达40ZB。在数据量呈现几何级数增长同时,我们也清晰地发现,数据来源及数据获取的渠道越来越多。数据模型也从最初的以结构化数据为主发展到半结构化或非结构化数据占比越来越高,数据关系由简单发展到复杂。
随着城市汽车保有量的逐年递增,由车辆所引起的交通事故、涉车案件也逐年递增,从公安、交警的角度出发,要能够完整记录车辆的行驶轨迹,因此一线城市每年50亿条结构化的过车数据,催生出大数据时代。其背后需要的是能对海量数据进行分析、信息提取,能服务于民生,促进各行业发展的提供商。
“云存储”是大数据时代城市治安与交通建设的基石
严峻的城市治安态势,引发我们对城市防控建设的深入思考,平安城市经历了数字化、网络化、高清化、智能化的发展阶段后,逐步与城市交通业务融合,形成广覆盖、大联网、高智能的格局,在应用层面具有强烈的大数据处理需求,来消化、利用海量的监控信息,辅助实现事前预警。
我们深刻理解视频领域用户对未来云计算和大数据在智能交通、平安城市中的建设需求,引领创新视频安防监控行业新推出融合战略,通过计算、存储、网络、虚拟化、视频监控等技术创新和融合,采用开放架构与第三方系统融合,实现精简部署、精简运维和精简管理,快速满足不断变化的业务需求,提升业务工作效率,进而实现“云监控、易安防”。在非结构化/半结构化存储领域,推出了CDS(Cloud Direct Storage)即系列视频云存储,保驾公安及交警业务、促和谐民生。
云直存(CDS)技术引领行业潮流
CDS云直存技术,出身于“IT云存储”,但最主要的特点还是无任何文件系统的继承,这点对于定期进行循环写的视频存储系统尤为重要。文件系统任何文件的频繁删除会导致大量的文件碎片的产生,越来越多的文件碎片会导致硬盘磁头在各个区域的频繁读取、性能的降低及文件系统稳定性的降低。
CDS云直存技术的无文件系统设计,摒弃了文件系统的缺点,能大大提高处理性能和稳定性。云存储系统直接和前端建立基于协议的“一对一”交互,不通过任何其他的设备或模块进行转发或处理。
虚拟化、统一资源
视频云存储CDS系列产品,屏蔽所有硬件个性化差异,将所有存储节点进行虚拟化,对外提供统一存储资源池,针对不同的存储需求,提供不同等级的存储服务。
多备份:根据数据的不同重要等级,下发不同的配置策略,能对重要数据进行双备份或多备份。
空间自由伸缩:自由地根据不同的存储时间需求,匹配对应的存储空间。
智能路由:根据路由信息,计算最短存储路径,采用就近存储,大大节省网络带宽。
高密度,模块化结构设计
CDS视频云存储系列,采用模块化设计,所有节点均配置双机或集群冗余,针对业务可实现紧密融合和无缝切换;单机柜(42U)可最大部署20个存储型服务器节点(配套384HDD),单存储节点可支持16/24/36/48个3.5英寸SATA/SAS硬盘或2.5英寸SATA/SAS/SSD硬盘和2个2.5英寸SATA硬盘,存储容量高达1.5PB。
安全、可靠的系统设计
CDS的云存储模块:采用Intel系列处理器平台,内存支持ECC纠错,计算系统运行高效稳定;支持RAID0、1、10、5、50、6、60,保障存储数据安全性;支持数据保险箱业务,保障数据的一致性;支持业界最快10秒的RAID数据恢复速度;支持业务快速部署;支持主要芯片元器件的状态查询及自恢复,如需迁移,可整机柜一体化迁移,迁移后的系统可靠性将不受丝毫影响。所有模块冗余设计,高可靠无源背板,系统无单点故障,保障系统稳定运行。
高效节能的计算系统
存储及服务器节点支持CPU调频调压、硬盘休眠、功耗封顶等主动节能技术,并能自动根据数据的访问频率进行数据分层,(SSD/SAS/SATA)减少运行功耗,同时采用NGN的整体架构,将数据流和指令流分流,各模块各司其责,大大节省服务器设备,将系统能耗降到最低(最高可降低45%)。
快捷部署,丰富管理
工厂预安装、一体化机柜式交付,现场交付效率大幅提升,业务快速部署。所有网络可达的节点能进行统一管理和运行状态监控,存储节点具备远程操作、来电自开机、远程开关机等丰富管理功能,便于管理,业务运营更轻松。
打破传统思维,支持多块硬盘同时故障的超级RAID5技术
目前,业界普遍采用传统的RAID技术来保护数据,但传统的RAID技术有其固有的不足之处。以RAID5为例,当一个RAID组中同时有两块磁盘发生故障的时候,传统的RAID便会进入到失效模式,一旦进入到这个模式,整个RAID上的数据将无法读出,数据也无法继续写入,如果要想恢复RAID的读写功能,必须重建RAID组,代价则是数据全部丢失。
宇视推出的超级RAID5技术,对硬盘局部故障进行“粗线条”处理,并在RAID层设计条带remap区域,能同时支持多块硬盘同时故障的超级RAID5,且不影响业务的正常运行。
RAID组内多块硬盘拔出,独有的LUN不失效技术,数据仍可读
宇视科技不仅仅能针对硬盘局部故障进行最人性化的处理,还能对拔出的RAID组的硬盘,实现独有的LUN 不失效技术,在线的数据仍可读出。
总结
CDS视频云存储方案,具有一体化交付、统一管理、节点在线热插拔等特点,大大简化IT,实现精简部署、精简运维和精简管理,快速满足不断变化的业务需求,提升业务处理效率。基于视频图像的云计算技术、云存储技术、通过将大数据技术和视频监控技术进行完美融合,为我们的智慧城市、智慧交通保驾护航。