“大数据”的四个特征
“大数据”的四个特征:海量(数据量达到PB/EB级别),多类型(结构化的、半结构化的、非结构化的掺杂在一起),高时效(数据变化速度快,时效性强),低密度(有价值的信息埋藏在大量数据中,有待挖掘)
大数据到来是必然 目前方兴未艾
大数据的时代的到来是必然。发展大数据技术是为了更好地利用数据,挖掘出其中的信息,为数据的拥有者和使用者创造出更大的价值。
目前大数据市场仍处于起步阶段,相关技术已经在部分领域(如搜索、互联网广告、O2O等)得到应用,该技术发展已经进入爆发期,业界主流IT公司都推出了自己基于大数据技术的产品和解决方案,面向不同领域的大数据技术也层出不穷。
大数据得以实现的核心技术
大数据的核心技术包括:1)海量数据的存储和检索。通常使用分布式文件系统、基于列的Non-SQL数据库等方式来存储和检索海量数据。2)分布式计算平台/框架,目前最流行的就是基于MapReduce或其变种的各类分布式计算平台/框架,通过将任务分布到大量服务器上并发处理提高系统的实时响应速度。3)多维度数据采集。结合物联网技术和传感器技术,使得数据的来源多种多样,为后续的数据分析挖掘奠定基础。4)智能分析与识别。对于大量非结构化的数据(如音视频数据),需要接近甚至超越人类能力的智能分析与识别技术,将采集到的非结构化数据转换为计算机能处理的半结构化和结构化数据。
大数据技术引入安防的困难点及解决方法
大数据技术应用在安防行业的主要困难点有:1)如何准确地从非结构化数据(如音视频)中提取计算机易于处理的结构化、半结构化的信息。其解决方法有赖于数字音频/图像处理技术、模式识别技术、传感器技术的持续进步。2)如何将大数据与安防业务需求结合,创造出更多的数据利用模式,从而为数据的拥有者和使用者创造出更多的价值。其解决方法需要依靠对大数据技术和安防业务都有非常深入理解的业务专家,设计出贴合用户需求的业务模型。
安防大数据技术进行高效、快速的筛选信息的方法
目前安防行业主要利用大数据技术进行海量图片、视频信息的特征提取、存储、检索和分析比对。利用大数据技术首先可以实现海量特征信息的可靠存储(分布式文件系统的冗余备份机制),其次可以实现特征信息的快速比对筛选(基于MapReduce框架并发分析)
安防大数据已落地科达大数据研发实力雄厚
目前在安防领域可以落地的大数据应用主要是卡口大数据应用,已经有实际应用范例。
公司已经在大数据基础技术与应用技术方面投入了大量的人力物力,并且推出了适合大数据应用的相关硬件产品(如感知型摄像机、云存储设备、服务器等)和解决方案(科达已经推出了卡口过车大数据,视频图像大数据,公安情报大数据三方面的解决方案)。
大数据时代首要问题是安全
首先,传统的数据安全技术在大数据时代仍然适用,对数据的保护是第一步;其次,最有价值的不是数据本身而是应用数据的方法/模型,重点要保护的是这些方法和模型。
大数据对安防产业格局的影响
大数据技术源自互联网,大数据时代会促使安防这类传统业务加速向互联网方向迁移,安防企业会更加地倾向于提供服务而不是提供产品;大数据时代也会促使更多的互联网企业向传统行业如安防进行渗透,这种渗透已经开始了并将进一步加速。
大数据与云计算
云计算技术与大数据技术是非常合适结合在一起的。云计算中心的建设可以为海量数据的存储、分析与搜索提供计算能力与存储能力的保障,云计算技术对资源的动态分配与调度也特别适合如潮汐般涨落的大数据分布式计算需求。而大数据计算对于存储容量、I/O访问速度的要求也会进一步促进云计算技术在这些方面的发展。
大数据方面传统安防企业与互联网企业合作为主
传统安防企业与互联网企业在大数据方面可以开展非常紧密的合作,例如互联网企业比较熟悉和擅长海量数据的处理技术,能够提供各种平台和工具;而传统安防企业更贴近用户需求,更熟悉行业客户的业务需求,能够基于所提供的大数据平台和工具,开发出满足甚至高于用户需求的业务系统。当然双方也会存在冲突,比如对于开放或封闭的理念方面,互联网企业更强调平台与数据的开放性和泛在性,为所有人提供服务;而传统安防企业则偏向用户侧,特别是行业客户,倾向于私有和封闭,为特定人群服务。