数据存储——是指数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名,这种命名要反映信息特征的组成含义。
01
首先,学习数据存储知识,需要了解数据的类型。整体上我们将数据类型分为结构化数据、半结构化数据、非结构化数据。
结构化数据——能够用数据或统一的结构加以表示,如数字、文字、符号。结构化数据也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。
半结构化数据——是介于完全结构化数据(如关系型数据库、面向对象数据库中的数据)和完全无结构的数据(如声音、图像文件等)之间的数据,XML、HTML文档就属于半结构化数据。它一般是自描述的,数据的结构和内容混在一起,没有明显的区分。
非结构化数据——非结构化数据是数据结构不规则或不完整,没有预定义的数据模型,不方便用数据库二维逻辑表来表现的数据。包括图像和音频/视频信息等等。丢失的视频数据就属于非结构化数据。
02
知道了这些数据结构,英方灾备觉得先要知道如何存储这些数据,就像我们要装水,需要装水的工具。对此,我们提到数据的存储介质。
数据的存储介质是指存储数据的载体。比如软盘、光盘、DVD、磁带、硬盘、闪存、U盘、CF卡、SD卡、MMC卡、SM卡、记忆棒(MemoryStick)、xD卡等。
对于企业级存储市场,一般的数据存储介质是磁带与硬盘。
磁带曾经风靡八十年代,但是随着技术的进步和社会发展的需求,现在基本采用硬盘存储数据,一些长期存储的历史数据/冷数据才会用到磁带(库)进行存储。
硬盘又分三大种类:SSD、HHD、HDD
SSD——固态硬盘,用固态电子存储芯片阵列而制成的硬盘,由控制单元和存储单元(FLASH芯片、DRAM芯片)组成。固态硬盘在接口的规范和定义、功能及使用方法上与普通硬盘的完全相同,在产品外形和尺寸上也完全与普通硬盘一致。被广泛应用于军事、车载、工控、视频监控、网络监控、网络终端、电力、医疗、航空、导航设备等领域。
HHD——混合硬盘,既包含传统硬盘又有闪存模块的大容量存储设备。闪存处理存储中写入或恢复最频繁的数据。很多公司开始提供这项技术的变体,他们期望它会在高端系统中受到追捧,尤其是在笔记本电脑和个人数字助理中。
HDD——传统硬盘,即硬盘驱动器。最基本的电脑存储器,我们电脑中常说的电脑C/D盘。目前硬盘一般常见的磁盘容量为80G——1TB、2TB等;硬盘按体积大小可分为3.5寸、2.5寸、1.8寸等;按转数可分为5400rpm/7200rpm/10000rpm等。噪音大,怕摔,强制断电易烧盘是HDD缺点。
简单地说,SSD采用闪存颗粒来存储,HDD采用磁性碟片来存储,HHD是把磁性硬盘和闪存集成到一起的一种硬盘。
其中,根据硬盘接口不同,又可分为IDE、SATA、SCSI和光纤通道四种,IDE接口硬盘多用于家用产品中,也部分应用于服务器,SCSI接口的硬盘则主要应用于服务器市场,光纤通道只在高端服务器上。
03
普通的企业级视频监控,一般采用传统的HDD硬盘进行视频录像的存储,所以噪音大、怕摔、易烧不可避免。根据企业级监控存储方式的发展规律,我们又可以分为:VCR→ DVR→NVR→CVR。
VCR——模拟式磁带录放机,使用空白录像带并加载录像机进行影像的录制及存储的监控系统设备。VCR 信号易受外界燥声干扰,每次的录像与播放后均会有些品质损失。且磁带不易保存,是最大的缺点。
DVR——模拟机和同轴缆信号的硬盘录像机,不需要配置IP,它是一种使用数字方式进行影像的录制及存储的监控系统设备;功能齐全,影像录制效果好、画面清晰,并可重复多次录制,能对存放影像进行回放检索。DVR布线比较繁琐,要视频线、音频线等。
NVR——网络型录像机,必须配置IP,布线简单,一条网线基本解决。主要的功能是通过网络接收IPC(网络摄像机)设备传输的数字视频码流, 并进行存储、管理,从而实现网络化带来的分布式架构优势。可以同时观看、浏览、回放、管理、存储多个网络摄像机的视频数据。
NVR——DVR的终结者
CVR——视频云存储,是集编码设备管理、录像管理、存储、转发功能为一体的视频专用存储技术。CVR由标准的IPSAN/NAS网络存储设备结合视频监控应用发展而来,是一种融合了专业存储技术与专业安防视频监控应用技术的产品。
CVR是更高级的NVR或者DVR,或者是数据集中存贮的NVR。
04
学到了存储介质的知识,英方灾备下一步要介绍的就是数据存储的方式。常见的四种存储方式:DAS、NAS、SAN、OBS。
DAS——直接附加存储,外部存储设备都是直接挂接在服务器内部总线上,数据存储设备是整个服务器结构的一部分,与家用电脑的构造一样。
NAS——网络附加存储,采用独立于服务器,单独为网络数据存储而开发的一种文件服务器来连接所存储设备,自形成一个网络。这样数据存储就不再是服务器的附属,而是作为独立网络节点而存在于网络之中,可由所有的网络用户共享。
SAN——存储区域网络,与NAS架构类似,只是基于光纤介质,传输速率以光纤网络速度的服务器访问存储器的一种连接方式。1991年由IBM公司建成。
DAS存储一般应用在中小企业,与计算机采用直连方式;NAS存储则通过以太网添加到计算机上;SAN存储则使用FC接口,提供性能更加的存储。
OBS——对象存储系统,综合了NAS和SAN的优点,同时具有SAN的高速直接访问和NAS的数据共享等优势,提供了高可靠性、跨平台性以及安全的数据共享的存储体系结构。对象存储被看作是块存储、文件存储之后,一种更适合互联网应用环节的存储方式。
存储方式的不同,是不同时代不同应用场景的存储产物,各有优缺点,每家存储厂商的方案也百花齐放百家争鸣,比如云计算对象存储,每家的命名和架构都有差异。
05
学到了这,我们应该明白存储是门技术活,特别是大型存储项目,需要的集成系统更加复杂。在此,介绍一些比较专业的大型存储系统。
集中存储系统——采用集中的存储服务器存放所有数据。存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。
分布式存储系统——将数据分散存储在多台独立的设备上,采用分布式可扩展的系统架构,利用多台存储服务器分担系统负荷。它不但提高了系统的可靠性、可用性和性能,还易于在线灵活扩展。
全闪存阵列——完全由固态存储介质(通常是NAND闪存)构成的独立的存储阵列或设备,这些系统是用于增强可能包含磁盘阵列的环境的性能,或者用于取代所有传统的硬盘存储阵列。
06
学到这,英方灾备要告诉你的是现在的存储趋势之一是软件定义存储(SDS)。
SDS是一种数据存储方式,所有存储相关的控制工作都仅在相对于物理存储硬件的外部软件中。这个软件不是作为存储设备中的固件,而是在一个服务器上或者作为操作系统(OS)或hypervisor的一部分。
软件定义存储与软件定义网络(SDN)和软件定义数据中心(SDDC),被认为是IT行业的发展趋势。使用软件定义存储进行长期存储充满了诸多风险,例如数据位错误、硬盘故障、网络攻击、人为失误以及自然灾害等等。
07
因此,再安全可靠的存储介质和存储方式,都不能保证存储数据的100%,对关键数据进行容灾备份被认为是企业信息安全的最后一道防线。所以,双活容灾又被提出来。
双活容灾——灾备系统中使主生产端数据库和备机端数据库同时在线运行,处于可读可查询的状态的技术,确保企业在一定范围内的业务连续性和数据安全。
高可用灾备系统常有的几种工作方式:第一种是:共享存储(磁盘阵列)的方式;第二种是双机双存储,也叫全冗余方式;第三种是利用数据的同步方式,通常我们称为mirror方式,包括基于文件级的复制功能、基于数据库内部机制、基于数据拦截技术。
但是,由于双活容灾的存储设备往往存放在同一个机房,所以发生火灾、水灾、人为破坏等风险依然存在。为此,异地容灾又被提了出来。
08
异地容灾包括数据级容灾和应用级容灾,数据级容灾是对数据在异地的复制备份等,应用级容灾则强调核心业务应用的接管,即当生产机房发生故障停止工作时,备用机房能够马上接管业务继续对外提供服务。
有了异地容灾,一定程度上确保用户数据不丢,业务不停,大家就再也不怕硬盘坏了。