海量存储器子系统

科技工作者之家  |   2020-11-17 18:25

海量存储器是一种超大容量的辅助存储器,其特点是存储容量特别大、位价格低、数据传送速度快。海量存储器子系统是指对海量存储器的数据存储进行管理的系统。海量存储器子系统提供的服务往往到存储数据表达结束,负责提供以文件或数据块为单位的数据存储。

简介存储设备上的数据可以是以数据块为单位,直接将数据块提交给应用程序,由应用程序完成数据块的再组织;也可以是以文件为单位,给上层应用提供文件级的操作服务。海量存储器子系统是指对存储在海量存储器上文件和数据块进行存储空间的安排和管理,实现数据快速存取。海量存储器子系统由 5个层次构成,由下至上分别是存储物理层,存储传输层,存储网络层,存储表示层,存储应用层。每一层调用下一层提供的服务, 同时为上一层提供服务。这样,可以根据海量存储系统的不同应用领域来灵活选用不用的海量存储系统的组织方式1。

有关技术网络存储技术

网络存储技术具有高性能、易扩展、高可用、高利用率、维护方便等优点,虽然经过仅十余年的发展,已取代 DAS 成为企事业存储的首要选择,并引导存储技术发展的潮流。已涌现出多种存储网络技术,如 IP 存储、FC 存储等多种方式。由于 FC 存储是最早应用于大型主机中的网络存储技术,仍然占有较高的市场份额,但IP存储以每年35%市场增长率快速增加,远远高于FC 存储的增长速度,IP存储相对于FC存储具有诸多优势:性能10GbE(万兆以太网)的发展将消除IP存储相对于FC存储的性能差距;成本IP存储的成本远低于FC存储,后者昂贵的总体拥有成本是阻碍其普及的主要因素;安全 IP存储有成熟的安全标准与算法,而FC存储的安全机制相对匮乏距离 IP 存储没有距离限制,不存在FC 存储的信息孤岛问题兼容性 IP 网络兼容性良好,而不同 FC 交换机的互联互通相对困难。并行存储架构是最近新提出的先进的海量存储系统架构,它是存储技术的重大飞跃。并行存储中采用了新型的基于对象的存储模型 OSD(Object Storage Device)。对象是一个可变大小的容器,可以存储任何类型的数据;所有对象位于同一扁平空间中,不同对象之间完全独立。系统的控制和管理数据(元数据)由元数据服务器独立进行管理,实现了控制流和数据流的分离。对象存储设备具有计算能力,可实现自我管理和其它高级功能,对外提供面向对象的访问接口。这种智能和松耦合特性使得原来全部需要由 NAS 引擎执行的管理任务能够分解到数量巨大的存储节点上,极大地提高了系统的可扩展能力。并行存储架构的优点主要体现为:系统具有良好的可扩展性,系统规模可扩展至几百甚至上千个节点;对象存储设备可以和应用服务器之间直接传递数据,消除了集群存储系统中数据需要NAS 引擎转发的缺点, 各个存储设备的 I/O 带宽能得到充分利用;支持系统容量和性能都可随存储节点规模的扩展而线性扩展2。

数据技术

数据已成为现代信息社会最重要的财富。但数据面临由于硬件故障、人为错误操作、计算机病毒、黑客攻击等威胁。传统的数据保护技术,如备份/恢复、拷贝、镜像等已经远远不能满足日益增加的对数据可靠、安全存储、以及保证业务的连续性的要求。持续数据保护CDP(Continous Data Protection)是对传统数据保护技术的一个重大突破。实现了数据保护的最主要目标:RTO(Recovery Time Objectives, 目标恢复时间)和 RPO(Recovery Point Objectives, 目标恢复点)重大提升CDP 数据保护技术可以实现对数据无间断的保护, 可以快速恢复任意时间点的数据,是当前数据保护技术的主要发展方向。传统的存储系统数据机密性保护往往需要依赖于第三方软件来实现,存在安全漏洞和管理复杂等问题。IDC 的调查研究表明存储与数据机密性保护二者密不可分。这一趋势已在存储业界得到验证,其中EMC对RSA 的收购整合,就代表着数据存储与数据保护相融合的大趋势。以存储系统本身为出发点,实现内建的、一体化的数据安全保护,包括认证和授权、实时加密、密钥共享和密钥管理,将从根本上提高海量存储系统中的数据安全性保护能力。

存储系统存储系统由多种存储器、存储管理部件、存储管理软件所组成的系统。当代计算机系统对存储系统的要求是存取时间短、容量大、价格低。采用单一种类的存储器很难同时满足这三项要求。采用存取时间短、价格高、容量小的高速缓冲存储器、主存储器和容量大、价格低、存取时间长的辅助存储器,在存储管理部件和软件的统一调度管理下,组成一个多层次结构的存储系统,就能较好地满足这三方面的要求,使用户感到使用的存储系统具有高速缓冲存储器的工作速度、具有辅助存储器一样大的容量、而价格适中。使用层次结构构成存储系统是依据中央处理器访问存储器的局部性,即在一段时间内,中央处理器存取程序或数据所访问的存储单元都集中在一个较小的连续地址区域内。根据访问的局部性,可将当前集中访问的连续地址区的内容存放在高速缓冲存储器中,使中央处理器可通过高速缓冲存储器实现程序和数据的高速访问。数据和程序在高速缓冲存储器和主存储器中的调动由硬件(存储管理部件)自动完成(参见“高速缓冲存储器”)。而主存储器与辅助存储器层次可用虚拟存储技术构成虚拟存储器,可为用户提供一个容量比主存储器大得多的可随机访问的可编程的逻辑地址空间。程序和数据在主存储器和辅助存储器中的交换是在存储管理部件(硬件)和操作系统(软件)共同管理控制下自动实现的。

本词条内容贡献者为:

吴晨涛 - 副研究员 - 上海交通大学