下载安卓APP箭头
箭头给我发消息

客服QQ:3315713922

网络储存技术详解

作者:课课家教育     来源: http://www.kokojia.com点击数:820发布时间: 2017-04-27 09:29:40

标签: 网络管理技术网络工程师网络规划设计师

大神带你学编程,欢迎选课

  网络存储技术(NetworkStorageTechnologies)是基于数据存储的一种通用网络术语。网络存储结构大致分为三种:直连式存储(DAS:DirectAttachedStorage)、网络存储设备(NAS:NetworkAttachedStorage)和存储网络(SAN:StorageAreaNetwork)。

  在以数据为中心的信息时代,存储已成为IT基础设施的核心之一。数据存储已经成为继互联网热潮之后的又一次技术浪潮,它将网络带入了以数据为中心的时代。

  由于近年来C/S计算模型的广泛采用,服务器都带有自己的存储系统,信息分散到各个服务器上,形成了所谓的“信息孤岛”,不利于信息整合与数据共享。而网络存储就是一种利于信息整合与数据共享,且易于管理的、安全的新型存储结构和技术。目前,网络存储已经成为一种新的存储技术,本文将从体系结构的角度简述目前的存储系统。

网络储存技术详解_网络管理技术_网络工程师_网络规划设计师_课课家教育

  直接连接存储DAS

  直接连接存储DAS(DirectAttachedStorage)是对SCSI总线的进一步发展。它对外利用SCSI总线通道和多个主机连接,解决了SCSI卡只能连接到一个主机上的缺陷。对内利用SCSI总线通道或FC通道、IDE接口连接多个磁盘,并实现RAID技术,形成一个磁盘阵列,从而解决了数据容错、大存储空间的问题。

  DAS是以服务器为中心的存储体系结构,难以满足现代存储应用大容量、高可靠、高可用、高性能、动态可扩展、易维护和开放性等多方面的需求。解决这一问题的关键是将访问模式从以服务器为中心转化为以数据和网络为中心,实现扩展容量、增加性能和延伸距离,尤其是实现多个主机数据的共享,这推动了存储与计算的分离,即网络存储的发展。

  网络附属存储NAS

  NAS(附网存储系统)系统是用一个装有优化的文件系统和瘦操作系统的专用数据存储服务器,提供跨平台的文件共享功能。NAS产品与客户之间的通讯采用NFS(NetworkFileSystem)协议、CIFS(CommonInternetFileSystem)协议,这些协议运行在IP之上。。

  尽管NAS集成了系统、存储和网络技术,具有扩展性强、使用与管理简单、跨平台文件共享、性能优化等特点。然而,NAS系统也有其潜在的局限性。首先是它受限的数据库支持,NAS文件服务器不支持需大量依赖于数据库处理结果的应用(块级应用)。其次是缺乏灵活性,它是一种专用设备。最后,NAS备份与恢复的实现相当困难。

  存储区域网SAN

  SAN(存储区域网)是通过专用高速网将一个或多个网络存储设备(如磁盘阵列RAID)和服务器连接起来的专用存储系统。

  SAN以数据存储为中心,采用可伸缩的网络拓扑结构,提供SAN内部任意节点之间的多路可选择的数据交换,并且将数据存储管理集中在相对独立的存储区域网内,实现最大限度的数据共享和数据优化管理,以及系统的无缝扩充。正是由于光纤通道技术的发展,使得SAN得以支持远距离通信、易于扩展、能够解决网络数据的存储备份、高可用性、灾难恢复等有关问题,它可以提供高性能数据管道和共享的集中管理的存储设备。因此采用网络和通道技术相互融合的光纤通道接口的SAN将LAN上的存储转换到主要由存储设备组成的专用网络上,使得数据的访问、备份和恢复不影响LAN的性能,在大量数据访问时,不会大幅度降低网络性能。

  SAN主要用于存储量大的工作环境,并且SAN的适用性和通用性较差,在系统的安装和升级方面效率不高,且由于SAN使用专用网络(一般为光纤网络),相应的设备价格昂贵,总体实现费用较高,局限于大中型应用。

  NAS和SAN技术都体现了数据存储从传统的服务器中独立出来的思想,它们是网络存储领域中的两个发展方向。随着NAS和SAN之间的界限越来越模糊,其中更重要的区别可能就是在NAS/SAN混合系统中所采用的协议了:IP、光纤通道,或者iSCSI等。

  IP存储

  传统的SAN一般采用光纤通道技术,其成本高,距离受限制,因此基于IP的存储正成为一个新的热点,主要有FCIP(FibreChanneloverIP)、iFCP(InternetFibreChannelProtocol)、mFCP(MetroFibreChannelProtocol)、iSCSI(InternetSCSI)等技术。

  上述协议有一个非常重要的共同点:都能充当SCSI命令集的传输机制。通过IP存储介质与存储设备通信的主机仍能表达SCSI的含意。而iSCSI则是从主机到存储设备的整个传输链路就是一条IP链路,没有采用光纤通道,基于主机的应用通过IP与网络存储设备通信。iSCSI保持了SCSI命令集的原状,同时用IP取代了传输协议。但由于iSCSI通过映射至IP来保留SCSI命令集,存在延时问题,已有专门的iSCSI芯片组把转换代码部署在硬件当中。IP-SAN的优势在于:容易扩展成超大规模的存储网络;不必受光纤通道SAN的距离限制,连接在IP网络上的服务器都能享用网络存储服务;连接灵活多样,廉价成熟的网络架构成本,使得高端也能达到Gbps速率,有较高的性能价格比。

  集群存储

  由于目前一些存储应用受容量可扩展性、性能可扩展性、可用性、可管理性的挑战,“催生”了许多存储集群系统的产生。集群存储是将每个存储设备作为一个存储节点,通过高速互联网络连接起来,将数据分散开存储在多台独立的设备上,这些设备可以独立运作,相互之间又可以合作。每个I/O节点不仅可以访问本节点的存储空间,还可以访问其他节点的存储空间。所有存储节点的空间以一个虚拟磁盘的方式提供给客户端用户。组成集群存储可以是块级别的SAN集群、文件级别的NAS集群和并行文件系统的集群,它们的访问、特征与适用环境参见表1。

  集群存储有效地提升了存储设备的容量可扩展性、性能稳定性及系统可管理性。集群存储非常适合那些持续增长的所有规模的不同环境,实现即时供应(Just-in-time)存储,避免破坏性升级和增加管理的复杂性。在大型数据中心或高性能计算中心的集群存储解决方案,具有高性价比,简单、易于维护,高可靠性/可用性,具有非常高的整合带宽等优点。集群存储最典型系统是Google体系结构,它是大量机器内硬盘的组合,含899个机架(每架80台PC,每台PC有2个硬盘),共79,112台PC机,有158,224个硬盘,总容量为6180TB。

  对等(P2P)存储

  对等结构(P2P)从用户的使用方式来看,系统中每个用户既向其他用户提供资源,也从其他用户那里获取资源。从体系结构来看,无中心结构,结点之间对等,通过互相合作来完成用户任务。P2P结构的优点表现在:没有中心结点,不易形成系统瓶颈、不易受攻击,可扩展性好,自组织性好。

  用P2P的方式在广域网中构建大规模分布式存储系统,将很多机器用对等的方式组织起来共同为用户提供超大容量的数据存储服务,存储结点来自于存储服务方,用户使用存储空间并付费,用户还通过该平台自主寻找其他结点进行数据备份和存储空间交换。

对等(P2P)存储    对等结构(P2P)从用户的使用方式来看,系统中每个用户既向其他用户提供资源,也从其他用户那里获取资源。从体系结构来看,无中心结构,结点之间对等,通过互相合作来完成用户任务。P2P结构的优点表现在:没有中心结点,不易形成系统瓶颈、不易受攻击,可扩展性好,自组织性好。    用P2P的方式在广域网中构建大规模分布式存储系统,将很多机器用对等的方式组织起来共同为用户提供超大容量的数据存储服务,存储结点来自于存储服务方,用户使用存储空间并付费,用户还通过该平台自主寻找其他结点进行数据备份和存储空间交换。

  NAS网络存储器

  最大存储容量

  最大存储容量是指NAS存储设备所能存储数据容量的极限,通俗的讲,就是NAS设备能够支持的最大硬盘数量乘以单个硬盘容量就是最大存储容量。这个数值取决于NAS设备的硬件规格。不同的硬件级别,适用的范围不同,存储容量也就有所差别。通常,一般小型的NAS存储设备会支持几百GB的存储容量,适合中小型公司作为存储设备共享数据使用,而中高档的NAS设备应该支持T级别的容量(1T=1000G)。

  处理器

  同普通电脑类似,NAS产品也都具有自己的处理器(CPU)系统,来协调控制整个系统的正常运行。其采用的处理器也常常与台式机或服务器的CPU大体相同。目前主要有以下几类。

  (1)Intel系列处理器

  (4)AMD系列处理器

  (5)PA-RISC型处理器

  (6)PowerPC处理器

  (7)MIPS处理器

  一般针对中小型公司使用NAS产品采用AMD的处理器或IntelPIII/PIV等处理器。而大规模应用的NAS产品则使用IntelXeon处理器、或者RISC型处理器等。但是也不能一概而论,视具体应用和厂商规划而定。

  内存

  NAS从结构上讲就是一台精简型的电脑,每台NAS设备都配备了一定数量的内存,而且大多用户以后可以扩充。在NAS设备中,常见的内存类型由SDRAM(同步内存)、FLASH(闪存)等。不同的NAS产品出厂时配备的内存容量不同,一般为几十兆到数GB(1GB=1000MB)容量不等,这取决于NAS产品的应用范围,一般来讲,应用在小规模的局域网当中的NAS,如果只是应付几台设备的访问,64M以下内存容量即可。如果是上百个节点以上的访问,就得需要上G容量的内存。当然,这不是绝对的因素,NAS产品的综合性能发挥还取决于它的处理器能力、硬盘速度及其网络实际环境等因素的制约。总之,选购NAS产品时,应该综合考虑各个方面的性能参数。

  接口

  NAS产品的外部接口比较简单,由于只是通过内置网卡与外界通讯,所以一般只具有以太网络接口,通常是RJ45规格,而这种接口网卡一般都是100M网卡或1000M网卡。另外,也有部分NAS产品需要与SAN(存储区域网络)产品连接提供更为强大的功能,所以也可能会有FC(FiberChannel光纤通道)接口。

  预置软件系统

  预制操作系统是指NAS产品出厂时随机带的操作系统或者管理软件。目前NAS产品一般带有以下几种系统软件。

  精简的Windows2000系统

  这类系统只是保留了WINDOWS2000SERVER系统核心网络中最重要的部分,能够驱动NAS产品正常工作。我们可以把它理解为WINDOWS2000的“精简版”。

  FreeBSD嵌入式系统

  FreeBSD是类UNIX系统,在网络应用方面具备极其优异的性能。

  Linux嵌入式系统

  Linux系统类似于UNIX操组系统,但相比之下具有界面友好、内核升级迅速等特点。常常用来作为电器等产品的嵌入式控制系统。

  网络管理

  网络管理,是指网络管理员通过网络管理程序对网络上的资源进行集中化管理的操作,包括配置管理、性能和记账管理、问题管理、操作管理和变化管理等。一台设备所支持的管理程度反映了该设备的可管理性及可操作性。

  一般的网络满足SNMPMIBI/MIBII统计管理功能。常见的网络管理方式有以下几种:

  (1)SNMP管理技术

  (2)RMON管理技术

  (3)基于WEB的网络管理

  SNMP是英文“SimpleNetworkManagementProtocol”的缩写,中文意思是“简单网络管理协议”。SNMP首先是由Internet工程任务组织(InternetEngineeringTaskForce)(IETF)的研究小组为了解决Internet上的路由器管理问题而提出的。

  SNMP是目前最常用的环境管理协议。SNMP被设计成与协议无关,所以它可以在IP,IPX,AppleTalk,OSI以及其他用到的传输协议上被使用。SNMP是一系列协议组和规范(见下表),它们提供了一种从网络上的设备中收集网络管理信息的方法。SNMP也为设备向网络管理工作站报告问题和错误提供了一种方法。

  目前,几乎所有的网络设备生产厂家都实现了对SNMP的支持。领导潮流的SNMP是一个从网络上的设备收集管理信息的公用通信协议。设备的管理者收集这些信息并记录在管理信息库(MIB)中。这些信息报告设备的特性、数据吞吐量、通信超载和错误等。MIB有公共的格式,所以来自多个厂商的SNMP管理工具可以收集MIB信息,在管理控制台上呈现给系统管理员。

  通过将SNMP嵌入数据通信设备,如交换机或集线器中,就可以从一个中心站管理这些设备,并以图形方式查看信息。目前可获取的很多管理应用程序通常可在大多数当前使用的操作系统下运行,如Windows3.11、Windows95、WindowsNT和不同版本UNIX的等。

  一个被管理的设备有一个管理代理,它负责向管理站请求信息和动作,代理还可以借助于陷阱为管理站提供站动提供的信息,因此,一些关键的网络设备(如集线器、路由器、交换机等)提供这一管理代理,又称SNMP代理,以便通过SNMP管理站进行管理。

  网络协议

  网络协议即网络中(包括互联网)传递、管理信息的一些规范。如同人与人之间相互交流是需要遵循一定的规矩一样,计算机之间的相互通信需要共同遵守一定的规则,这些规则就称为网络协议。

  一台计算机只有在遵守网络协议的前提下,才能在网络上与其他计算机进行正常的通信。网络协议通常被分为几个层次,每层完成自己单独的功能。通信双方只有在共同的层次间才能相互联系。常见的协议有:TCP/IP协议、IPX/SPX协议、NetBEUI协议等。在局域网中用得的比较多的是IPX/SPX.。用户如果访问Internet,则必须在网络协议中添加TCP/IP协议。

  P2P存储与SAN的应用特点不同。前者主要强调可用性,而SAN主要面向的是高性能;P2P存储易于维护、可扩展好、自配置功能强,特别是P2P存储可以大量加盟的PC机和服务器中的存储器来组合成存储系统,提供高带宽的视频服务和其他共享服务。

  集群存储与P2P存储都是分布式存储。前者多在大型数据中心或高性能计算中心使用,后者是构建更大规模的分布式存储系统,可以跨多个大型数据中心或高性能计算中心使用。

  网格存储

  所有的存储、服务器和网络资源都被虚拟为一个资源池,并将其视作共享资源,这个资源池就是存储网格。存储网格的关键是虚拟化与统一性管理问题。

  存储网格既可应用于SAN环境,又可应用于NAS环境,它提供快速简单的对于容量、性能、服务质量和/或连接协议的可升级性,可对公司所有数据进行统一查看和管理,远远超出当前有限的虚拟化实现途径,还可优化分布式企业远程数据访问的性能。存储网格架构可实现数据库和企业之间更紧密的应用整合,提供更高的数据保护,并可基于有关规定更简单地管理数据资源。这些优势极大降低了用户在购买、扩容和管理时的费用。

  面向对象的存储

  对象存储模型综合了NAS和SAN结构的特点,存储对象具有文件和块二者的优点:像数据块一样在存储设备上被直接访问,通过一个对象接口,像文件一样,在不同操作系统平台上实现数据共享。在SAN中,定位逻辑和文件系统都位于主机中。而在面向对象的存储中,存储空间不再需要运行在主机上的文件系统管理,而由存储系统自己管理和分配。

  一个存储对象是关于一个存储设备的逻辑字节集合,它有存储方法、数据属性和存储安全策略等。因此,对象存储系统在基于文件级的数据布局、服务质量的灵活性和可管理等方面有很大改善。另外,基于对象存储的最直接效果是将空间管理从存储应用中剥离,如图2所示,存储设备具有自管理特性,包括重新组织数据来提高性能、调用规则的备份和失败恢复等。

  未来存储设备的特性可能包括自配置、自保护、自优化、自恢复和自管理。将块接口用对象来代替是一个发展方向。目前,面向对象的存储仍然处在标准制定之中,还没有得到广泛的接受。

一个存储对象是关于一个存储设备的逻辑字节集合,它有存储方法、数据属性和存储安全策略等。因此,对象存储系统在基于文件级的数据布局、服务质量的灵活性和可管理等方面有很大改善。另外,基于对象存储的最直接效果是将空间管理从存储应用中剥离,如图2所示,存储设备具有自管理特性,包括重新组织数据来提高性能、调用规则的备份和失败恢复等。    未来存储设备的特性可能包括自配置、自保护、自优化、自恢复和自管理。将块接口用对象来代替是一个发展方向。目前,面向对象的存储仍然处在标准制定之中,还没有得到广泛的接受。

  内容寻址存储CAS

  内容寻址存储(ContentAddressedStorage,CAS)是针对固定内容存储需求的网络存储技术。CAS具有面向对象存储特征,基于磁记录技术,它按照所存储数据内容的数字指纹寻址,具有良好的可搜索性、安全性、可靠性和扩展性。CAS、SAN和NAS的区别参见表2。CAS存储技术的代表性产品是EMC公司的Centera系统,目前还具有非常多的局限性。

  数据库只针对的是结构化数据,而大量非结构化的数据管理有更大的存储需求,而内容管理的对象是以各类非结构化数据为主的数字内容。CAS技术的出现使非结构化数据管理(包括企业的各种文档、报表、账单、网页、图片、传真、扫描影像,以及大量的多媒体音频、视频信息等等的归档和查询)成为存储业新的热点。未来需要一种新的基于内容管理的存储系统平台,它扩展了最新的对象存储体系结构,支持对象仓储和联邦数据库技术,支持关系和XML作为主要数据模型,并紧密地集成了内容管理服务、工作流、消息传递、分析和其他企业应用程序服务。

  基于IB的存储

  InfiniBand(IB)是针对处理器和智能I/O设备之间数据流而提出的一种新体系结构,用于在服务器中取代PCI总线。采用IB技术支持多处理器集群,将允许服务器提供更高的带宽和可扩展能力,并增强了存储设备扩充的灵活性,并用于支持远程I/O和远程存储器,如图3所示。IB作为一种能够为系统与存储之间提供低延迟和高带宽的连接解决方案,已经为一些用户所接受,预期基于IB的存储将在存储领域会占有一席之地。

  在光纤连接的SAN结构中,一共有5种端口类型:N型、NL型、F型、FL型和E型。其中前2种是主机和存储设备需要具备的工作机制,后3种是光纤交换机需要提供的连接机制。由此可见,同一片光纤卡、同一台光纤通道磁盘阵列和同一台光纤交换机、工作在不同的环境中,其内部的工作机制是不同的。这就要求设备具有自动识别、判断和动态调整工作机制的能力。现在,一些光纤交换机提供一种叫做G型端口的工作方式,其实,这个G就是Global的意思。即指这个端口可以提供F型、FL型和E型3种类型的工作方式,而且可以完全自动侦测环境,动态调整工作方式,完全无须人工干预。

  传输速度

  传输速度通常是指光纤交换机的端口传输速度或光纤通道卡的传输速度。一般这个速度都在100Mbps、200Mbps、400Mbps或者1Gbps以上。注:bps为bitpersecond,位/秒。

  网络存储通信中使用到的相关技术和协议包括SCSI、RAID、iSCSI以及光纤信道。一直以来SCSI支持高速、可靠的数据存储。RAID(独立磁盘冗余阵列)指的是一组标准,提供改进的性能和/或磁盘容错能力。光纤信道是一种提供存储设备相互连接的技术,支持高速通信(将来可以达到10Gbps)。与传统存储技术,如SCSI相比,光纤信道也支持较远距离的设备相互连接。iSCSI技术支持通过IP网络实现存储设备间双向的数据传输。其实质是使SCSI连接中的数据连续化。通过iSCSI,网络存储器可以应用于包含IP的任何位置。而作为Internet的主要元素,IP几乎无所不在。

  更多详细内容,尽在课课家教育,我们期待您的咨询!

赞(18)
踩(0)
分享到:
华为认证网络工程师 HCIE直播课视频教程