集群存储的定义

《集群存储的定义》由会员分享，可在线阅读，更多相关《集群存储的定义（5页珍藏版）》请在装配图网上搜索。

1、集群存储的定义2008 年以来，集群存储的声音开始在存储业界渐行渐近，各大存储厂商分别推出各自的集群存储产品。由于目前集群存储产品还没有业界标准，每种产品都宣称各自产品具有独特的功能，因此需要先对集群存储作必要的功能定义，以便进行必要的比较。所谓集群存储是一种开放式的存储架构，采用分布式的操作系统，将多台物理存储设备中的 存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池（也叫统一命名空间），应用可以通过该访问接口非常容易的管理存储池后端物理存储设备上所有的磁盘，充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的负载均衡策略，从多台存储设 备上存储和读取，以获得更高的存储

2、性能。从以上定义中，有六个非常关键的集群存储特点： 开放式架构（高扩展性）：开放式架构是针对集群存储内部构成元素而言。一般集群存储应该包括存储节点、前端网络、后端网络等三个构成元素，每个元素都可以非常容易 的采用业界最新技术而不用改变集群存储的架构，而且扩展起来非常方便，像搭积木的 方式进行存储的扩展。尤其对于对增长趋势不好预测的用户，可以先购买一部分存储， 当有需求的时候，随时添加，而不会影响现有存储的使用。 分布式操作系统：分布式操作系统是集群存储的灵魂所在，所有对集群存储的操作都经 由分布式操作系统统一调度和分发，分散到集群存储各个存储节点上完成。使用分布式 操作系统带来的好处，就是各个

3、节点之间没有任何区别，没有主次、功能上的区别，所 有存储节点功能完全一致，这样才能真正做到性能最优。而且在全分布的系统下，任何 一个存储节点出现故障，对整个集群存储的影响微乎其微，不会出现全局性大面积影响。 统一命名空间：统一命名空间在很多厂家的存储概念中都出现过，在集群存储中统一命名空间最强调的是同一个文件系统下的统一命名空间。同样可以支持上PB级别的存储空间，如果是通过将若干有空间上限的卷挂载到某一个根目录的方式来达到统一命名空 间，其效率和出现存储热点时的性能，将会大大低于将上PB级别的存储空间置于同一 个文件系统下管理的统一命名空间。 易管理性：目前存储业界的管理方式都是通过各厂商的管

4、理工具，或者通过Web界面 进行管理和配置，往往客户端还需要安装相关软件，才能访问到存储上的空间。随着需 要管理的存储空间逐渐增大，管理存储的复杂度和管理人员数量也将会随之增加。而集 群存储应该提供一种集中的，简便易用的管理方式，对客户端没有任何影响，采用业界 标准的访问协议（比如NFS，CIFS ）访问集群存储。而且随着集群存储容量的增加，客 户不需要增加额外的管理人员，将精力更多的投向自己的应用方面。 负载均衡：集群存储通过分布式操作系统的作用，会在前段和后端都实现负载均衡。 前端访问集群存储的操作，通过几种负载均衡策略，将访问分散到集群存储的各个存储 节点上，大大减轻了每个节点的负载。后

5、端访问数据，通过开放式的架构和后端网络，数据会分布在所有节点上进行存放和读 取，每个读写操作都由更多的磁盘参与，因此将大大的提高读写操作的性能。 高性能：关于高性能领域，目前对集群存储的讨论还仅局限在高带宽，高并发访问的应 用模式下。毫无疑问，集群存储对于该类应用可以提供比传统存储架构更优的性能；但 是，目前应用除了高带宽、高并发访问的一类之外，还有高IOPS、随机访问、小文件 访问以及备份归档等其他类的应用，集群存储应该在以上领域同样提供高性能的解决方 案。综上所述，集群存储以一种独特的开放式架构，在分布式操作系统的管理下，提供文件系统 级的统一命名空间，使得集群存储更加易于管理。通过使用负

6、载均衡的管理策略，使得集群存储针对任何一种应用类型都可以提供高性能的存储能力。通过使用集群存储，使得客户精力更多的投向自己的应用领域，而不需要过多的了解存储底层的细节。集群存储与传统架构的比较传统的 SAN 与 NAS 分别提供的是数据块与文件两个不同级别的存储服务，集群存储主要面 向文件级别存储服务的集群存储系统。根据Gartner的统计，2008年，基于文件的存储系统容量出货量以微弱优势首次超过了基于 块的存储系统容量出货量；根据以上趋势，到2012年基于文件的存储系统容量将占到总容 量的 70%，由此可以估计集群存储在今明两年，市场将会出现强劲的增长。集群存储的优势主要体现在提高并行或分

7、区I/O的整体性能，特别是工作流、读密集型以及大型文件的访问，通过采用更低成本的服务器来降低整体成本。集群存储有两种实现方式：一种是现有硬件基础架构加上软件，典型代表是SAN架构+并 行文件系统，这种架构是折衷的解决办法，面向的是已经采用了大量SAN、NAS架构的存储 的客户。在现有硬件架构之上加并行化文件系统，并不能跨越原有硬件架构的局限性，只不 过时局部的改良而已；另一种是专用集群存储，采用独特的开放式架构，通过分布式操作系 统实现集群存储，这是完全并行化的解决方案，从硬件到软件都实现了并行化。对比传统NAS、SAN结构和集群存储架构方面，可以形象的用中国的高铁和之前的火车做形象的比较：传

8、统存储、传统火车集群存储、动车组SAN系统具有很高的性能，但是构建和维护起来很复杂。由于数据块和网络需求的原因,SAN 系统也很难扩容，NAS系统的构建和维护虽然比较简单，但是由于其聚合设备（又叫做NAS 头）是其架构上的瓶颈，造成其性能很有限；这些特点非常类似与传统火车，能装的乘客数 量（存储容量）完全取决于火车头的功率（机头的性能）集群存储集中了 SAN和NAS结构 的优点，并且具备SAN和NAS不具有的优点。在大多数使用集群存储的案例中，随着存储 系统的扩容，性能也随之提升，这写特点跟动车组类似，动车组能够装载的乘客数量（存储 容量）基本没有上限，因为动车组的动力系统是完全分散在各个车厢

9、之内的，只要站台（客 户的机房）没有限制，客户数量就没有限制，因为车厢可以随需添加（ay as you grow）,理论上一个大的集群存储的性能往往胜过一个SAN系统，但是价格却比SAN的价格更加具有 优势。集群存储和NAS的概念是在文件系统层面上的，而SAN是在LUN层面上的，集群存储可以 利用SAN环境实现。因此，集群存储与SAN解决的问题不同。如果一定要比较这两者的优 缺点的话，可以说SAN做到的是多个服务器节点可以同时看到SAN环境中的同一个LUN， 还不能做到多服务器节点间的文件级共享。集群存储在性能、可靠性及扩展性等多个方面都远远优于 NAS。集群存储的适用领域集群存储从刚进入存储

10、市场以来，就一直面向高性能运算领域和并发数据读写领域。从其架 构方面看来，非常适合以非结构化数据为主的应用，比如石油勘探开发、地震信号处理、图 像处理、高性能运算、流媒体、音视频应用、航空航天、工业制造、CAD、CAM、CAE等相 关领域。另外还非常适合做文件服务器。目前随着集群存储的发展，除了以上传统的使用领域外，高IOPS，随机读写，小文件为主 的应用类型也可以适用，包括数据库，邮件系统等等。而随着数据库技术的发展，越来越多 的数据库应用也运行在文件系统级别之上，更加为集群存储架构的使用创造了条件。 另外在备份归档领域，集群存储的高扩展性和高性价比，非常适合使用。使用集群存储的高 扩展性，可以把主存，二级存储和备份归档存储更好的整合在一起，结合备份管理软件，很 容易的实现HSM （分级式数据管理）小结本文介绍了集群存储的定义，特点和适用场合，下一篇文章将会结合具体厂商的产品，进行有针对性介绍和比较，敬请关注。