双控存储系统

《双控存储系统》由会员分享，可在线阅读，更多相关《双控存储系统（13页珍藏版）》请在装配图网上搜索。

1、双控存储系统随着国内科技的发展和信息化建设的不断进一步，多种数据量迅速增长，数据应用的深度也不断增长。在英国工业革命之后，多种书籍等以文字为载体的知识大概每十年翻一番，世纪年代后，全球信息总量大概每三年就翻一番。而到了现如今，全球信息总量每两年就可翻一番。1年全球数据总量已经达到，并且根据估计每年以的速度增长，我们己经进入了大数据时代。在大数据时代，数据的存储不仅是针对原生数据，更多的是第三方数据。随着大数据时代的不断推动，原生数据越来越呈现单一孤立化，而大数据解决就是要将众多看似毫无联系的单一孤立化数据联系起来，产生多种针对性很强的第三方数据。随着大数据解决的发展，第方数据量与日俱增，带有各

2、项综合价值的第三方数据在质量和数量上都远超单一的原生数据。特别是政府、金融、军工、通信等特殊行业，对数据存储的安全、可靠性等有更加特殊的技术规定。棱镜门事件后有报告宣称部分国外科技公司在国内诸多核心领域特别是数据存储领域拓展业务的同步，与她国军队、政府等保持密切联系，导致她国情报部门通过这些公司在核心领域铺设的设备、网络等非法获取国内机密信息，给国内的信息安全带来巨大威胁。特别是棱镜门后，国内加大了政府信息工程的国产化工作。在这种状况下，存储系统的数据重要性日益凸显，发展国产存储对减少国内信息化成本、保障国家的信息安全有着非比寻常的意义。与此同步，随着存储需求的迅速膨胀，国内存储产业己经达到了

3、上百亿的规模。存储的产业经济价值也开始凸现出来。与此同步，保证数据的高可用和高可靠逐渐成为各大厂商存储研究的热点。磁盘阵列技术的不断应用使得存储系统的故障单点有逐渐向控制器转移的趋势。在金融、电信、互联网等行业里，存储系统发生宕机会给顾客带来致命问题。因此研制拥有自主知识产权的双控存储系统就具有强烈的现实意义和极高的经济价值。存储技术的发展计算机最初采用串行的延迟线存储器，不久又用磁鼓存储器。50年代中期，重要使用磁芯存储器作为主存 。60年代中期后来，半导体存储器已取代磁芯存储器。在逻辑构造上，并行存储和附属存储器技术的采用提高了主存的供数速度，缓和了主存和高速的中央解决器速度不匹配的矛盾。

4、1968年IBM- 36085最早采用了高速缓冲存储器主存储器构造。高速缓冲存储器的存取周期与中央解决器主频周期同样，由硬件自动调度高速缓冲存储器与主存储器之间信息的传递，使中央解决器对主存储器的绝大部分存取操作，可以在中央解决器和高速缓冲存储器之间进行。1970年，美国RCA公司研 究成功虚拟存储器系统。IBM公司于 1972年在IBM370系统上全面采用了虚拟存储技术。由于科学计算和数据解决对存储系统的规定越来越高 ，需要不断改善已有的存储技术，研究新型的存储介质，改善存储系统的构造和管理。大规模集成电路和磁盘仍然是重要的存储介质。运用新型材料制作大规模集成电路、大容量的联想存储器可大大提

5、高速度，对于计算机系统和软件都会发生影响。磁盘技术、光盘技术、约瑟夫逊结器件，以至研究新的存储模型，都是计算机存储系统发展的研究课题。此外还要进行新的存储机制的研究。目前存储技术的发展按照系统层面可分为封闭体系和开放体系，其中封闭体系重要指大型机，而开放体系指基于、linux等常用操作系统的存储体系。开放式存储体系可分为外挂方式存储和内置方式存储，其中外挂方式存储可分为和。根据传播合同不同又可进一步细分为和。即，直连式存储。即ab，网络化存储。即，网络附属存储。即，存储区域网络。在老式的技术中，多种磁盘驱动器可以通过串接的方式构成磁盘簇（，JBOD），可以通过接口或者SI接口连接到磁盘主控制器

6、。由于的应用构造非常简朴，成本很低，因此在市场中应用广泛，但缺陷也有诸多。DAS的缺陷重要有如下几种方面：、主控制器资源开销过大，特别是在进行数据备份或者迁移的过程。、系统容错性非常差，容易若机导致数据丢失。、系统可扩展性差，不能方面的进行磁盘扩展。、系统由于设备分散不容易管理，容易形成信息孤岛。为了増加系统数据的容错性，磁盘主控制器可通过多种技术来实现数据的冗余和容错。ID(Redundant Array of Independent Disk，独立磁盘冗余阵列）技术是由于年提出的，最初是为了用多种便宜小容量磁盘来替代大容量但是价格相对昂贵的磁盘，并且可保证在磁盘故障时存储数据不会丢失。应用

7、技术可以充足发挥硬盘组的优势，可以提高硬盘整体读写速率，增大整机存储容量，提高整机容错性等。常用的瓜工作模式重要分为、ID、又被称为Stripe或，即数据分条技术。数据分条技术将文献后分散写入多种磁盘中，从而提高了整机磁盘的速率和吞吐量。模式没有冗余能力并且成本低廉，至少规定两个磁盘才干组建，一般应用在对数据安全性规定不高的环境下。ID也称为磁盘镜像模式，可以简朴理解为在不影响性能的状况下为保证整机系统的可靠性而把一种磁盘的数据完全镜像到另一种磁盘上的技术模式。该模式由于的数据镜像因而具有很高的数据冗余能力，但相应磁盘运用率仅为，因此成本教高，一般应用在保存核心性数据的重要场合环境下。ID5模

8、式是涉及ID和ID的综合方案，但又没有完全使用ID1的镜像原理，而是运用奇偶校验信息来作为数据恢复的方式。运用分散在不同磁盘中奇偶校验信息的重构运算来达到数据兀余的目的，同步也可以兼顾存储成本与高可靠。ID则是集中了和的特点，在民对数据进行存储的基本上，每个磁盘均有一种相应的镜像磁盘。双控存储系统定义双控存储系统是一套高密度、高稳定且兀余的存储系统，设计灵活，可同步适配于、系统。、系统中均可实现双控，系统中单控制柜最多支持个，系统中单控制柜最多可支持个。系统还支持接口产品，有很强的扩展性，可扩展出网络接口、接口等并预留出多种设备接口。系统重要应用在存储领域，窩密度、高稳定性、冗余且可扩展性强。

9、双控存储系统根据两个控制器的工作方式可以分为两类：Active-Standby和Active-Active。1.Active-Standby在Active-Standby设计方案中，两个控制器地位不同样，分为主控制器和镜像控制器。正常工作状态下，客户端的数据祈求都由主控制器来解决，镜像控制器不接受数据祈求也不会操作磁盘，镜像控制器的重要功能是缓存数据备份。主控制器所有对本地缓存的更新，都必须实时同步到镜像控制器的缓存中，虽然主控制器故障，缓存数据也不会丢失。客户端主机和存储设备之间的连接方式可以采用故障转移或者绑定虚拟IP地址的方式。镜像控制器时刻监控主控制器与否工作正常，当主控制器发生异常后

10、，客户端接受不到数据祈求响应，会使用与镜像控制器的连接发送命令。此时镜像控制器上线替代主控制器解决祈求，保证了高可用性。同步镜像控制器将缓存中的备份数据做合适解决，写入磁盘，或直接作为缓存数据使用。Active-Standby设计方案实现简朴，成本相对较低，但是同步只有一种控制器工作，减少了性能和运用率，重要面对中低端市场。2.Active-Active在Active-Actiive设计方案中，两个控制器可以同步操作磁盘阵列，同步对外提供读写祈求服务。两个控制器的地位是对等的，不同的是两个控制器接受到的数据祈求是客户端通过合同分发之后的。为了保证缓存数据的可靠性，两个控制器要分别备份对方控制器

11、的缓存数据。每个控制器自身的缓存空间分为两个部分，一部分是目前控制器的缓存数据，另一部分氏对方控制器的缓存备份。当其中一种控制器发生异常无法工作后，另一种接管所有的客户端数据祈求，不会导致存储服务中断，并且缓存里的数据没有丢失。由于连个控制器可以同步上线工作，因此Active-Active的性能和资源运用率要比Active-Standby方式高，但同步缓存的设计实现更加复杂，成本高，重要面向中高品位市场。双控存储系统实现原理双控存储系统运用增长磁盘控制器来解决系统的单点故障。双控制器之间通过高速链路通道进行数据的缓存镜像，控制器之间通过心跳链路来实时监控对方状态。每个控制器都单独通过接口与后端

12、磁盘阵列相连，并且在单一控制器岩机时可以实现控制器切换，最大限度的减少控制器故障带来的损失系统会在在整机系统掉电时进行缓存数据往的写入，做到意外掉电不丢数据。双控存储系统设计原则、模块化原则双控存储系统严格遵从整体到局部，自上而下的原则进行设计。遵循模块化设计原则，软硬组件根据不同功能进行划分，双控系统内部的按制流、数据流和管理流彼此分离，管理与控制任务不会对数据的访问导致任何影响，从而有力的保证数据访问的离效性与存储系统整体构造的稳定性。、高性能原则双控存储系统为各个应用场景提供髙带宽、高性能、低延迟的数据访问服务，可以承当大规模的数据吞吐量和大量顾客的并发访问，这就规定系统以提高整体性能为

13、目的，优化内部数据流程，提高顾客访问效率。、高可靠、高可用原则双控存储系统的解决的数据量很大，但是无论多大的数据量丢失都会给客户带来无可弥补的损失。数据无价，所存储系统的设计必须以保证高可靠和高可用为最大原则。系统采用冗余方式设计，使得系统没有单点故障的风险，建设完巧善的系统状态监控和纠错算法，对重点部件进行重点防护。数据在内部采用兀余存储，并形成一套完整的劫难恢复方略，保证系统被破坏后可及时进行恢复。、可扩展原则双控存储系统力求灵活且可扩展，可以在规模、容量和性能等几种方面根据顾客需求进行调节，动态増删磁盘阵列、网络设备与存储服务器，以适应顾客对网络带宽、存储容量和数据存储效率的需求。、易管

14、理原则双控存储系统涉及数量众多的磁盘阵列、网络连接设备和存储服务器，内部运营功能各异的存储核屯、软件，需要对多种资源进行有效的管理，使用绕一视图的方式提供应管理员，以便对整个系统进行监控与管理。、经济性原则双控存储系统需要整机各个部件搭配合适才干发挥出每个部件的最大性能，并且也有助于控制整机的成本，减少不必要的开销。、保障性原则双控存储系统设计时以最大限度保证高性能、易扩展、髙可用、易管理为核屯、出发点，在设计浮现冲突时以此为基本进行折衷，保证设计成果的有效性。系统实行后可保证对顾客的访问祈求进行迅速响应，保证数据的安全可靠存储，并可对系统内部的各类资源进行以便的统一监控与管理，为多种类型的顾

15、客提供良好的数据访问服务。架构设计双控制器存储系统由两台软硬件完全相似的计算机作为列阵控制器，两个控制器通过高速通道连接实现数据传播，用于一共高速缓存同步、心跳信号传播、控制切换等功能。双控制器及背板之间残念用无线缆设计，将大大减少信号间的串扰。每个控制器搭载一颗P3041斯和控制器，向外拓展8个PCIE插槽，可以连接万兆等设备。控制器通过SAS驱动卡或者RAID卡连接到磁盘阵列，对外提供ISCSI和FC网络接口，为客户及提供高速的数据传播。为了避免忽然断电导致数据损坏，平台提供了备用电源，在断电时将内存的数据写入到其她设备中，通电后可恢复。双控存储系统体系构造优势一般的基于平台架构的单控存储

16、系统在遇到系统单点故障特别是控制器故障时极易宕机，对公司生产是一种潜在的巨大危机。双控存储系统运用增长磁盘控制器来解决系统的单点故障。双控制器之间通过高速链路通道进行数据的缓存镜像，控制器之间通过也跳链路来实时监控对方状态，并且在单一控制器若机时可以实现控制器切换，最大限度的减少控制器故障带来的损失。此外，系统会在在整机系统掉电时进行缓存数据往的写入，做到意外掉电不丢数据。增长了系统整体可靠性。并且本双控存储系统还可搭配相应的磁盘扩展柜进行磁盘扩展，支持大容量磁盘阵列控制。国内外研究现状随着技术进步，存储系统的接入形式由最初的演变到、，磁盘阵列的构造也由最初的单控逐渐发展到双控，目前国外公司己

17、经推出成熟的双控产品，如系列、旧系列、系列产品。国内某些存储领域研巧出名高校如清华、华中科技大学，公司如浪潮、华为等在双控存储产品的开发方面投入了大量的资源，有了较强的技术积累。但在各自的研巧方向上，这些机构又有所分别，如高校机构的技术研究比较前沿，但产品化有所欠缺，公司研究的技术实用性强，但前瞻性不够。在双控存储技术领域，国内有了某些技术基本，但还没有形成大规模的产业化。双控存储系统的实现方式可以分为两种：纯软件方式和硬件共享磁盘架构。前者重要是运用软件进行数据的镜像，但是两个控制器之间是完全独立的，可以理解为两套同样的数据存储设备。纯软件方式的长处在于对硬件的需求较小，并且以便部署安装，缺

18、陷就是难于进行数据管理并且容易损失整机性能。后者则是两个控制器运用总线访问同一种磁盘组的硬件共享磁盘架构。从本质上来讲，只有硬件共享磁盘架构才是真正的双控存储系统采用的架构方式。采用这种架构的双控存储系统在发生单一控制器故障时可不用考虑数据一致性的问题而仅仅进行控制器的切换，可更加及时有效并且精确的进巧数据保护。目前国内采用纯软件方式进行双控系统搭建一般是运用LIFE、 等双控方案，其中FE 是目前比较常用的集群软件，致力于解决控制故障容错的问题。它除了可支持创立集群，也可以支持双机工作。在扩展镜像方式下可从互相热备份且实现两个控制器各自运营不同应用，实现双工作模式。当浮现控制器故障时，可实时

19、进行系统资源切换。双控系统采用两个控制器与磁盘阵列直连的方式，控制器应用软件和分别安装在两个控制器上，两个控制器之间通过也跳链路连接曰。 软件通过监控也跳信息来实时采集对方控制器的运营状态。此类纯软件的方式易于搭建并且对硬件平台的规定不髙，但是配备过程异常的繁琐，后期还需要专业人员进行定期维护。国外某些存储公司的存储产品例如旧的就是采用硬件共享磁盘架构模式，两个控制器都通过接口与后端磁盘阵列相连。大体来看，国内的双控存储系统还不能完全与海外公司竞争。并且国外的中高品位双控存储系统成本高昂，对国内企事业单位有着不低的价格口槛和安全风险。所研制拥有自主知识产权的双控存储系统具有非常重要的现实意义和经济价值。目前，国外各巨头都已投入大量的人为、物力和财为研发存储系统，、IB、等许多厂商目前已经推出了诸多高品位存储系统，而国内本止存储公司相应研发目前处在起步阶段，更没有产品应用到国家核也的核心业务，导致目前存储市场大量被国外巨头垄断。为了满足顾客信息系统扩展、升级和顾客对复杂信息系统管理的需要，对存储系统有高性能、易扩展、高可用、易管理等四个基本规定，环绕着这四个基本规定延伸出了存储系统的诸多技术分支点，各个技术点的技术发展趋势也异彩纷呈。