存储系统建设技术方案(最终版)要点

1 数据中心容灾备份方案概述 1.1 概述 当今社会，政府和企业利用计算机系统来提供及时可靠的信息和服务是必不可少的，另一方面，由于各种预见和不可预见的原因，计算机硬件和软件都不可避免地会发生故障，导致不能及时的提供信息和服务,甚至整个计算机系统的终止，网络的瘫痪，等等，给政府和企业带来极大的经济损失，影响政府、企业的形象。特别是数据库数据，一旦发生故障，引起数据丢失，不可恢复的话，将带来严重后果。 可见，对于这些政府部门和企业，系统的容错性和不间断性尤显得重要。因此，必须采取适当的措施来确保计算机系统的容错性和不间断性,以维护系统的高可用性和高安全性，最大可能减少由于各种故障造成的损失，提高政府和企业形象。 数据备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。 1.2 国家信息安全规范和政策 进入21世纪，电子政务的建设已经成为我国今后一个时期信息化工作的重点，政府先行带动国民经济和社会发展信息化，同时加快政府职能的转变，提高行政质量和效率，增强政府监管和服务能力，促进社会监督，实施信息化带动工业化的发展战略，因此，电子政务意义重大，电子政务的信息安全更是重中之重，我国至今已发布一系列的文件对灾难备份建设进行指导和监督。 ⑴、2003年9月7日中共中央办公厅、国务院办公厅发出通知，转发《国家信息化领导小组关于加强信息安全保障工作的意见》（简称中办发[2003]27号文件），要求各地结合实际认真贯彻落实，各基础信息网络和重要信息系统建设要充分考虑抗毁性与灾难恢复，并制定和不断完善信息安全应急处置预案。《国家信息化领导小组关于加强信息安全保障工作的意见》是为进一步提高信息安全保障工作的能力和水平,维护公众利益和国家安全,促进信息化建设健康发展而提出的。 ⑵、2004年9月，国务院信息化办公室专门下发了《关于做好国家重要信息系统灾难备份的通知》，要求在系统面临自然灾害、网络攻击、恐怖活动、战争行为、人为蓄意破坏以及大规模的设施故障等意想不到的灾难突发事件情况下，要提前做好灾难备份工作，提升系统灾难恢复能力，达到系统抗毁的有效性、重要数据保护的完整性和业务的连续性。通知明确强调“谁主管谁负责、谁运营谁负责”，并特别指出了国家重点信息系统包括七大部门、三大信息基础设施等，强调重点信息系统的建设及安全保障是直接关系到社会稳定、国计民生等重大问题。 ⑶、为加强和规范重要信息系统的灾难恢复工作, 2005年4月国务院信息化办公室《重要信息系统灾难恢复指南》下发。《指南》主要从灾难恢复规划的管理、灾难恢复的需求分析、灾难恢复等级的确定、灾难恢复等级的实现、灾难恢复预案的制订、落实和管理等方面，对灾难恢复的规划和准备活动的规范化要求进行了全面的描述，规定了对重要信息系统的灾难恢复应遵循的基本要求。 《指南》还以规范性附录的形式对灾难恢复的等级划分进行了描述，并以资料性附录的形式对灾难恢复预案的框架进行了说明，是我国第一个灾难备份指导性文件，对各个行业的灾难恢复计划提出了明确的要求。它的出台使得我国的灾难备份更加趋于规范和标准，对于完善中国灾难备份市场具有深远的意义。 ⑷、2006年5月，中办下发的《国家信息化领导小组关于推进国家电子政务网络建设的意见》（简称中办发[2006] 18号文件）中，将保障国家电子政务网络和信息安全，作为电子政务建设的四项重要任务之一。 ⑸、2007年7月，国务院信息化工作办公室领导编制的《重要信息系统灾难恢复指南》正式升级成为国家标准《信息系统灾难恢复规范》（GB/T 20988-2007 ）。这是中国灾难备份与恢复行业的第一个国家标准，并于2007年11月1日开始正式实施。 《信息系统灾难恢复规范》规定了信息系统灾难恢复应遵循的基本要求，适用于信息系统灾难恢复的规划、审批、实施和管理。《规范》具体对灾难恢复行业相应的术语和定义、灾难恢复概述（包括灾难恢复的工作范围、灾难恢复的组织机构、灾难恢复的规划管理、灾难恢复的外部协作、灾难恢复的审计和备案）、灾难恢复需求的确定（包括风险分析、业务影响分析、确定灾难恢复目标）、灾难恢复策略的制定（包括灾难恢复策略制定的要素、灾难恢复资源的获取方式、灾难恢复资源的要求）和灾难恢复策略的实现（包括灾难备份系统计数方案的实现、灾难备份中心的选择和建设、专业技术支持能力的实现、运行维护管理能力的实现、灾难恢复预案的实现）等内容作了具体描述。 同时，在《规范》附录A对灾难恢复能力作了等级划分（共6级：第1级 基本支持，第2级 备用场地支持，第3级 电子传输和部分设备支持，第4级 电子传输及完整设备支持，第5级实时数据传输及完整设备支持，第6级数据零丢失和远程集群支持）；附录A对灾难恢复能力等级评定原则、灾难备份中心的等级等也作了规范要求。附录B对灾难恢复预案框架、附录C对相应行业 RTO/RPO与灾难恢复能力等级的关系比例作了规范要求。信息系统灾难恢复能力等级与恢复时间目标（RTO）和恢复点目标（RPO）具有一定的对应关系，各行业可根据行业特点和信息技术的应用情况制定相应的灾难恢复能力等级要求和指标体系。 总之，灾难备份作为信息安全的最后一道防线，已经得到电子政务主管信息部门的高度重视。 1.3 灾备建设目标 《信息系统灾难恢复规范》（ 2007年7月国务院信息化办公室发布的国家标准GB/T 20988-2007《信息系统灾难恢复规范》）已经给需要做灾备的企事业单位一个明确的方向和思路。在灾备建设中需遵循三步七要素，三步即新建物理灾备中心、完成两个数据中心同步以及后期运维体系及决策，其覆盖了建设灾备系统所包含的七要素：备用基础设施、备用网络、数据备份系统、备用数据、技术支持、运行维护管理、灾难恢复预案。两者之间的关系如图所示： 备用网络 技术支持 备用数据 处理系统 灾难恢复预案 数据备份系统 备用基础设施 2.两个数据中心同步 3.运维体系及决策 1.新建物理灾备中心 灾 备 建 设 三 步 曲 运行维护管理 灾备 灾备建设是以“恢复”为目标，“备份”是手段。不同的业务系统，存在不同的安全需求、不同的保护等级，因此需要选取不同的灾备模式、不同的灾备标准，完善并实现各系统的灾难恢复。经过分析，灾备建设需要考虑的重点如下： n 灾备模式 灾备类型不同，应对的策略也不尽相同。对于IT系统灾难和人为灾难，可以在本地数据中心或同城灾备中心完成灾难恢复；而对于自然灾害、社会灾难，则需要通过异地灾备系统，对业务运营进行保障。比较典型的方式是“两地三中心”，即设立主生产中心、同城灾备中心和异地灾备中心。建立异地灾备中心的优势在于它具有强大的跨地域灾难抗御能力，能够有效防止物理设备损伤所产生的灾难后果，同时实时数据复制提供强大的数据交换能力。 由于信息系统应用规模越来越庞大，同单位跨广域会有多个数据中心，如果单独建立一对一的灾备，在投入成本、管理、维护上显然存在极大难度。因此多对一的运营级灾备系统成为了灾备领域发展的重要趋势之一，目前在国内已有多个成功实践案例，也成为后续灾备领域的新兴关注重点。 n 灾备等级 灾难恢复等级的确定是信息系统灾备建设的重要考虑因素。《信息系统灾难恢复规范》将灾难恢复能力划分为6级，灾难恢复能力等级越高，对信息系统的保护效果越好，但同时成本也会急剧上升。因此，需要根据成本风险平衡原则（即灾难恢复资源的成本与风险可能造成的损失之间取得平衡），确定业务系统合理的灾难恢复能力等级。对于多个业务系统，不同业务可采用不同的灾难恢复策略。 灾难本身是个小概率事件，但影响却是巨大的，提高投资回报率是必须考虑的重点。因此，灾难恢复等级的确定是信息系统灾备建设的重要考虑因素。灾备等级主要从RTO（恢复时间目标）和RPO（恢复点目标）来考虑，需要对业务和数据进行重要性评估和分级，以确定相应的RPO和RTO目标。对于多业务系统要按需划分灾备等级，灾备等级应与业务和数据的重要程度相匹配。确定级别后，需要调研IT应用环境，确定合适的灾备技术，并检查灾备建设成本是否符合预算并作相应调整，最终达到保护等级与成本投资的平衡点，获得最高的投资回报率。 根据对数据业务恢复的RPO和RTO的不同要求，灾备业务建设一般可分为：应用级灾备、数据级灾备和备份级灾备。保护等级越高，成本会呈级数增长。没有任何一种技术或方法能适应所有业务的灾难备份需求，最好的解决方案是采用不同等级灾难备份与恢复的组合，实现最大业务范围的灾难恢复和最少的成本投入。 1.4 项目总体需求分析 1.4.1 系统现状描述 l 系统及业务环境 中复连众自2010年大力实施信息化建设以来，硬件基础环境、系统环境以及网络环境都获得了很大的改善。目前中复连众主要使用两个大的信息化系统：SAP ERP系统以及domino OA系统。ERP系统经过两年多的运行，目前数据量达到199996.12M，年数据增量约为37G， OA系统年度增长量为 60G。 OA系统的上线期（2013.01）初数据量为：邮件数据 为42.9G，系统数据 为2.23G。 OA系统的当前(2014.04)数据量为：邮件数据为83.5G，系统数据为22.7G,合同评审附件5G TOMCAT服务器60M。 中复连众数据全部集中存储在宋跳厂区科研楼2楼机房内，通过EMC CX4-240实现数据的集中存储。目前使用的备份软件系统是IBM Tivoli，备份磁带库是IBM TS3100，备份服务器是IBM 3650。 此次项目中复连众有限制的服务器设备IBM P560一台，性能能够满足SAP系统的需求。 l 数据备份窗口 由中复连众工程师近期的检测发现，当前数据备份窗口时间已经由一年前的 5点左右结束，2-3小时的运行时间，推迟到了现在的8点54分，已经延生至现在的上班工作时间，严重影响了系统日常的运作以及备份安全性，占用了大量的系统资源。 图1.备份日志 图2.备份明细 l 现有拓扑结构 图3.中复连众网络拓扑图 图4.中复连众数据中心网络现状 1.4.2 系统需求描述 l 服务器更新 随着业务的增长，为了保证SAP服务器的运行流畅，对现有两台IBM P550小机进行升级、更新。 l 数据迁移 服务器升级随之而来的业务及相关数据移动工作，以保证新购服务器正常应用。 l 数据级备份 从数据安全角度分析，数据作为信息架构的核心，IT支撑系统在给中复连众内外部用户提供便利服务的同时，其业务运行也更加依赖于信息化系统的稳定运行，其结果是，一旦发生IT系统停止运行，那么关键业务系统将受到严重影响，用户信息、业务记录等也随之丢失，特别因为水灾、火灾、地震等小概率自然灾害一旦到来，带来的损失是具有毁灭性，即使在本地有多份数据，都可能同时丢失。因此，小至一般性的硬件故障，大到区域性的自然灾害，从物理的设备不可用，到逻辑的人为失误和破坏，都可能造成整个信息系统的全面瘫痪，导致业务运营的停顿。 为防患未然，现有SAP及OA数据需在大浦数据中心放置副本。 对应连云港中复连众的数据安全要求是严格的，如何将RPO降到最低，这就需要一套完整的数据备份方案，当出现任何软、硬件故障的情况下，迅速的将备份走的数据恢复出来，保证数据的正常使用。为了提高数据的安全级别中复连众在分厂区（沈阳、大浦）也进行数据的安全保存，需要解决方案有对异地数据备份的高效、安全的支持能力。 l 应用级容灾 在灾难备份与恢复行业国家标准《信息系统灾难恢复规范》中，将信息系统的灾难恢复能力划分为了6级，明确了RTO/RPO与灾难恢复能力等级的关系，在最高级（第6级）中要求RPO=0，RTO趋于0。 从业务连续性角度分析，企业日常的办公、财务、等核心系统均部署在服务器中，一旦现有的后端存储系统出现硬件故障，前端业务将立即中断，并且，随着现有存储系统使用年限的增加，故障率越来越高，用户面对着可能随时业务中断的风险也越大，要求前端业务系统提供7*24小时的高可用性服务，业务运行不允许中断，系统一旦停机会给企业造成巨大的损失。 中复连众的核心业务SAP和OA都是不允许存在中断的风险，目前虽然做了主机的高可用，但是仍然存在单点的故障，当目前的EMC存储设备出现故障将会影响两大业务系统的运行。或者当机房出现断电、物理故障，可以在异地迅速的接管正常的核心业务系统。 为业务连续性考虑，在大浦新建一个容灾机房，以满足SAP及OA的灾难性事情发生时切换，以保证业务的24小时不间断。 l 高性能存储 考虑到SAP服务器更新、容灾中心数据备份及应用级容灾考虑，需新加存储，其存储空间能满足五年的数据增长。 从SAP、OA系统的性能需求角度分析，按照前端业务特点和数据类型，可大致分为两类：服务器虚拟化，数据库服务。 n 主机虚拟化业务访问存储系统的特点： （1）随机性，虚拟机运行的业务类型多样，I/O绝大部分为随机I/O。 （2）突发性，可能同一时间访问量很大，特别是上千个虚拟桌面同时启动带来的“启动风暴（即当大量的用户同时登录系统时所造成的系统反应非常缓慢，桌面启动时间长）”问题或前端部署了大规模应用，同时并发访问。 （3）灵活性，虚拟机部署在不断调整（虚拟机优势）。 n 数据库服务业务访问存储系统的特点： （1）安全性，保证数据不能丢失。 （2）稳定性，业务不可中断性。 （3）性能要求高，特别是IOPS的要求，小文件随机读写为主。 服务器及服务器端业务一方面将产生的数据写到存储，另一方面从存储设备上读取所需数据，特别是现有数据库及虚拟化业务对随机读写数据、小数据块读写，对存储缓存要求更高，面对业务密集型应用，更容易产生突发的数据冲击，服务器及业务量越多，读写数据就越多，对存储设备的IOPS要求就越高，因此需要更高的缓存来处理；一般的，服务器的缓存越大，代表着其处理性能越强，对后端存储要求更高，需要存储配置相应缓存，提升存储的整体性能，满足前端业务IO访问需求。 l 网络加速 针对IP连接大浦，且为2M带宽，为保证应用级容灾同步问题，以解决带宽不足带来的风险。 l 复杂型需求 中复连众的现实环境较为复杂，数据保护复杂性是比较高的。一切围绕着RPO和RTO这两个重要的指标外，还需要考虑到诸多因素。 统一性管理：现状的复杂环境，势必需要有一个统一的数据保护平台，利于对所有数据的管理，减少IT部门的人力投入。 数据备份代理类型：中复连众采用的系统平台和数据库都多样化，数据结构也是复杂的，如何在统一的保护平台中对各种数据库和结构有针对性的备份，对数据备份平台的技术支持范围有较高的要求。 灵活的备份手段和机制：数据备份的目的是保护数据业务，而不能对业务运行产生影响，要为备份作业提供灵活的控制，需要为统一数据保护平台提供灵活的的备份手段和机制。 恢复流程：当数据出现故障的情况下，能高效快速的自动恢复，是对RTO要求的直接反应。 报表提供：对于统一的数据保护平台，提供相应的数据和介质设备、备份资源状态、恢复操作等汇总信息，利于信息管理人员进行统计和审核工作。 监控能力：因为业务是时时刻刻进行的，所以必须要有时时观测业务环境的可视化控制台，让所有的操作和业务运行状态得到自动和手动的监控管理。 结合中复连众每个业务应用的具体RPO和RTO需求，和复杂环境下各种参数需求，联成科技提供以下整体的系统保护解决方案，力保当出现系统故障时候，迅速的得到恢复，保证业务服务的正常运行。 1.5 项目总体建设目标及建设原则 1.5.1 系统建设目标 按照统一规划、统一管理、分步实施的建设思路，中复连众单位数据处理中心规划在优化本地的数据集中存储和备份的前提下，同时利用现有的广域网网络环境，在不影响现有业务应用的条件下，为中复连众单位业务系统建立完备的异地数据及生产应用容灾系统。 总体上，此次备份容灾系统的建设将至少达到如下目标： l 高性能双活存储系统 Ø 实现高性能数据集中存储、有效保护，实现基于SAN网络层的数据镜像，数据中心两套主存储实现双活和存储虚拟化； Ø 本地存储故障时，要求实现数据无丢失、应用不中断，即RPO=0、RTO=0；实现OA/MAIL等应用系统虚拟化集群及容灾，容灾级别必须达到GB20988-2007-T 信息安全技术 信息系统灾难恢复规范，所规定的三级容灾级别，和三级容灾中心建设。 l 备份容灾系统 Ø 实现数据中心存储内的数据基于现有网络线路的远程备份，以最小的带宽代价实现数据备份； Ø 在主数据中心大浦的存储和远程容灾存储之间实现基于磁盘阵列的数据块层次的数据复制，可以定制符合现有IP网络环境的复制策略，以最小的网络带宽代价实现快速的数据恢复或业务切换; l 持续数据恢复功能 连续数据保护系统(CDP)，采用“带外”基于网络的应用装置，不在主机到存储的主 I/O 路径中。实时对写I/O监控和复制保护，不影响主机性能。要求提供原厂商彩页证明和原厂商官方网站证明。可以实现对物理和数据逻辑故障的恢复，逻辑故障包括：数据库逻辑错误、人为误操作和病毒等引起的数据库数据丢失、人为或病毒引起的数据库崩溃等故障。提供一致性组功能，可以将某个特定应用程序的所有LUN绑定到一个一致性组中，以确保事务向以前时间点的回滚同时进行，从而确保应用程序的一致恢复。 1.5.2 项目建设原则 为了全面保证各单位数据中心建设目标，在数据中心存储系统规划、建设、实施、运行和完善的过程中，必须应遵循以下建设原则： （1）开放性：系统符合开放性设计原则，具备优良的可扩展性、可升级性，可以支持开放系统平台，运行于现有的技术标准之上； （2）兼容性：与现有系统需要完全兼容，各个构成子系统必须紧密衔接、高度集成，构成一个整体； （3）稳定性：要保证系统运行的稳定性，使系统运行风险降至最低； （4）技术先进性：系统设计应采用当前先进而成熟的技术，不仅可以满足本期工程的需求，也应把握未来的发展方向。 （5）可扩充性：在系统设计时应充分考虑可扩充性，从而确保新功能、新业务的增加在原有的系统平台上扩展和实现。 （6）高可靠性：系统平台具有高可靠性，支持服务器平台的高可用性集群技术；具备先进的容灾的设计；充分保证系统的高扩展能力和高容错能力，具有通道负载自动均衡能力和存储系统性能调节能力，提供极为充分的可靠性各项指标设计。 （7）高可用性：在不停机情况下，实现不停机扩容、维护、升级等服务，提高性能以满足新的业务需求。具备7×24×365连续工作的能力，系统的可用性应大于99.999％。在自动化管理软件支持下可以实现磁盘数据的在线（不停机）备份。 （8）成熟性：应尽量选用经过大量运用、成熟可靠的系统。 （9）可实施性：选用成熟的技术，成熟的案例经验和设计方案，制定详细的技术实施方案。 （10）经济性原则：在满足所有需求的前提下，选择最合适的设备及管理软件，使系统具有较好的性价比。 （11）充分保护用户现有投资：采用先进技术，将现有存储系统无缝的整合在新系统中，实现对用户现有设备的有效利用，达到保护用户现有投资的目标。 1.6 项目总体方案设计及技术说明 1.6.1 项目总体规划方案设计 针对以上项目建设目标，本次推荐采用以下高性能双活数据中心容灾备份解决方案。 （1） 在宋跳机房新增两台对称双活存储系统MS3100替换原有存储CX4-240，将原存储上的数据迁移至新存储MS3100，通过配置大容量缓存提升MS3100整体性能，提供高效数据支撑能力，同时，确保当主存储系统MS3100出现故障时，前端SAP及OA等所有业务系统可自动切换到镜像存储MS3100上，最大限度减少数据的丢失量（包括RPO=0），最快速度的恢复关键应用系统（RTO=0），提高信息系统的整体服务级别。 （2） 针对原有CX4-240存储的利旧，新增一台宏杉科技存储虚拟化CDP网关VS2100，可继续对老存储的空间与新增存储资源进行统一管理，并且，实现将主存储生产数据持续保护到原有存储CX4-240上，应对实时的逻辑故障，做到基于IO级的数据恢复。 （3） 新增一台赛门铁克备份一体机NBU3250，将主存储数据实现基于多种丰富备份策略的近线备份，再与原有磁带库实现D2D2T备份，做到多重数据保护。 （4） 在异地远程灾备中心大浦机房配置一套MS2520i作为灾备系统，通过在存储底层的复制容灾软件，将宋跳主存储MS3100上的数据灾备到大浦，一旦宋跳数据中心两台存储系统的数据均丢失，在异地留有一份数据副本，进一步提高数据安全。 （5） 原有的OA系统等业务系统，通过部署VMware服务器虚拟化环境，两台IBM X3850服务器上各创建5个左右虚拟机，将应用部署在虚拟机上，并且，VMware可创建集群、支持虚拟机迁移等多种高级VMotion功能，提高应用安全。 1.6.2 项目总体方案拓扑图 图5. 方案总体系统架构拓扑图 1.6.3 双活存储系统方案说明 根据业务系统的存储特点，以及7*24小时不间断业务系统的需求，搭建一个高安全、高性能、高可用、扩展灵活、管理简单的统一存储平台，从而前端数据的集中整合，提升系统连续性和数据安全性，降低管理维护成本，实现投资保护。同时通过基于存储底层的本地双活技术SDAS实现数据的实时同步，前后端均配置多路径冗余链路，当主存储发生故障时，镜像存储可自动接管前端业务系统，RTO、RPO均为0。 方案描述 针对以上对业务RPO、RTO均为0的业务连续性需求，宏杉科技推荐采用以下双活存储解决方案。新增两台存储系统MS3300，采用对称配置方式，两台存储之间完成数据的实时同步，一旦当主存储系统MS3300出现故障时，镜像存储系统MS3300可自动将前端业务切换过来，最大限度减少数据的丢失量（包括RPO=0），以最快速度在数据中心恢复关键应用系统（RTO=0），提高业务系统的整体服务级别和业务连续性。 存储引擎A：新增一台在线高性能存储MS3300：针对目前本项目的各业务系统对存储性能的需求，我们建议新增一套宏杉科技自主研发的MacroSAN MS3300存储产品用于存放各在线应用系统基础数据，用于承载前端核心业务等： ü 配置双冗余控制器支持Active/Active负载均衡； ü 同时配置SAN、NAS功能； ü 此次配置32GB缓存，提高存储的整体性能，满足数据库及虚拟化业务的IO读写性能需求； ü 8个8Gb FC主机接口，10个万兆IP主机接口用于做两台存储之间数据镜像交叉直连。 ü 配置13块10000转600GB 企业级SAS硬盘，12块2TB 7200转企业级SAS硬盘，总容量为31TB。 ü 配置基于磁盘阵列底层的数据双活功能SDAS软件，完成数据中心A与数据中心B之间两台存储引擎数据实时同步，一旦存储引擎节点A故障，引擎节点B存储可自动将前端业务系统进行接管，无需人为干预，数据零丢失，RTO、RPO均为0，并且，前端无需配置任何第三方软、硬件，部署简单，屏蔽了前端主机物理特性及应用类型特性（适用于所有应用）； 存储引擎B：新增一台镜像存储MS3300。本次双活数据中心平台搭建，要求镜像存储与主存储配置完全一致，保障系统可实现自动切换且两套系统无任何性能、容量等差异，切换过程中，前端用户体验无任何变化感知，RTO、RPO均为0，达到应用级容灾。 双活存储工作机制：两台存储系统同时处于工作状态，非“一主一备”模式，主机可以通过主、镜像存储同时进行数据读写。并且，两台存储也可以承载不同的应用，相互镜像，达到真正的双活目标，两台双活存储系统做到负载均衡的作用，降低主存储应对前端数据读写压力，实现数据分流作用。 MS3300采用双控制器架构，控制器、磁盘柜、缓存、硬盘等关键组件都采用冗余设计，保障系统的5个9的高可靠性。MS3300的体系架构有如下技术特点： SAS传输通道：MS3300采用SAS传输技术构建磁盘阵列内部的数据传输通路，后端磁盘通道总带宽达到96Gb； 高性能存储控制器：为了保障处理能力，MS3300在存储控制器中采用了多核、PCI-E2.0总线等技术，相比传统控制器，能提供3倍以上的处理能力； 千兆/万兆/8Gb FC主机接口：在前端主机接口上，MS3300可根据需要提供千兆、8Gb FC、万兆主机接口，并保障前端的业务带宽； 全交换磁盘柜：磁盘柜采用了SAS交换技术，每个磁盘都有独立6Gb数据访问通路，不受其它磁盘的干扰；在磁盘选择上，MS3300兼容高性能的SSD磁盘，并同时支持SAS、SATA磁盘。 中间光纤交换机：为了安全起见，考虑搭建全冗余链路平台，避免光纤交换机成为单点故障来源，中间部署两台博科24口FC SAN光纤交换机，前端服务器通过双端口HBA卡与中间两台光纤交换机交叉连接，再与后端存储连接，构建生产环境下的高可靠FC SAN存储区域网。 方案优势 ² 大容量缓存提升性能数十倍 通过在计算、传输与存储之间设置大容量、高速的缓冲区，才有可能缓解前端电子设备与后端存储硬盘之间上万倍的性能差异。对于单个LUN,如果读写操作频繁,如果配置更多的缓存,则读取效率更高，特别适合本次前端数据库级服务器虚拟化多业务并发模式。实践证明，单个LUN推荐配置1GB大小，如果是相同大小的LUN，应用相同时，分别配置1GB和20GB缓存，其测试结果相差24倍左右。 ² 存储端负载均衡 两台存储系统同时处于工作状态，非“一主一备”模式，主机可以通过主、镜像存储同时进行数据读写。并且，两台存储也可以承载不同的应用，相互镜像，达到真正的双活目标，两台双活存储系统做到负载均衡的作用，降低主存储应对前端数据读写压力，实现数据分流作用。 ² 零数据丢失，业务自动接管（RPO、RTO均为0） 采用基于磁盘阵列间的数据同步镜像技术，两端数据实时同步，业务系统自动切换，无需手动。 主、镜像存储产品均采用全冗余的硬件架构设计，电源、风扇、控制器等冗余部署的，不存在单点故障，可以在线更换部件，无影响业务连续性。借助宏杉科技独特的CRAID技术解决了磁盘的安全性问题，大大降低数据丢失的风险。 ² 成本低、易部署（适用于所有应用类型） 本次双活数据中心平台搭建完全是基于两台双活存储底层，前端主机与存储之间配置多路径软件即可实现链路的自动切换，无需在主机端安装其他第三方软、硬件设备，非常简便。 ² 易扩展、易维护存储平台 MS3000最大磁盘数量516，缓存最大可扩展至64GB，充分满足未来3-5年数据增长量需求；MS系列存储提供完善的中文化GUI、CLI管理界面，操作简单方便。通过应用相关型的引导界面，管理员只需简单的点击鼠标，设置应用类型和空间大小等信息，就能轻松完成资源分配；MS系列存储支持EventLog、指示灯告警、控制台告警、蜂鸣器告警、SNMP告警、邮件告警、短信告警等多种告警机制。在告警处理上，MS系列存储支持故障事件和告警联动方式自定义，管理员可为每种事件配置不同的告警联动方式。 ² 本地化研发级原厂售后服务 南京本地具有常驻机构，提供原厂工程师7*24小时售后服务，定期巡检和免费升级，提供研发级别的技术支持。国产品牌，支持二次开发和定制功能。 常见三种双活存储技术对比 本次双活存储平台建设，从采购成本、部署及实施简便性、应用范围等多方面综合考了，建议采用宏杉科技本次推荐的完全基于存储系统底层双活镜像软件搭建双活存储解决方案，性价比等各方面都更加能满足用户实际需求。 1.6.4 本地备份系统D2D2T方案说明 方案描述 为防患未然，现有SAP及OA数据需在本地进行数据的备份。 虽然现在已经有了备份的机制，但是现有的机制显然已经没有办法满足日益增长的数据和有限的备份窗口的要求，所以，目前公司需要一套有效的，快速的，稳定的备份架构来满足这些要求。 由于目前公司的大部分的架构都是基于SAN的，所以，如果能够利用光纤环境进行备份的话，将会大大提高备份的速率和效率，保证在备份窗口内完成备份的工作，不影响白天正常的办公，同时，在需要备份数据的时候能够以最快的速度恢复相应的数据。 在备份介质的选择上，采用基于硬盘的备份解决方案显然是最符合公司的备份要求的，原有有以下几点 l 磁盘被真正被作为磁盘来管理（随机访问） l 备份image过期管理 l 基于磁盘可以同时读写image l 支持跨域的自动映像复制 l 备份软件的高级磁盘管理功能 l 虚拟合成备份，Media Server负载均衡，存储生命周期策略，智能的专用备份设备支持 (OST) 连云港中复联众对于数据安全的要求是严格的，如何将RPO降到最低，这就需要一套完整的数据备份方案，当出现任何软、硬件故障的情况下，迅速的将备份走的数据恢复出来，保证数据的正常使用。 n 选择原则 实现一个真正满足业务需求的备份环境是一项非常复杂的任务。对数据进行备份是为了保证数据的一致性和完整性，消除系统使用者和操作者的后顾之忧。不同的应用环境要求不同的解决方案来适应，一般来说，一个完善的备份系统，需要满足以下原则： 稳定性：备份系统的主要作用是为业务系统提供一个数据保护的方法，于是该系统本身的稳定性和可靠性就变成了最重要的一个方面。首先，备份系统一定要与操作系统兼容，其次，当事故发生时，能够快速有效地恢复数据。 全面性：在复杂的计算机网络环境中，可能会包括了各种操作平台，如各种厂家的UNIX、LINX、Windows NT、VMS等，备份系统要支持各种操作系统、数据库和典型应用。 灵活的备份策略：很多系统由于工作性质，对何时备份、用多长时间备份都有一定的限制。在下班时间系统负荷轻，适于备份。可是这会增加系统管理员的负担，由于精神状态等原因，还会给备份安全带来潜在的隐患。因此，备份方案应能提供定时的自动备份。在自动备份过程中，还要有日志记录功能，并在出现异常情况时自动报警。 操作简单：数据备份应用于不同领域，进行数据备份的操作人员也处于不同的层次。这就需要通过直观的、操作简单的图形化用户界面，缩短操作人员的学习时间，减轻操作人员的工作压力，使备份工作得以轻松地设置和完成。 连云港中复联众现有的SAN（存储区域网络）让备份和恢复策略拥有更高的灵活性。通过SAN Client技术，通过光纤网络进行备份数据的传输，在减轻主机负担的同时，大大提升备份的速度和性能，备份硬件能够在大量数据密集型系统之间实现共享，使得重要系统可以直接备份到存储中，而无需通过业务网络节省宝贵的网络资源。该方案充分发挥了Netbackup备份一体机强大的性能以及功能优势，主要涉及到的功能有 基于SAN-Client备份 备份加速器（合成加速备份功能） 重复数据删除功能（源端以及目的端） Netbackup V-Ray技术有效的保护虚拟化环境 n SAN-Client备份 所有接入SAN光纤存储网络的主机，可以采用SAN Client模式，在该模式下，在应用系统主机上需要安装NetBackup Enterprise Client模块和Application and Database Pack模块（如果应用系统没有数据库则不需要安装Application and Database Pack模块）。在备份操作时，Netbackup Enterprise Client模块把需要备份的数据从生产数据存储设备中读入生产机，然后把数据通过SAN写到备份设备上；在恢复操作时，NetBackup Enterprise Client将通过SAN网从备份设备上读入恢复数据，在生产机内把数据传给数据库或应用代理模块，数据库或应用代理模块把数据写入生产系统。在SAN Client模式下，备份/恢复操作的数据经过SAN网转送。 · 完全的介质服务器控制设备，充分的资源共享、负载均衡，简化管理。 · 应用服务器利用SAN驱动、传输备份数据。 · 备份设备完全由介质服务器控制，管理独立于应用区域。 · 让备份与应用完全隔开，对业务服务器影响最小。 · 备份软件升级对应用影响最小。 · 备份设备更换、维护、升级对应用影响最小。 · 通过扩展介质服务器无限扩展备份域。 l 备份加速器（合成加速备份功能） 此功能使用 Accelerator 技术加快虚拟化备份速度，在完成增量备份期间还提供完全备份映像。仅将发生变化的数据块从客户端传输至介质服务器。在我们的备份设备这里将之前的全量备份数据和新增的增量备份数据合成一份全新的全量备份数据，这样一来，我们便可以以增量备份的时间来完成全量备份。 · 备份速度增加高达 35 倍，可以更好地满足服务级别协议要求而不影响恢复 · 减少了数据传输量，因此缓解了基础架构承受的压力 n 重复数据删除 简化数据中心迁移和更新过程 不论是传统、虚拟化还是混合企业环境中，重复数据删除功能正快速成为管理空前增长数据的基石。重复数据删除功能的使用率稳步上升，而众多 IT 部门现在又面临着问题：能否得到一种经济有效且可伸缩的重复数据删除解决方案，可以简化现有数据保护过程，能够方便透明地部署，能随着数据中心的扩展而扩展，并帮助减少和控制 CAPEX 和 OPEX 成本。 在单一数据保护平台中实现企业级“端到端”全局重复数据删除 采用 V-Ray 的智能 NetBackup Deduplication 使您可以轻松地部署企业级、高伸缩性、“端到端”全局重复数据删除功能，整个过程只需动动鼠标。NetBackup 的整合和管理简便易行，经济适用，适合企业全局部署计划，提供了独特的无缝集成功能，通过单一供应商产品，为虚拟和物理服务器数据保护及重复数据删除提供了“一步到位解决方案”。利用经过实证的单一企业级数据保护平台，在数据中心面向虚拟化、新应用程序和云不断演变时，NetBackup 重复数据删除功能具备与时俱进的灵活性，不会产生高昂的成本。 l Netbackup V-Ray技术有效的保护虚拟化环境 针对虚拟机工作负载的建议包括： · 采用统一的虚拟和物理保护 – 借助屡获殊荣的 NetBackup，用户不需要使用两种备份工具，也无需更换供应商，即可获得对虚拟和物理环境的企业级保护。作为首屈一指的虚拟机备份提供程序，NetBackup 在单一备份和恢复平台中提供了管理用户环境所需的一切。 · 在虚拟机内采用应用程序一致性恢复 – 众所周知，备份的关键在于速度，但恢复更甚于此。如果只顾尽可能快地执行备份而不考虑恢复问题，那么您将受益很浅 — 尤其是在尝试恢复关键应用程序时更是如此，这种情况下时间就是金钱。采用V-Ray技术的NetBackup不但可以非常快地执行备份，还可以确保虚拟机获得应用程序一致性备份且对虚拟应用程序的恢复与数据一致。这有助于确保更快地完成恢复，从而帮助用户更好地满足严苛的SLA 的要求 · 采用 V-Ray 技术的 NetBackup 提供很多独特且强大的功能，在光纤的环境下，可以通过虚拟机存储和备份一体机光纤连接的方式从存储上直接将需要备份的数据传送至Netbackup设备上，效率极高 · 采用 NetBackup 虚拟机智能策略 – NetBackup 会监控整个虚拟环境，并自动对新的、移动的或克隆的虚拟机应用备份策略以确保保护不会停止。此外，NetBackup 还能够识别每个虚拟机的物理位置。这样，NetBackup 便可以在各主机服务器之间平衡备份负载，以防止通过备份进程不公正地加载它们。这可以带来大大高于竞争解决方案的备份成功率 · 物理机到虚拟机的转换以及备份镜像到虚拟机的转换：通过Netbackcp的P2V技术，可以将物理机或者物理机的备份镜像转换成为虚拟机，在虚拟化的环境下，大大提高系统包括数据恢复的速度和效率。 提高了恢复时间目标 (RTO) 可满足严苛的灾难恢复 (DR) SLA 要求 通过在虚拟环境上进行灾难恢复 (DR)，减少 OPEX · IRV虚拟机瞬时启动功能，通过Netbackup提供的NFS datastore，VMware ESXi将NFS mount起来作为它的datastore，此时，便可以再ESXi上开启这台服务器，然后通过Storage vmotion的功能，将这个只读的镜像迁移到其他存储上，便完成了虚拟机的瞬时恢复，整个过程消耗几分钟，是一个非常有效的轻量级容灾功能 只需几步便完成系统和应用的还原，效率极高 不需要额外的license，在最新版的Netbackup里面便带有这个功能 n BMR裸机恢复功能 BMR技术主要的功能是能够备份操作系统的状态和应用数据，在恢复的时候连系统带数据一并恢复，并且支持不同设备之间的恢复，例如，将一台IBM P550的机器进行BMR备份，在恢复的时候可以选择IBM P750的小机进行恢复，一定程度上帮助完成了硬件的升级操作。 · BMR功能与NetBAckup备份协同工作。客户机仍像以前那样备份至NetBackup服务器。但在执行每项预定备份任务之前，系统将自动执行附加过程，即记录服务器配置的当前状态，其中包括磁盘配置和网络配置。如果服务器配置被修改，系统在执行备份时，将自动捕捉和记录这些修改，不需要用户进行干预。 · 利用BMR进行恢复非常容易，因为恢复过程已经实现自动化。用户既可以使用BMR server的命令行，又可以使用基于浏览器的简单界面。只要发出“prepare to restore”（准备恢复）命令，系统就开始执行恢复。些时，BMR将立即检索客户机配置数据，并使用该数据创建一个定制化的客户恢复程序。然后，通过网络为客户机发送相应的引导数据和文件系统。客户机将通过BMR boot server执行引导，并开始运行定制引导程序。引导程序将执行一列任务： 如果不需要改变服务器配置，除初始网络引导外，将不需要进行人工干预。由于BMR是一种多平台产品，用户可以通过一个公用界面，恢复一系列系统，从而大大降低成本。 传统恢复 Bare Metal Restore 1. 修理硬件 1. 修理硬件 2. 收集所有必需的介质 2. 点击“prepare to restor” 3. 重新启动 3. 重新启动 4. 通过CD-ROM或软盘，重新安装操作系统 5. 重新启动 6. 通过CD-ROM，重新安装备份客户端软件 7. 重新启动 8. 从备份服务器进行恢复 9. 重新启动 n 颗粒度还原技术 通过颗粒度还原技术，可以还原备份镜像的某个项目，例如，在回复exchange邮箱的时候，可以恢复某个用户的某封邮件，甚至于某封邮件里面的某个附件，而不用还原整个mailbox里面的所有邮件，帮助管理员定位需要还原的组件，并且以最快最高效的速度还原单个项目。 n D2D2T的备份还原机制 Netbackup备份一体机提供外置借口可以外接物理带库进行数据的传输，从而实现D2D2T的备份方式，将最近的，需要恢复概率最高的那些数据存放在一体机的硬盘上，而将那些比较久的，恢复概率相对比较低的数据存放在外置的带库上，从来也可以充分利用中复联众现有的TS3100的物理带库来完成数据的长期保存。 方案优势 Netbackup一体机设备采用磁盘作为备份的介质，在空间使用率上相比之前的物理带库或者虚拟带库备份有着无法比拟的优势，其他各种实用的功能也久经考验，主要的优势体现有： · 通过完全基于光纤的SAN-Client的备份方式，减少备份操作对应用主机的影响的同时提升备份的效率。 · 采用备份加速器的功能，用增量备份的时间和资源消耗来完成全量备份，可以大大缩短备份窗口。 · 采用源端和目的端的重复数据删除技术，更加有效的利用存储空间。 · 和Vmware整合的V-ray技术，包括物理机到虚拟机的转换，虚拟机的顺时启动功能。 · BMR裸机恢复功能，可以在相同或者不同的硬件上对操作系统和应用数据进行恢复。 · 利用Netbackup的颗粒度还原技术，可以还原应用程序的某个项目，例如某封邮件的某个附件。 · 充分使用中复联众现有的物理带库资源实现D2D2T的备份模式。 1.6.5 远程容灾系统方案说明 方案描述 新增一套宏杉科技存储产品MS2520i，作为远程灾备存储。远程灾备存储主要作为主存储的另一份数据副本资源，通过中复连众现有的专网2M带宽，提供基于IP的数据块复制功能，将主存储MS3100上的数据同步到MS2520上，为宋跳数据中心再提供一份实时的数据备份。当宋跳数据中心的所有数据可能不可用时，可通过远程灾备存储MS2520实现数据的快速恢复，当然，如果前端业务服务器仍然可工作情况下，也可将灾备存储MS2520i临时搬到宋跳机房，完成数据一致性检测以后，可重新临时挂载前端业务。宋跳数据中心主存储恢复工作以后，将MS2510中的数据可基于增量同步模式将这段时间发生变化的数据量同步回新主存储MS3100上，保障数据安全，并将前端业务重新切换至主存储。 远程灾备存储：新增一台宏杉科技MS2520i：作为主存储MS3100的容灾，提供一份与主存储数据格式一致的数据副本： ü 配置双冗余控制器支持Active/Active负载均衡； ü 此次配置16GB缓存； ü 配置13块4TB 7200转企业级SAS硬盘，总容量为52TB。 ü 配置基于磁盘阵列底层的IP数据复制软件，完成将主存储MS3300数据通过基于IP复制到灾备存储MS2520上做数据同步； 方案优势 ² 网络带宽可充分利用 MS系列存储数据复制通过IP网络实现，只要IP可达，数据复制即可实现。但在不同的网络环境下，复制的速率会有较大影响。下表给出了在特定数据库环境下，复制的传输速率参考值。 测试环境：40公里距离，MPLS VPN网络，Oracle数据库 网络带宽 2Mbps 10Mbps 20Mbps 100Mbps 155Mbps 1000Mbps 不压缩传输(MB/s) 0.211 1.090 1.955 10.015 19.313 23.894 压缩传输(MB/s) 0.569 2.844 5.662 14.480 21.953 26.235 同步量(GB/小时) 0.741 3.83 6.87 35.1 67.8 84.0 复制带宽利用率(%) 84.4 87.2 78.2 80.12 99.68 19.16 由上表可得知如下结论： l 155Mb以下带宽的IP链路，可充分利用带宽，因此，本次远程容灾的网络带宽2M可得到充分利用。 l 小带宽链路下，复制压缩效果明显，可达2-3倍，不过压缩比与数据格式相关。 ² 异地留有数据副本，可快速做数据恢复或临时性业务接管 将主存储MS3300上的数据同步到MS2520上，为宋跳数据中心再提供一份实时的数据备份。当宋跳数据中心的所有数据可能不可用时，可通过远程灾备存储MS2520实现数据的快速恢复，当然，如果前端业务服务器仍然可工作情况下，也可将灾备存储MS2520i临时搬到宋跳机房，完成数据一致性检测以后，可重新临时挂载前端业务。 1.6.6 持续数据保护CDP功能说明 方案描述 数据备份已经经过了将近三十年的发展，存储介质、备份方式、备份级别等方面都产生过许多新概念。当我们将隐藏在用户复杂需求之后的本质抽离出来，结论却可能非常简单——数据零丢失、业务不间断，这是现代商务对于数据备份的核心要求。新型CDP技术完全契合商务备份需求，代表了数据备份的发展方向。 现代备份技术里，恢复点目标（recovery point object ,RPO）和恢复时间目标（recovery time object, RTO）是两个关键性指标。RPO是指当灾难或事件发生时，数据可以恢复到最近可用的时间点与故障时间点之间的时间差。RPO越小，数据丢失越少，RPO=0是容灾级备份技术的目标，即在灾难发生时实现数据零丢失。RTO是指灾难发生后，从系统宕机导致业务停顿到IT系统恢复并支持业务恢复运营的时间间隔。RTO越低意味着业务中断的时间越短。 当灾难发生时，业务数据不受损，并实现业务不间断，这是企业进行数据备份的目标。用备份术语来描述，就是在实现RPO=0的基础上，实现尽可能低的RTO，这正是近年来新兴的持续数据保护（Continuous Data Protection,CDP）技术的典型特点。与传统数据备份技术对数据进行周期性备份相比较，CDP不仅从RTO、RPO指标上进行了颠覆，而且总体备份成本也得到了降低。 本次持续数据保护通过虚拟化网关VS2000提供的“带外”基于网络的应用装置，不在主机到存储的主 I/O 路径中，实时对写I/O监控和复制保护，不影响主机性能，将数据再实时备份至原有存储CX4-240上。可以实现对物理和数据逻辑故障的恢复，逻辑故障包括：数据库逻辑错误、人为误操作和病毒等引起的数据库数据丢失、人为或病毒引起的数据库崩溃等故障。提供一致性组功能，可以将某个特定应用程序的所有LUN绑定到一个一致性组中，以确保事务向以前时间点的回滚同时进行，从而确保应用程序的一致恢复。 方案优势 CDP会对企业数据进行自动监控，连续捕获并备份数据变化，发生变化的数据会实时、准确地备份下来。 “持续回退”——当出现故障或者用户需要找回某特定时间点的数据时，VS2000可按任意操作步数或时间点进行数据快速恢复。对于数据库类型的结构化数据，可以回到数据库的任何状态；对于非结构化数据，可以回到指定的时间点，帮助用户找回损坏前的数据。在恢复的过程中不但保证了数据的完整型，而且能保证数据库事务的完整性。 VS2000的CDP实现了实时数据备份与持续回退，每次数据变化均产生回退点，在数据无变化时则不产生回退点，与定时备份相比，可大幅度节省备份空间。 1.6.7 数据迁移方案建议 本次项目中采用的数据迁移方法主要如下表所示： 序号 方法 描述 1 直接拷贝方法 利用操作系统命令直接拷贝要迁移的数据，然后复制到要迁移到的目的地。 2 数据库工具方法 使用数据库的自身工具对数据进行迁移。或使用备份软件提供的专业软件。 l 直接拷贝方法 关闭数据库后，将存储挂载到数据库服务器上，利用操作系统的实现磁盘数据的直接复制，等待复制完成后替换原来数据所在盘符，适合于脱机迁移的环境。 l 数据库工具方法 对于数据库数据，还可使用数据库的自身工具，如 Oracle 、Sybase自带复制工具等操作。 1.6.8 方案实现之关键技术说明 关键技术1——IP远程复制功能（实现远程容灾） （1）基于磁盘阵列的远程复制技术 磁盘阵列远程复制功能是灾备系统中业务数据实现多点到一点或一点到多点灾难备份的基础。磁盘阵列通过IP链路进行远程复制，能够有效利用广域网的各种IP链路，适用于IPv4和IPv6网络，并且复制过程对主机业务影响小，复制颗粒度细。远程复制过程中综合采用数据块微扫描、差异对比、数据压缩、加密等技术，有效节约带宽资源。 （2）磁盘阵列到磁盘阵列N对1复制 灾备平台与用户端的存储设备实现数据复制的过程中，磁盘阵列两点之间的数据复制方式在投资可行性、运维可行性、管理可行性等方面均无法达到令人满意的要求。为有效利用灾备存储资源，灾备数据大集中的环境下，磁盘阵列提供十二点到一点的基本复制能力，最高可以达到几十点到一点的复制能力。有效降低灾备系统投资，极大程度简化管理、运维过程与成本。 （1）网络复制概述 复制是宏杉科技MS系列存储提供的存储功能选项。它可实现两台MS系列所管理的资源（SAN资源或者组）之间的数据复制。远程复制功能支持在远程办公地点与数据中心之间通过IP网络对关键业务数据进行策略性增