大数据备份系统地设计

《大数据备份系统地设计》由会员分享，可在线阅读，更多相关《大数据备份系统地设计（8页珍藏版）》请在装配图网上搜索。

1、数据备份系统的设计1. 引言对于一个关键业务系统而言，数据资料是整个系统运作的核心。但人为的操 作错误、软件的缺陷、硬件的损坏、电脑病毒、黑客攻击、自然灾难等诸多因素 都有可能造成计算机数据的丢失，那么将会对于业务运作造成无法估量的影响。 此时，最关键的问题在于如何尽快恢复信息系统，使其能正常运行。为了省级交 通管理信息系统的数据安全及业务的正常运行，有必要建立一套完善的具有高可 用性的数据备份系统，为广大机动车驾驶人和群众正常办理交通管理业务提供强 大而持续的技术支撑，以避免在各种极端情况下造成的重大损失。本文分析了省级交通管理信息系统数据备份方式，软硬件要求，备份系统的 组成，磁带介质及备

2、份系统的成本等内容。2. 数据备份系统的基本要求一个全面的数据备份系统对备份软件和硬件都有较高的要求2.1. 软件要求对于备份软件来说，界面友好、使用灵活是必不可少的。备份软件应提供集 中管理方式，用户在备份管理服务器上可以备份服务器到桌面的文件数据、数据 库中数据。支持在线备份数据、离线备份数据等多种备份方式，可自由设置备份 策略。支持多种介质备份，具有对相应的备份设备的管理功能。支持备份的安全 性，在备份时应能进行数据备份校验，能够设置备份的密码防止未授权的数据恢 复。2.2. 硬件要求数据备份系统备份介质主要有磁带库、虚拟磁带库、磁盘阵列、光盘库等。 备份介质应便于移动和重复使用。备份介

3、质的容量应远大于现有系统的总数 据量，备份介质应具有较高的可用性，应使用高速度的备份设备。2.3. 网络要求数据备份系统进行在线数据备份时对网络有较高的要求，应根据系统的备份 时间及恢复时间计算网络带宽的大小。3. 数据存储方式的设计通常数据存储采用三种方式：DAS、NAS、SAN，下面详细介绍这三种数据存 储方式。3.1. DAS 直连存储这种存储方案的服务器结构如同PC机架构，外部数据存储设备（如磁盘阵列、 光盘机、磁带机等）都直接挂接在服务器内部总线上，数据存储设备是整个服务 器结构的一部分，同样服务器也担负着整个网络的数据存储职责。DAS这种直连 方式，能够解决单台服务器的存储空间扩展

4、、高性能传输需求。此外，DAS还可 以构成基于磁盘阵列的双机高可用系统，满足数据存储对高可用的要求。3.2. NAS 网络附加存储此方式全面改进了以前低效的DAS存储方式，它是采用独立于PC服务器， 单独为网络数据存储而开发的一种文件服务器。NAS服务器中集中连接了所有的 网络数据存储设备（如各种磁盘阵列、磁带、光盘机等），存储容量可以较好地 扩展，同时由于这种网络存储方式是NAS服务器独立承担的，所以，对原来的网 络服务器性能基本上没什么影响，以确保整个网络性能不受影响。它提供了一个 简单、高性价比、高可用性、高扩展性和低总拥有成本仃CO）的网络存储解决方 案。3.3. SAN 存储域网络它

5、与NAS是完全不同，它不是把所有的存储设备集中安装在一个专门的NAS 服务器中，而是将这些存储设备单独通过光纤交换机连接起来，形成一个光纤通 道的网络，然后这个网络再与企业现有局域网进行连接，在这种方案中，起着核 心作用的当然就是光纤交换机了，它的支撑技术就是FibreCha nnel （FC，光纤 通道）协议，这是ANSI为网络和通道I/O接口建立的一个标准集成，支持HIPPI, IPI, SCSI，IP，ATM等多种高级协议。在SAN中，数据以集中的方式进行存储， 加强了数据的可管理性，同时适应于多操作系统下的数据共享同一存储池，降低 了总拥有成本。3.4. 存储方式对比DAS 直连存储的

6、最大弊病在于，各部分的存储资源相互隔离，容易形成孤岛， DAS因其相当于在本地系统中增加一块大硬盘且不能实现数据共享，现逐渐被SAN、 ISCSI 等方式所取代。NAS具有无人值守、高度职能、性能稳定、功能专一的特点，因此我们对一 般数据存储使用了投入成本少而安全性高的NAS数据存储方式。但NAS技术不能 满足可靠度为99.999%的数据存储系统的要求，主要用于文件级数据的存储及备 份，无法用于数据库数据的存储及备份。而 SAN 的最大优势则在于，可以把异构环境下不同厂商的存储设备整合在一 起，实现资源的共享。而其较高的性能可用于数据库存储及数据备份，不适用于 文件级的存储。4. 存储介质的选

7、择传统的存储介质包括：硬盘、光盘、磁带机、磁带库、虚拟带库、磁盘阵列 等。硬盘、光盘、磁带机等主要用于单机的数据存储，作为备份系统的存储介质 应具有可用容量大、数据存储安全、可共享等特性。磁盘阵列优点:可靠性高、能实现数据同步，磁盘备份的读写速度非常快， 并且磁盘可以做RAID保护。缺点：总体拥有成本高、不能实现跨平台应用。磁带库优点：设备可共享、可连接至多台备份客户端共同使用，可靠性、安 全性高、可实现离线操作，可实现跨平台操作。缺点：费用高，磁带的保管、保 存困难、数据恢复困难，磁带采用顺序读写方式备份及恢复速度低。虚拟带库优点：具有磁带库的优点，因其采用磁盘阵列模拟磁带库，性能取 决于磁

8、盘的数量。缺点：总体拥有成本高，相对备份容量有限。因省级交通管理信息系统包含多个业务系统，分别部署于 AIX、Solaris、 Windows、Linux 等多个平台之上。此次备份系统设计采用虚拟磁带库作为数据备 份的一级备份设备，对信息系统进行在线数据备份；采用磁带库作为二级备份设 备，对存储于虚拟磁带库中的备份数据进行二次备份，实现备份数据转存的目的。5. 数据备份对象因省级交通管理信息系统部署于多个平台之上，采用数据库包含 Oracle、 SQLServer 等数据库。数据备份系统应可备份 AIX、Solaris、Windows、Linux 等操作系统，以及备份Oracle数据库系统。5

9、.1. Windows 操作系统备份Windows操作系统因其属于微软公司研发，代码未公开。对Windows操作系 统备份一般采用离线备份方式，备份时重启 Windows 系统进入备份模式，对 Windows 操作系统采用镜像方式进行备份。创建操作系统镜像文件及恢复引导盘， 镜像文件转存至虚拟磁带库中。如需恢复操作系统，则采用创建的恢复引导盘引导服务器进入镜像恢复模式 通过引导盘加载已备份的操作系统镜像对服务器进行操作系统恢复。5.2. AIX、Solaris、Linux 等系统备份AIX、Solaris、Linux 等操作系统均属于 UNIX 或源于 UNIX 系统，系统结构 基本类似。对此

10、类操作系统进行备份可采用 DD 工具对系统分区进行备份，将系 统分区创建成系统分区文件并创建恢复引导盘，系统分区文件转存至虚拟磁带库 中。如需恢复操作系统，则采用创建的恢复引导盘引导服务器进入恢复模式，通 过引导盘加载已备份的系统分区文件，采用 DD 工作将分区文件重写入系统分区 中实现操作系统恢复。5.3. Oracle 数据库系统备份Oracle 数据库备份分为在线数据备份及离线数据备份两种模式，离线数据备 份包含 EXP、EXPDP 逻辑数据导出与冷备份数据文件复制等方式。在线数据备份 则采用 RMAN 工具对数据库进行热备份，先对数据文件、控制文件进行备份完成 数据库全库备份，再备份归

11、档日志文件作为增量备份文件。数据备份系统封装上述几种Oracle备份工具，将通过EXP、EXPDP、RMAN等 备份工具备份出的数据转存至虚拟带库中。在有重大数据变更时导出数据库逻辑 数据备份，平时日常数据库备份采用 RMAN 在线数据备份方式。Oracle 数据库在常规情况下恢复采用 RMAN 工具进行恢复，现恢复最近一次 备份的全库备份文件，再通过重做日志方式恢复到最近的归档日志。6. 数据备份方式数据备份方式分为完全备份及增量备份两种。6.1. 文件级备份文件级备份在做完全备份时，将文件系统中所有指定的目录及文件通过 COPY CP 等复制的方式，备份至虚拟磁带库中。文件备份至虚拟磁带库

12、后，创建文件属 性列表，对文件名称、创建时间、修改时间、文件大小、文件宿主的属性进行存 储。文件级备份在完成完全备份后，通过对服务器中文件的修改时间等文件属性 与备份系统中的文件属性列表进行对比，对差别的文件进行备份，对无差别文件 进行忽略，并创建新的文件属性列表。以此方式完成文件级的增量备份与差异备 份。6.2. 数据库级备份Oracle 数据库备份可通过 RMAN 工具完成数据库的全库备份及增量备份，备 份系统在对 Oracle 进行备份时，采用脚本方式调用 RMAN 工具完成数据库备份。6.3. Windows 操作系统备份Windows 操作系统因其属于微软公司研发，代码未公开。对 W

13、indows 操作系 统备份一般采用离线备份方式，备份时重启Windows系统进入备份模式，对 Windows 操作系统采用镜像方式进行备份。创建操作系统镜像文件及恢复引导盘， 镜像文件转存至虚拟磁带库中。7. 备份策略7.1. 操作系统备份策略对于应用服务器，可实现异机的恢复，方便灵活的选择备份和恢复文件。通 过备份系统的定时备份功能，在业务系统非忙碌时段，由备份服务器，定时将应 用系统数据经由网络快速的备份至虚拟磁带库中完成备份。每日备份策略：每日 22:00-03:00 之间每台应用服务器进行一次增量备份。每周备份策略：每周六使用NetVault:Backup的增量合并式备份功能，将每周

14、所有的增量备份与前一次的全备份自动进行合并，产生新的全备份。每月备份策略：每月1 日将合并产生的全备份做一个镜像，保证每个月至少 有两个全备份存在7.2. Oracle 数据库备份策略数据库的备份，由于使用的是Oracle数据库，我们利用RMAN工具分3级备 份，通过SAN结构用直接备份到虚拟磁带库中，在业务系统非忙碌时段，再由虚 拟带库备份到物理磁带库中。每日备份策略：每天20:00-22:00使用Oracle RAM作levell级别的备份，以保证每天到上一次全备份的增量备份每周备份策略：每周日作level。级别的备份，保证每周能有一个全备份每月备份策略：每月第一个星期六开始用exp导出一份全备份如下图所示：Backuplowl 011111101111110Day Sun Mon Tues Wed Thur Ri Sat Sun Mon Tues Wed Thur Ri Sat Sun7.3. 备份集有效期 作为文件级备份，利用备份系统设定其备份集失效时间为6 个月，每6个月作为一个循环，以便能更有效的利用虚拟磁带库及物理磁带库的容量。作为数据级备份，利用Oracle RMAN与备份系统配合，设置超过3个月的备份集失效，失效的备份集可被覆盖以便有效利用磁带库的容量。