达梦数据同步软件DMHS技术白皮书V2.0

《达梦数据同步软件DMHS技术白皮书V2.0》由会员分享，可在线阅读，更多相关《达梦数据同步软件DMHS技术白皮书V2.0（11页珍藏版）》请在装配图网上搜索。

1、达梦数据同步软件 DMHS技术白皮书达梦数据库有限公司DM DATABASE CO.,LTD目录1. 概述 22. DMHS 产品特点 3体系结构高可扩展 3确保业务系统高可用 3高效的数据实时同步 3高可靠的数据传输 4可读写的备机系统 4数据同步内容可定制 5轻量级设计实现快捷部署 5跨平台软硬件支持 53. DMHS 典型应用场景 5应急灾备系统 6提高资源利用率，实现多业务中心 7提供实时异构资源信息整合新方案 8改进数据仓库架构 9数据迁移、滚动升级 101. 概述达梦数据同步软件（DMHS:Heterogeneous database Synchronization for DM是

2、 达梦公司推出的新一代支持异构环境的高性能、 高可靠、高可扩展数据库实时同 步系统。该产品基于成熟的关系数据模型和标准接口， 跨越多种软硬件平台， 支 持强大而灵活的拓扑结构， 能以极少的系统开支实现秒级数据实时同步， 可广泛 应用于应急系统、容灾备份、负载均衡、数据移植、联机维护、订阅分发、多业 务中心等业务领域。随着信息化建设的高速发展，信息系统已经成为企业维持业务运转的关键， 企业迫切需要提高信息系统的可用性， 保证业务的连续性， 最大限度地减少因灾 难或故障所带来的损失。 另一方面， 多样化的业务类型导致数据访问需求的日趋 复杂化，数据量的急剧攀升也导致数据库服务器不堪重负， 企业同样

3、迫切需要提 高信息系统的运行效率。达梦数据同步软件DMHS,通过秒级数据实时同步可以有效避免传统备份系 统导致的无法完全满足企业对于信息系统不中断服务的问题； 通过变化日志捕捉 可以有效降低传统ETL工具因创建触发器、影子表等对业务系统带来的性能影响； 通过可读写的备机数据库系统可以解决传统备机系统仅作为后备而无法对外提供数据服务的问题。DMHS的技术原理图如图1所示源数据库且的数摇库图1 DMHS技术原理示意图2. DMHS产品特点体系结构高可扩展DMHS的开放式体系结构使其能够适应各种异构数据平台。 系统安装部署简 单但功能强大，可以根据用户需求采用非常灵活的方式配置出各种拓扑结构， 包

4、括一对一同步、一对多广播型同步、多对一聚合型同步 、多对多同步以及级 联同步等多种数据同步形式，满足用户的各种复杂数据同步需求。确保业务系统高可用DMHS采用基于日志的结构化数据同步技术， 实时数据同步不依赖主机上源 数据库的触发器或者规则，对主机源数据库系统几乎无影响。DMHS提供业务连续性支持，备机数据库系统始终出于活动状态。在非计划 性停机导致主机业务系统无法工作时，可在DMHS的备机数据库系统上及时接管 业务，实现业务系统快速切换和恢复，保持业务连续并使数据损失最小化。高效的数据实时同步DMHS采用并行处理体系，能够实时读取主机源数据库日志，以较低的资源占用实现大批量的数据实时同步在源

5、端，DMHS采用优化的日志扫描算法实现目标数据的快速抽取。在目的 端，DMHS使用数据库本地ODBC接口访问备机数据库系统，同时可以通过事务 重组、分批加载等技术加快数据装载的速度和效率， 降低备机数据库系统的资源 占用。传输过程中，DMHS直接通过TCP/IP进行网络传输，无需依赖于数据库自身 的传递方式，通过对传输对数据进行筛选和压缩，还可以进一步降低带宽需求。高可靠的数据传输DMHS的数据同步以源数据库的事务为单位， 严格按照主机业务系统事务顺 序实施数据同步， 保障备机数据库与主机数据库的事务级完整性和一致性， 确保 备机数据库符合主机业务系统事务逻辑。 通过这种事务级粒度的数据一致性

6、维护， 使得备机数据库系统分担主机数据库系统上的业务负载成为可能。数据在传输过程中可能因为网络故障而导致传输中止。 为保障数据传输的无 丢失，DMHS使用检查点机制实现断点续传。断点包括两个部分，即 DMHS前置 的变化数据捕捉模块数据抽取位置检查点和 DMHS 主程序的数据装载模块的已 装载位置检查点。DMHS 的前置模块与主程序模块采取完备的消息应答机制来保障数据传输 的可靠性和数据完整性。前置模块只有在得到确认消息后才认为数据传输完成， 否则将自动重新传输数据。可读写的备机系统与传统仅作为后备而无法对外提供数据服务的备机系统不同， DMHS的备机 数据库系统是一套独立的可读写数据库系统。

7、通过高可靠的数据传输， DMHS备 机数据库系统中的数据可以在业务处理逻辑上与主机系统完全保持一致。 应用系 统通过简单配置，就可以使用DMHS的备机系统分担主机业务系统上的负载， 提 高业务系统效率。同时，根据实际业务需要，还通过DMHS的备机系统还可以实现生产型业务与分析型业务的完全隔离双业务中心，提高应用系统整体性能。数据同步内容可定制DMHS支持同步数据可筛选、数据过滤和简单的数据转换，实现满足业务需 求的按需同步，有效的降低网络通信代价和存储成本。 DMHS数据筛选通过用户 在需要同步的表上定义过滤和转换规则来实现。未来DMHS还将和DMETL结合， 实现更为复杂的数据清洗。DMHS

8、还支持传输数据压缩和加密，在进一步降低网 络传输代价的同时， 提高传输安全性， 防止数据库数据在传输过程中被非法窃取。轻量级设计实现快捷部署DMHS采用轻量级框架设计，能够方便项目实施人员快速部署并极大的减少 系统管理员工作压力和负担。同时DMHS支持初次数据装载全同步功能，能够在 不中断业务的情况下，将主机数据库中的当前数据平滑的装载到备机数据库中。跨平台软硬件支持DMHS面对日趋复杂的计算机环境具有极好的适应性， 能够在目前流行的各 种软硬件平台和数据库环境下传输数据， 在同一解决方案架构下， 实现企业不同 平台上的多个信息系统的统一同步的支持。 目前主机源数据库支持 DM6、 DM7、

9、Oracle9i、OraclelOg Oraclell备机目的数据库支持可通过 ODBC接口连接的 各种主流关系数据库管理系统。3. DMHS 典型应用场景应急灾备系统传统的数据备份系统、集群系统、磁盘阵列、DataGuard技术等往往无法完全满足企业对于信息系统不中断服务的要求。对于传统备份系统，在两次数据备 份之间若服务器出问题时则资料将会遗失， 而且利用备份还原通常需花费较长的 时间（TB级数据的还原时间需要数小时）；集群系统无法达到异地备份目的，且 成本昂贵；磁盘阵列无法应付操作系统或应用程序造成的宕机，并且无法立即恢复服务；Oracle DataGuard等产品是单一数据库解决方案，

10、备机必须与主机同构， 使用相同的数据库版本，整个备机数据库只能以只读方式访问，也无法实现数据整合和数据分发，另外，通过这类产品实现的应急灾备系统由于其同构特征，仍然容易受到二次攻击。DMHS可以有效满足这些可用性要求极高的关键性应用，协助企业以最经济 的方式达到系统的高可用性容灾，保证业务的连续性，最大限度地减少因灾难或 故障所带来的损失。网络主机架构异构的备机架构图2 DMHS典型应急灾备系统架构示意图DMHS高效的数据同步可以以秒级的速度保持异构的备机数据库系统与主 机系统的数据一致性，并且符合实际的业务处理逻辑。当主机生产系统无法提供 服务时，可在DMHS的异构备机数据库系统上及时接管业

11、务， 实现生产系统快速 切换和恢复，保持业务连续并使数据损失最小化。DMHS的异构特点可以进一步 降低后续攻击行为对生产系统造成破坏的可能。DMHS采用从外部分析日志的方式，使得数据同步不需要对主机数据库进行 复杂配置， 对主机数据库系统几乎无影响， 从而可以有效避免传统应急灾备系统 对生产系统带来的性能影响。提高资源利用率，实现多业务中心传统的主备系统中， 备机往往只作为后备使用， 仅当主机系统出现非计划停 机时，才会切换并启用备机。因此备机上的计算资源必然长时间被闲置。DMHS的备机数据库系统是一套独立的可读写数据库系统。通过高可靠的数 据传输，DMHS备机数据库系统中的数据可以在业务处理

12、逻辑上与主机生产系统 完全保持一致。DMHS的备机数据库系统始终处于启用状态，随时可提供数据库服务。应用 系统通过简单配置，就可以使用 DMHS的备机系统分担主机生产系统上的负载。 因此DMHS可以在提高生产系统效率的同时，也可以有效的利用企业的闲置计算 资源，充分发挥其价值。另外，生产系统中一些常用的数据查询、报表等功能也可以部署到 DMHS 的备机系统上， 实现交易性业务与分析型业务的分离， 形成双业务甚至多业务中 心，提升企业信息系统整体的运行效率。应用系统可以在DMHS备机数据库上根 据业务特点进行调整和优化， 可以完全不受主机生产系统的限制。 同时，业务上 的分离也使得包括实时报表在

13、内的一些因为性能原因无法应用到生产系统数据 库上的企业资产能够获得部署和应用。7网络网络图3 DMHS典型多业务中心架构示意图提供实时异构资源信息整合新方案传统的异构资源信息整合需要借助于 DTS ETL等专用工具提供的强大数据抽取、转换、清洗和装载能力。但这些工具都需要在生产系统数据库中建立触发器、影子表等，对系统性能和稳定性有较大影响。 为降低对生产系统的影响，ETL 这类工具往往通过计划性任务调度在业务系统负载较轻时开始工作，这显然是以牺牲整合为代价。DMHS集成了 DMETL DMDTS的技术优点，实现了轻量级的数据转换和清 洗。用户在使用DMHS实现秒级异构同步的同时，通过功能强大的

14、清洗转换规则、 高可扩展的部署拓扑结构，即可获得传统 ETL的异构数据整合能力，同时，还可 有效减少企业IT资源的投入。图4 DMHS配置复杂的数据集成方案示意图改进数据仓库架构数据仓库为了满足OLAP的分析需要，必须从生产系统数据库中获取基础性 数据。在传统的数据仓库架构中，这种数据的转移往往都是通过 ETL完成抽取工 作，考虑到对生产系统性能的影响，抽取的时机、抽取数据的规模都必须进行细 致的安排。这些都势必对数据仓库分析性应用中数据的时效性、分析结果的有效性都带来一定的影响。而为了提高市场竞争力，提高客户满意度，企业需要更复杂的、更灵活的业 务统计报告、需要深入的数据挖掘、需要实时的客户

15、查询。而这些大量的统计、 查询业务受到现有系统架构的制约，不得不降低效率标准、推迟报告时间、从而 导致客户服务质量降低、业务发展情况报告迟缓，业务发展情况不明等问题。通过DMHS的实时数据同步，可以在极小影响生产系统的条件下， 实现生产 系统数据库的实时同步。这样，数据仓库的ETL就不再需要直接从生产系统数据 库中抽取所需数据，转而可以从 DMHS的备机数据库中抽取，数据抽取的时机、 数据规模都不再受到限制。因此，通过DMHS可以改变传统的数据仓库基础架构， 提高分析数据的时效性和分析结果的有效性， 实现商务智能和信息分析能力的提 升，实现实时可用的数据仓库。实时装就报表分析*即 席査询DMH

16、SDf/DW10#图5改进后的数据仓库架构方案示意图#数据迁移、滚动升级数据迁移、系统升级等生产系统所必须的维护工作往往以牺牲系统服务连续 性为代价。 对于服务连续性要求非常高的信息系统， 如何在不停止服务的前提下 实现数据迁移、 系统升级等操作是系统开发人员、 维护人员共同面临的难以解决 的问题。通过DMHS即可非常简单地解决上述问题。DMHS的变化数据捕捉不会对生 产系统带来任何影响，通过DMHS完成的数据迁移可以获得接近实时的当前业务 数据库的副本。通过DMHS也可以在不停机的情况下，通过主机和备机联动切换，实现生产 系统的平滑升级。同时，利用DMHS的数据同步功能，也可以产生类似于生产系 统的模拟环境，直接用于应用程序的测试和开发，提高应用程序的研发效率。11