数据集中方案

《数据集中方案》由会员分享，可在线阅读，更多相关《数据集中方案（15页珍藏版）》请在装配图网上搜索。

1、Ton gTec h 中国人民保险公司数据集中项目中间件建议方案东方通科技公司2002年1月一、前言人保财险公司经过多年的发展从保险的种类到业务量都有了很大的发展，目 前已经有企业财产保险、家庭财产保险、责任保险、保证保险、车险等多个种 类，业务量以每年10%的速度增长。应用模式也在悄悄不断地发生变化以适应业 务上和管理上的需要，已由原来完全分布式的业务数据模式走向地市一级的分 布式集中模式。最近由中科软与尚洋合作开发的“PICC财产险业务系统”采用 地市集中的方式，软件开发采用面向对象的分析和设计思想，已经在多个地市 进行了试点运行。在网络建设方面已经形成了省到地市、地市到县的FR/DDN网

2、 络格局。这些都为下一步的数据集中利用和业务的拓展打下了坚实的基础。数据集中是现在各行各业应用系统发展的一大趋势，金融、电信行业由于其 发展的较早，经济和技术实力较强已经走到了前面。金融行业已有许多省份实 现了省级的数据集中，移动总局也已经明确提出了省级数据集中的运营模式。 在保险行业，由于过去一直采用数据分布的应用模式，如今采用地市级的数据 集中应用模式是向更高层次集中的必要尝试和过渡。二、问题及需求分析本文对地市级以下的业务系统不做深入讨论，仅限于省级数据集中备份系统 的相关问题。对于各个地市数据中心的数据在省级中心做增量数据集中，目前有两种方 式：采用数据库厂商提供的数据库复制技术、用应

3、用程序来实现。无论选用何 种方式，在技术实现上应该满足以下基本业务要求：1. 能够满足不同操作系统平台间（不同数据库版本、甚至异构数据库）的数据复制能 力。2. 数据通讯过程中的正确性应该得到保障。3. 对数据传输过程中可能遇到的网络问题注机问题应该能够有很好的应对机制，能 够可靠传输，做到不重、不丢。4. 整个数据集中系统应该具有良好的通讯效率和处理效率满足数据准实时集中同步 的要求。要满足上述业务上的需求,采用常规的数据库复制方式和一般的应用方式是 难以达到的。原因在于无论是数据库复制方式还是一般的应用方式其通讯处理 方式过于简单，低层通讯的正确性、资源的有效利用和网络故障的处理应对、 主

4、机故障的处理应对等没有很好的机制来加以保障。所以就有可能出现乱码、 网络抖动或拥塞时，数据集中业务过程无法有效进行等问题。目前，针对此类应用（非联机事务处理系统，强调可靠性、非关联性、实时 性要求不高）特点，各行各业广泛采用消息中间件来实现。消息中间件是一种 基础软件，在系统中的位置处在操作系统之上和应用之下，它可用来隔离应用 系统对操作系统和网络的直接关联和依赖。东方通科技公司的消息中间件产品 叫TongLINK/Q。TongLINK/Q负责网络资源的有效利用、消息数据传输、为应 用屏蔽网络故障、通过内部的自动压缩/解压功能减少网络通讯量等。其典型使 用是异步方式调用，此时地市数据发送方只要

5、将数据交给本地的中间件 TongLINK/Q，而TongLINK/Q负责将数据高效、可靠地传输到省中心并提交给 相应的目标程序进行入库处理。三、数据集中方案省级数据集中方案是当市级公司数据库数据发生变化时，对其所在省的省级 的数据库数据做相应同步的过程。要达到这一目的有两种方式：一是将市级公 司数据库的操作与省级数据库的操作作为同一个事务进行处理，即操作同时成 功或同时失败；二是将二者的操作分离，正常的业务处理与数据集中处理分别 来做。对于前者，由于需要在地市和省级公司做同样的数据库操作，原来的业 务处理量相当增加了一倍，并且如果市级公司出现问题（如：网络故障）将直接导致本地正常业务无法进行。

6、所以建议采用第二种处理方式。由于此时对于数据集中备份过程而言，它是一个必须要完成的工作，而在时 间上只求尽快、可靠完成，并无严格的时间限制，所以这里建议采用消息中间 件产品TongLINK/Q来实现。另外，在应用层面，为了使集成商开发的应用系 统相对独立，对数据集中备份过程建议采用一套独立的应用来完成。1.方案思路：在市级公司数据中心编写一个定时启动程序或守护进程，用来采集数据库 的变化数据，一旦有数据它将以业务处理单元为单位将它投给TongLINK/Q的 可靠队列中。在省级数据中心，编写对应服务程序，它在接收到数据后将在本 地执行相应的数据库处理以达到数据同步o TongLINK/Q还可以保

7、障服务处理的 可靠，即如果服务程序在执行相应的数据库处理时意外失败，TongLINK/Q将记 住这一问题，再次提请相关服务程序进行处理，直到成功。2.系统结构300多个3.中间件部署图4.结构框架图产品部署示意:省地市应用应用ongLINK/QTongLINK/Q系统系统TCP/IP应用部署:省编写插库程序市定时程序tlq_getmsg()1备份数据tlq_putmsg()J一1TongLINK/Q-TongLINK/Q说明：系统由地市客户程序、地市TongLINK/Q运行系统、省级TongLINK/Q 系统和省级服务程序四部分组成。地市客户程序负责对地市需要上传集中的数 据做识别和提取，并形

8、成数据包或文件，然后通过TongLINK/Q的API接口作 为一项任务消息提交给TongLINK/Q即完成。客户程序的启动运行可以外部触 发（如：数据库trigger）执行，也可以交由TongLINK/Q作为定时程序按一定 时间间隔进行调度；消息数据的传输以及相关效率、可靠等问题由TongLINK/Q 解决；省级对应的服务程序可以由TongLINK/Q在有数据需要处理时进行调度， 并将相关数据交给服务程序进行处理。在有多条消息数据到达时，也可以同时 调度起多个服务进程同时进行多个消息数据的处理。5.消息中间件TongLINK/Q的作用提供异步处理接口。为了使数据备份复制过程不影响原来应用系统（

9、相对独立、 不直接双向依赖），采用异步通讯方式。 提供可靠传输能力。依靠消息中间件TongLINK/Q的可靠队列传输功能，使地 市增量备份数据可以尽快、可靠到达省数据中心主机。在传输期间消息中间件 TongLINK/Q可以应对各种故障的发生，如通讯网络故障、主机宕机等情况，可 以做到断点续传，使备份数据“一次传递、可靠到达”可以提供备份过程数据库操作的事务性处理。即除了数据的传递是可靠的之外， 在省级数据中心数据的数据库备份操作也是可靠的。在对备份数据进行数据库 插入或修改操作时，如果操作失败（比如，当时数据库状态不对引起数据库操 作失败），消息中间件TongLINK/Q将会保留这一信息和数据

10、，重复执行相应处 理过程，直到成功。 维护和保持通讯通畅。TongLINK/Q对通讯通道具有自动维护功能，当网络出现 抖动影响通讯时，TongLINK/Q可以自动监控和重建链路来保障通讯的快速恢 复。保障通讯效率o TongLINK/Q通过以下手段来保障通讯效率：维护通讯畅通和自 恢复；支持断点续传；根据网络带宽情况有不同传输策略来保障网络带宽的充 分利用；支持自动压缩功能，减少通讯数据量。支持服务端程序的并发调度和控制。上传数据自动提交相应的处理程序进行处 理，对多个地市同时上传的数据可以并发调度多个服务程序进行处理，提高处 理效率。四、关于消息与交易中间件的一点说明消息中间件（MOM）和交

11、易处理中间件（TPMonitor）是完全不同的两类中间件。 尽管在功能上有部分的重合，但由于定位的不同，功能上具有相当的差距，适用的 应用类型也不一样。消息中间件可以用来构筑一个组织的公共的信息交换平台，通过把消息中间件 部署到用户的网络环境中，通过适当的配置，就形成了信息的交换与处理的管道与 平台。平台上应用开发的接口和提供的通信与控制模式主要是面向传输的，非常丰 田。以TongLINK/Q为例子，它支持文件的传输，文件与普通数据包的混合传输；在 对传输的控制上，为了适应信息发送方应用的不同的需要，可以有很多种的控制方 式。应用可以选择投递消息时控制返回有多快，可靠性要求有多高。应用可以选择

12、 把数据交给TongLINK/Q的接口就返回（方式一）、或者等数据交给TongLINK/Q核心 后再返回（方式二），或者等TongLINK/Q开始发送信息后再返回（方式三），或者等 接收方收到信息后再返回（方式四）。方式二、三、四都可以保证可靠的传输，但不 同的方式给应用提供了不同的控制灵活性。如果接收方的机器没有运行，选择方式 三就不能马上发送，发送方就会知道。选择方式四，如果线路和对方机器正常，发 送方就可以马上知道，接收方已经开始接收信息了，一会对方就会收完。又比如， 在广域网上，传输大信息量时，不能简单地用超时时间来控制传输的结束。比如， 应用中设定超时时间是2分钟，有可能在某个繁忙的

13、时段就不能将文件传输完，此 时控制网络上此次传输多长时间没有传输的意义就很有限了。这很象我们在 Internet上下载大文件时的情况。传输的画面不动了，我们很想知道传输是否还在 进行。用户应该能够要求，如果此次传输发生有在2分钟的时段内都没有传输的情 况，终止传输。以上只是简单地列举了消息中间件所具有的一般的功能。对于交易中间件，由 于其定位于最适合于OLTP类的系统一一象银行的柜面业务系统，电信的计费账务系 统等等，其所适合的应用都具有如下的特点：集中的数据处理，所有处理的处理时 间一般都很短，如登记您存的钱数，大量的并发但每次网上传输的数据量一般都很 小如只有几十字节、几百字节，几千字节都

14、算大的数据包了。无论是公安系统公共 信息的传输、交通部门全国安全监督系统，还是国税的信息系统都不是OLTP类的, 更适合消息中间件来处理。消息中间件再处理大信息量的传输和对传输的灵活控制 等方面的优势远远超过了交易中间件的功能。以Tuxedo为例，文件不能直接传输, 缺乏对(可靠)传输的灵活多样的控制，不方便配置一个多层次的逻辑网络系统 不能把它归到消息中间件的种类中。实际上，国际上在分类中间件时，也是把Tuxedo放到交易一类中去的。远一点 的有1998年的IDG及Giga的报告；最近的有2001年的欧洲信息技术观察(EITO 2001)的分类。有国内系统集成商使用BEA的Tuxedo在上海

15、开发公安的信息传输平 台，实际的效果不好。公安部在做全国的消息中间件选型时，经过慎重的评估，最 终放弃了以Tuxedo来代替消息中间件的想法。BEA的Tuxedo的前身是DEC的 Message/Q，在归属BEA后的开始一段时间，名字也叫Message/Q。Message/Q具有 消息中间件的有限功能，且仅支持DEC的有限平台。BEA曾经停止推广Message/Q, 后纳入Tuxedo体系，改名Tuxedo/Q。五、附：功能简表TongLINK/Q简表包括以下几个部分：体系结构方面：TongLINK/Q的路由管理协议、TongLINK/Q的网络 结构安全管理方面：端-端的加密传输的支持应用管理

16、方面：即程序管理事件支持：核心事件消息功能：消息的事务性支持/复合消息/堵塞概念/同步等等用户接口功能名称描述连接管理连接管理管理（相邻）的TongLINK/Q节点之间的连接。常连接（相邻的）两个TongLINK/Q节点之间的连接在两个TongLINK/Q系统都 启动后建立，并且由TongLINK/Q系统维护和保持。常连接是连接的一般 形式。动态连接（相邻的）两个TongLINK/Q节点之间的连接在TongLINK/Q核心需要传 输时建立。网络结构网络结构指TongLINK/Q节点和节点之间的连接构成的网络拓扑结构。树型拓扑最基本、最常用的TongLINK/Q网络拓扑结构就是树形；构造和维护树

17、 型TongLINK/Q网络快速、便捷。树型也是流行的组织与管理形式。网状拓扑TongLINK/Q通过允许一个TongLINK/Q节点有多个上级节点即“多上级” 来支持网状拓扑结构，以适应应用的特殊需要。目前最多支持24个上级 节点。路由协议缺省路由协议动态树型路由子网路由协议在TongLINK/Q网络中，任何一个节点都知道它的直接上级和下级节点； 相互通信的两个节点不需要在各自节点处定义对方。路由协议规定了如 何在TongLINK/Q网络中根据一个名字找到对应的TongLINK/Q节点。 不是一个完备的路由协议，效率很高，不能访问到网络上的所有节点， 从而支持完全的端-端的通信。协议规定在找

18、不到一条明确的路由时，交 给上级节点。这时，只要上级节点连通，TongLINK/Q就认为路由存在。主要版本支持的路由协议，当网络非常大时，协议的开销较大。需要与 缺省路由协议相配合。根据协议的规定，上级节点可以知道各层下级节 点路由信息。当节点登记的路由信息发生改变时，会动态把这些信息告 诉它的上级节点。为支持此协议，各级中心节点需要保存其所有下级节 点的路由信息。适合极大的树型TongLINK/Q网络（500节点以上），高效但要求节点命名 符合规则。需要与缺省路由协议相配合。协议规定，从根开始，树型网 络的每个TongLINK/Q节点的下级节点的命名要符合一定的规则，以使节 点名和路由相关联

19、。根据这些关联性和目标节点名，再与缺省路由协议 配合，就可以方便快捷地找到目标节点。传输管理可靠（确保）传输非可靠传输实时传输传输优先级传输数据压缩传输数据加解密及密钥管理文件清理临时文件清理 发送文件清理运彳丁系统是TongLINK/Q系统一个组成部（运彳丁系统、开发系统和管理 系统）分之一。传输管理则是运行系统最重要的功能。传输管理涉及TongLINK/Q和消息传输相关的比较宏观的方面。通过把消息保存在可靠队列（磁盘文件）中来保障“可靠传输”明确指 明选择“可靠传输”方式时，可以实现“确保的”传输。无论线路、系 统还是应用发生故障，一旦状态恢复，传输就将继续oTongLINK/Q中的 “可

20、靠传输”的标识是“LOG_ON” “LOG_ON”方式需要消耗更多的 资源，因此效率要比“非可靠传输方式”（中断后不再恢复）低。通过数据报（PKT_DATA）方式及TongLINK接口实时传输。小消息包具有比大消息包和大文件更高的优先级（即“小作业优先”。采用UNIX标准压缩算法，压缩比例高。传输大文件和网络带宽较窄时 非常有效。典型的实例时，40M EXE文件压缩为16M； 40M文本文件压 缩为4Mo采用对称加密算法RC5。密钥分配/交换算法Deffie-Hellman算法。直接 相邻的两个节点共享一个动态生成与分配的密钥。密钥在一定条件下动 态改变（如TongLINK/Q系统重启、加密到

21、一定次数或时间等）密钥长 度是128字节。提供应用开发所需APIo 消息传送API中提供标志。消息管理消息的类型 普通数据包大数据包文件复合消息用户消息头消息的事务性消息管理顾名思义就是对系统中传递的消息进行管理,。数据包大小不超过4096字节。数据包大小的区分是TongLINK/Q内部的 事，对程序员是透明的。数据包大小超过4096字节。文件大小不超过2Go复合消息：一条消息可以包含多条子消息。用户消息头：用户在发送消息前，可以定义用户相关的一些属性，如 消息名等，便于应用的管理。消息的事务性支持指支持消息的Commit和Rollback功能。程序管理程序类型客户程序服务程序定时程序触发程序

22、程序管理既是应用的构造方法的一部分，也是TongLINK/Q系统管理并 发与效率的手段。四种基本应用类型：客户、服务、定时和事件程序。定时程序是一类特 殊的客户程序，需要定时启动来处理某些工作。运行监控运行监控使用管理程序可进行运行监控。运行监控是管理系统的一个重要功能。监视用户程序及核心的有关状态等功能。运行模式生产模式 运行模式区分生产模式与运行模式便于系统的调试。系统管理参数格式 动态参数配置 本地管理程序界面管理命令行管理 统一管理程序 操作员管理 管理API管理系统是TongLINK/Q系统二个组成部分之一。文本文件。系统运行中动态地调整TongLINK/Q的配置。 每个TongLI

23、NK/Q系统都包含一个本地管理程序。 菜单驱动的管理程序。命令行命令简明扼要。统一管理程序当前版本不提供。开放部分管理API给应用使用。日志管理日志格式日志清理手工清理 管理程序清理 策略性管理日志系统是TongLINK/Q系统的重要组成部分。关键任务支撑系统可通 过系统日志审计、跟踪系统的运行，调试应用系统。支持TXT可通过管理程序清理。提供应用开发所需要的API。开发系统开发系统是TongLINK/Q系统的三个组成部分之一.基本API异步接口的控制包括消息的投递、接收、控制、查询等。包括的主要函数有： tlq_init/tlq_release （使用和释放 TongLINK/Q 接口） t

24、lq_putmsg/tlq_getmsg （异步消息的投递与接收） tlq_ctrlmsg/tlq_querymsg （消息的控制与查询） 等等。应用与 TongLINK/Q的异步接口间的“接口”包括：SYNC_MSG、ASYNC_MSG和NOTIFY_MSG三种。SYNC_MSG方式是一种“冋步通 信”，本地TongLINK/Q接收完毕开始发送后调用才返回；ASYNC_MSG 方式是一种简单的“异步方式”，只要消息交给本地的TongLINK/Q调用 就返回。NOTIFY_FLAG给用户消息的动态反馈用，TongLINK/Q对于 消息的传输具有日非堵塞的功能，因此发送成功时，消息还没有发送到接

25、 收端。另外对于接收端来说，只要消息达到目的TongLINK/Q时，才发 送给用户进程，这样可能会造成用户进程的盲目等待。NOTIFYFLAG 的功能使得即使消息还没有到达目的地时（全部），接收进程就能动态的 跟踪消息的发送状态。扩展API结构1编码 多线索服务模型扩展API：提供一些同步等应用模型相关的API。 结构编码：主要提供数据表示功能。多线索服务模型提供一种NT上的多线程的应用接口。安全管理节点认证 点-点传输安全 端-端传输安全上级节点通过口令识别直接相连的下级节点。 直接相连的节点间的加密传输。非直接相连的节点间的数据传输的加密与解密。支持的开发工具标准CC+COBOL各种可视工

26、具，如VB、PB、DELPHI支持支持支持可视工具限于 Windows 9X/NT平台。支持的语言中文 英文中文操作界面。系统安装系统安装支持序列号支持DEMODEMO版本主要给开发商的。事件管理核心事件核心事件提供了用户对核心的策略管理的方式，提供用户对其关心的异 常事件或状态事件的处理。如消息事件、死信事件、日志管理事件等等。模块管理应用管理模块 事件管理模块 安全功能模块模块管理可以根据用户的需要来安装、或是否启动有关的模块。会话功能简单会话控制支持REQ/ACK方式的会话模型。自动清理无效消息。硬件平台UNIXWindowsLinux支持国内流行的所有UNIX平台,Windows平台及Linux.HP-UXIBM AIXSEQUENT DYNIXCOMPAQ digital UNIX 及 tru64 UNIXSun SolarisIBM Sequent DynixSCO-UNIX等等Windows 9x/NT国内流行的主要版本注：以上功能说明适用于TongLINK/Q的主要版本。不同的版本功能略有差异，详见有关手册。