基于ESB的轻量级通用数据交换平台的可行性分析

《基于ESB的轻量级通用数据交换平台的可行性分析》由会员分享，可在线阅读，更多相关《基于ESB的轻量级通用数据交换平台的可行性分析（41页珍藏版）》请在装配图网上搜索。

1、基于ESB的轻量级通用数据交换平台的可行性分析第1章项目申请的必要性41.1 数据交换平台的研究意义41.2 数据交换技术的进展情形41.3 本项目研究的目的和内容51.4 本项目的先进性及创新性6第2章申报单位情形82.1 申报单位差不多情形82.2 研究开发能力错误!未定义书签。2.2.1 项目组成员错误!未定义书签。2.2.2 项目要紧承担人员简介错误!未定义书签。2.2.3 项目研发的现有基础错误!未定义书签。2.3 财务、经济状况错误味定义书签。2.4 申报单位的科研及生产经营治理状况错误!未定义书签。2.4.1 科研情形错误!未定义书签。2.4.2 生产经营情形错误!未定义书签。第

2、3章项目实施方案93.1 项目研究目标、范畴及必要性93.1.1 项目目标93.1.2 项目范畴93.1.3 项目的必要性93.2 项目研究现状103.2.1 数据交换技术的进展时期103.2.2 国外商用数据交换平台进展情形103.2.3 开源数据交换平台研究情形113.2.4 国内数据交换平台研究和应用情形113.3 项目研究的要紧内容123.4 项目的技术方案133.4.1 数据交换平台总体设计133.4.2 规范化的交换名目与数据元治理173.4.3 基于SOA的企业服务总线173.4.4 丰富的可拓展的数据适配器技术193.4.5 组织机构及权限配置接口193.4.6 可视化数据交换

3、配置工具203.4.7 一体化的监控治理接口203.4.8 可配置的应用服务接口213.4.9 轻量级、高性能的数据交换引擎213.5 拟解决的关键咨询题293.6 要紧创新点303.7 要紧技术参数指标303.7.1 性能要求303.7.2 可靠性要求313.7.3 可扩展性要求313.7.4 安全性要求313.7.5 易用性要求323.7.6 数据处理精度要求323.8 项目的时期与进度333.9 资金筹措及使用353.9.1 投资估算及资金筹措353.9.2 资金使用打算35第4章经济及社会效益分析364.1 市场分析364.2 应用前景分析374.3 经济效益分析384.4 社会效益分

4、析39第5章风险分析405.1 技术风险405.2 治理风险405.3 市场风险41项目申请的必要性包括：项目的重要意义、技术的先进性及创新性（与国内外同类研究的比较）等。数据交换平台的研究意义数据交换平台是实现异构系统之间、新老系统之间信息透亮交换的一种解决方式。通过采纳统一的数据交换标准，各应用系统与数据交换平台相连，通过数据交换平台来实现数据共享和路由，由于隔离了数据储备层和应用层，使得应用与其底层的数据结构和储备方式无关，从而不需要对原有业务系统进行改造，也不需要对已有的业务流程重新开发。这种连接方式实现了数据的无缝交换和共享访咨询，保证了各业务系统的有效协同，同时又能保证各应用系统的

5、相互独立性和低耦合性，从整体上提升了系统运作效率和安全性。数据交换平台之因此能够交换基于不同操作平台和数据库的数据，要紧得益于其对信息的统一表示、完整的消息服务能力以及功能完备的交换平台软件系统。信息的统一表示依靠元语言标准、信息标准、元数据标准、显示标准、解析、转换和封装标准来保证。完整的消息服务能力依靠信息的统一封装、统一编址、信息的可靠性传输、路由治理等技术手段实现。交换平台软件系统一样采纳基于相同数据库治理系统的分布式系统的数据交换、消息中间件服务器等技术方式。数据交换技术的进展情形商用数据交换平台进展情形国内外闻名的系统软件厂商，如旧M、SUN、ORACLE等都可提供不同形式的数据交

6、换解决方案。但这些厂商提供的数据交换差不多上都依靠于并嵌入于它们自身现有的基础系统软件中（如数据库治理系统、SOA系统等），使得它们的数据交换平台的应用成本极高、技术难度大，需要大量的经费和技术投入才能开展。因此其广泛应用受到的限制。开源数据交换平台研究情形数据交换平台的研究受到的业界的广泛关注和重视，通过近几年的进展，显现了许多开源的数据交换技术，如BIE（商业集成引擎）一一一个完全基于Java跨平台的企业应用集成（EAI）服务器；XmlBlaster基于Java的MOM（MessageorientedMiddleware）;Mule一个企业服务总线（ESB）消息框架；WSO2ESB一套由5

7、量级以XML和Webservice为核心的ESB（EnterpriseServiceBus）等等。这些系统以EAI或ESB为理念，提供应用系统整合和数据交换功能。然而这些系统差不多上不能为一样用户提供易操作性和稳固性的使用特性，需通过专业的机构和技术人员进行较深入的研究和二次开发才能有效地得到应用。国内数据交换平台研究和应用情形国内数据交换平台近几年在研究和应用方面有了良好的进展。在研究方面，要紧基于通用数据库技术和开源ESB技术，近年来基于SOA和ESB理念和技术的研究越来越多和深入。在应用方面，要紧是针对行业的系统，如电子政务数据交换、企业应用集成（EAI）、教育数据交换等，这些系统的行业

8、性强，通用性较低。在产品方面，目前比较有阻碍的系统有金蝶的ESB（也是基于开源的ESB）,但应用需要专业人员和大量二次开发；其它产品也有许多，但未能成为主流和形成规范。本项目研究的目的和内容本项目研究基于ESB、SOA、J2EE等先进技术、理念和架构的轻量的、通用的数据交换平台。平台可各种数据系统集成在一起完成特定的业务，提供多源的、同构或异构数据之间的交换名目和数据元定义、交换服务治理、数据适配器配置、数据交换调度治理、交换过程处理、数据交换治理以及可视化治理监控等方面功能。项目的要紧研究内容如下：1 .数据交换名目与数据元治理。平台可依据数据元的国际、国家标准以及应用行业（如政务、教育、企

9、业等）自身的信息标准，规范化地定义和描述数据元、数据字典、数据交互名目。2 .数据交换服务治理。基于SOA理念定义和描述所需的数据交换服务清单，包括服务清单治理、服务对象（提供者、要求者）治理、服务注册治理、服务测试治理、服务公布治理、数据源治理等。3 .数据适配器技术。数据适配器连接并访咨询数据交换中涉及到的可能的数据对象（数据源/目）。平台支持适配器定义、适配器安装与卸除、适配器测试、适配器配置等。要紧数据适配器将各种数据库、电子表格（EXEL）、数据文件、应用服务（WEBSERVICE）、数据名目（LDAP）等。适配器按照需要可扩充。4 .数据交换治理技术。定义和配置数据交换的一个或数个

10、示例。要紧包括交换公布与订阅配置治理、交换机构治理、触发器治理、数据公布治理、数据订阅治理等。5 .数据交换调度技术。通过任务排程治理对数据交换操作提供调度治理。要紧包括排成清单治理（新增、删除、编辑等）、排程属性治理（发起方式、时刻、频度、批量规模等）、排程监控（日志、分析等）。6 .管道式交换过程处理技术。提供交换过程中的管道式数据处理插件，要紧包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。7 .有用的数据交换平台治理。实现对数据交换的状况和性能进行治理，要紧包括用户治理、角色治理、授权治理、配置治理、备份复原、服务统计、服务分析、日志监控等。8 .轻量级体系架构。平台将

11、基于开放、开源、主流的轻量级J2EE应用支持平台和开发工具，实现功能强、系统开销小、高效、易部署、易治理的轻量、通用的数据交换平台。9 .其他专门交换技术。平台在常规数据交换的基础上，还可支持超大数据（如超大文件、超大数据库等）、流数据（如实时视频流）的数据交换，满足专门的数据交换需求。本项目的先进性及创新性本项目将力求在以下几个方面显现出先进行和创新性：1 .规范化的交换名目与数据元治理。系统可依据国际/国家标准以及应用行业自身的信息标准，规范化地定义和描述与数据交换有关的数据元、数据字典、数据交互名目。2 .基于SOA的数据交换服务治理。系统基于SOA理念定义和描述所需的数据交换服务清单。

12、3 .丰富的可拓展的数据适配器。系统支持主流数据适配器（数据库、电子表格（EXEL）、应用服务（WEBSERVICE）、数据名目（LDAP）等,并可按照需要扩充。4 .管道式交换过程处理插件技术。提供交换过程中的管道式数据处理插件，要紧包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。5 .基于开源技术的轻量级体系架构。平台将基于开放、开源、主流的轻量级J2EE应用支持平台和开发工具，实现功能强、系统开销小、高效、易部署、易治理的轻量、通用的数据交换平台。6 .其他专门交换技术。平台在常规数据交换的基础上，还可支持超大数据（如超大文件、超大数据库等）、流数据（如实时视频流）的数据

13、交换。申报单位情形申报单位差不多情形项目实施方案项目研究目标、范畴及必要性项目目标本项目研究基于ESB、SOA、J2EE等先进技术、理念和架构的轻量的、通用的数据交换平台。平台可各种数据系统集成在一起完成特定的业务，提供多源的、同构或异构数据之间的交换名目和数据元定义、交换服务治理、数据适配器配置、数据交换调度治理、交换过程处理、数据交换治理以及可视化治理监控等方面功能。项目范畴本项目的研究范畴要紧包括：在高等教育行业中，建立多源的、同构或异构数据之间的交换名目和数据元定义、交换服务治理、数据适配器配置、数据交换调度治理、交换过程处理、数据交换治理以及可视化治理监控等方面功能。项目的必要性数据

14、交换平台是实现异构系统之间、新老系统之间信息透亮交换的一种解决方式。通过采纳统一的数据交换标准，各应用系统与数据交换平台相连，通过数据交换平台来实现数据共享和路由，由于隔离了数据储备层和应用层，使得应用与其底层的数据结构和储备方式无关，从而不需要对原有业务系统进行改造，也不需要对已有的业务流程重新开发。这种连接方式实现了数据的无缝交换和共享访咨询，保证了各业务系统的有效协同，同时又能保证各应用系统的相互独立性和低耦合性，从整体上提升了系统运作效率和安全性。数据交换平台之因此能够交换基于不同操作平台和数据库的数据，要紧得益于其对信息的统一表示、完整的消息服务能力以及功能完备的交换平台软件系统。信

15、息的统一表示依靠元语言标准、信息标准、元数据标准、显示标准、解析、转换和封装标准来保证。完整的消息服务能力依靠信息的统一封装、统一编址、信息的可靠性传输、路由治理等技术手段实现。交换平台软件系统一样采纳基于相同数据库治理系统的分布式系统的数据交换、消息中间件服务器等技术方式。项目研究现状数据交换技术的进展时期针对目前企业所关怀的数据集成、交换的咨询题，业界要紧有两种解决方法，一种是传数据交换技术，它大致包括三个进展时期：第1时期，以EDI(ElectrocDataInterchange)为基础的电子数据交换；第2时期，以多层结构Web技术为基础的信息公布；第3阶以XML等第二代Web技术为代表

16、的数据交换。另一种确实是建立数据仓库，通过数抽取、转换、清理和装载(ETL),将数据从一个系统传输到另一个系统，同时对其进理和修改，从而符合数据仓库的需求，达到数据集成和数据交换的目的。本项目的“数据交换”特指第二种方法，即建立数据仓库时的ETL(Extract-Transform一Load)过程。国外商用数据交换平台进展情形国外闻名的系统软件厂商，如旧M、SUN、ORACLE等都可提供不同形式的数据交换解决方案。但这些厂商提供的数据交换差不多上都依靠于并嵌入于它们自身现有的基础系统软件中(如数据库治理系统、SOA系统等)，使得它们的数据交换平台的应用成本极高、技术难度大，需要大量的经费和技术

17、投入才能开展。因此其广泛应用受到的限制。这些厂商提供的产品，还包括整体数据仓库方案供应商的产品，它们能从功能上满足企业数据交换的需求，如IBM的WarehouseManager。在本项目的进展过程中要紧尝试过Fioran。公司的ESB(EnteriseServiceBus)产品和RedHat的MetaMatrix,相比于专门的ETL工具，这些产品稍显边缘化，但其强大的功能在企业信息集成治理方面较为杰出。止匕外，还有许多专业化的中小软件厂商，提供数据交换产品：第一是专门的ETL工具。国外的ETL技术比较领先，已形成规模化、专业化的软件市较为成熟的产品包括三大主流ETL:Ascential公司的D

18、atastageInformatica公司的DatastageInformatica公司的Powercente以及NCRTeradat沿司的ETLAutomation。这类专业厂商的产品一样都有较完善的体系结构和久经考查的品质，产品的功能之复杂和详尽往往能令初次接触的人膛目，但其高昂的价格也会使一样用户望而却步。开源数据交换平台研究情形数据交换平台的研究受到的业界的广泛关注和重视，通过近几年的进展，显现了许多开源的数据交换技术，如BIE（商业集成引擎）？一一一个完全基于Java跨平台的企业应用集成（EAI）服务器；XmlBlaster基于Java的MOM（MessageorientedMidd

19、leware）;Mule一个企业服务总线（ESB）消息框架；WSO2ESB一套由5量级以XML和Webservice为核心的ESB（EnterpriseServiceBus）等等。这些系统以EAI或ESB为理念，提供应用系统整合和数据交换功能。然而这些系统差不多上不能为一样用户提供易操作性和稳固性的使用特性，需通过专业的机构和技术人员进行较深入的研究和二次开发才能有效地得到应用。除了往常的ESB开源产品之外，也有许多厂商研发的轻量级的开源产品，如Kettle、JasperETLJitterbit等,这些产品一样都用Java编写,易爱护易扩展，体积较小，数据抽取高效稳固。其中Kettle以其强健

20、全面的功能和灵活直观的界面在众多产品中占据翘楚。国内数据交换平台研究和应用情形国内数据交换平台近几年在研究和应用方面有了良好的进展。在研究方面，要紧基于通用数据库技术和开源ESB技术，近年来基于SOA和ESB理念和技术的研究越来越多和深入。在应用方面，要紧是针对行业的系统，如电子政务数据交换、企业应用集成（EAI）、教育数据交换等，这些系统的行业性强，通用性较低。在产品方面，目前国内尚欠缺比较成型的ETL产品，针对这方面工具软件的研发也相对落后，只是依旧有一些功能上近似的替代品被广泛应用，在项目中也为其做了尝试，如金蝶的ESB（也是基于开源的ESB）、东方通公司的中间件系列产品（Tonglni

21、egrator、TongL、KQ等），与提供的服务相配合能够实现数据的企业级集成交换；还有新晨的整合化传输工具XXCJ,只能满足部分要求，关于数据交换安全、大数据量、实时数据等不能实现交换。但使用中需要专业人员和大量二次开发，未能成为主流和形成规范。因为中文的缘故，国内产品在使用上，操作复杂性、界面友好性等方面还存在一些差距。项目研究的要紧内容项目的要紧研究内容如下：1 .数据交换名目与数据元治理。平台可依据数据元的国际、国家标准以及应用行业（如政务、教育、企业等）自身的信息标准，规范化地定义和描述数据元、数据字典、数据交互名目。2 .数据交换服务治理。基于SOA理念定义和描述所需的数据交换服

22、务清单，包括服务清单治理、服务对象（提供者、要求者）治理、服务注册治理、服务测试治理、服务公布治理、数据源治理等。3 .数据适配器技术。数据适配器连接并访咨询数据交换中涉及到的可能的数据对象（数据源/目）。平台支持适配器定义、适配器安装与卸除、适配器测试、适配器配置等。要紧数据适配器将各种数据库、电子表格（EXEL）、数据文件、应用服务（WEBSERVICE）、数据名目（LDAP）等。适配器按照需要可扩充。4 .数据交换治理技术。定义和配置数据交换的一个或数个示例。要紧包括交换公布与订阅配置治理、交换机构治理、触发器治理、数据公布治理、数据订阅治理等。5 .数据交换调度技术。通过任务排程治理对

23、数据交换操作提供调度治理。要紧包括排成清单治理（新增、删除、编辑等）、排程属性治理（发起方式、时刻、频度、批量规模等）、排程监控（日志、分析等）。6 .管道式交换过程处理技术。提供交换过程中的管道式数据处理插件，要紧包括数据抽取、格式转换、内容过滤、内容转换、安全加密等方面功能。7 .有用的数据交换平台治理。实现对数据交换的状况和性能进行治理，要紧包括用户治理、角色治理、授权治理、配置治理、备份复原、服务统计、服务分析、日志监控等。8 .轻量级体系架构。平台将基于开放、开源、主流的轻量级J2EE应用支持什台和开发工具，实现功能颐瀛H燕“卜、高效、易部署、易治理的轻拼、通用的数据交换平台9.（其

24、他专门交换技椀B施盍蔺WCBLDAP础物还可支持艮大数据用领口电大文件、超大数据库等）、流数据（如实时视频流）的数满足第吸数据交掇转院做的技术方案数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数数系惭静建换平台总体设计数数数数数数二官一数数数数数数数数数数数数数数数数数数数数数数数数数数数影时换平台的功能结构r数i谈照/述描述的数据交换猴麴邮版湫喊例野数据交换平台的功|数数数数数数数数数数数数数数数数数构设计成。图所示O数数数数数数数数在数据交换平台的上述架构中，“数据交换治理”子系统作为平台的治理核心，调动各子系统协同工作，共同完成是特定的数据交换服务。数据交换平台各功能模块

25、的协同工作过程如下：数据交换子系统第一定义数据交换服务，按照SOA模式描述如交换机构、交换数据源、交换触发器等信息；数据交换适配器治理子系统按照交换数据源实际情形，配置好源数据对象和目标数据对象的数据适配器，必要时可扩展所需的数据适配器；数据交换标准治理子系统按照描述的数据交换服务，定义交换源、目各方都一致性明白得的数据元、数据字典，形成交换所需的数据名目；数据交换系统治理子系统对执行交换的用户权限进行配置治理，描述用户和用户组帐户属性，定于角色及操作权益，对用户进行授权。数据交换管道处理子系统按照交换源数据对象和目标数据对象的数据项的情形以及交换过程用户对数据的各种处理要求，以管道插件方式配

26、置对数据进行处理，如数据项合并、数据项拆分、数据变换、内容过滤、安全加密等；组织结构及权限配置接口可视化数据交换流程定义工具组织角色权限数据换服务的排程参数,阳发起方式、数据交换引擎引用据交换操昨数据交换流程定义引用数据交换任务调度子系统按照用户底换执行模式要求,配置数据交数据交换子系统按照魏耨j述和配置好的数据交博汪芬:一使用数据交换相关数据调用服务轻量级ESB本系结构啤数据交播、ESB体系I擎、组织结构及权限配置接口、义工具、数据适配器接座半壁理接口、应用服数据交换平台的系相讨热口图所示：数据交换目录数据交换*台的系统架构更新轻量级ESB体系结构采纳目前流行的、轻量的、开源的ESB,实现服

27、务的注册、配置、治理。服务运行时环境提供服务（和服务组件）的部署、运行和治理能力，支持服务编程模型，保证系统的安全和性能等质量要素；服务总线提供服务中介的能力，使得服务使用者能够以技术透亮和位置透亮的方式来访咨询服务；服务注册库支持储备和访咨询服务的描述信息，是实现服务中介、治理服务的重要基础；而服务组装引擎，则将服务组装为服务流程，完成一个业务过程；服务网关用于在不同服务运算环境的边界进行服务翻译，例如安全。数据交换引擎是整个数据交换平台中核心，它的性能直截了当阻碍到数据交换平台的性能。因此，采纳目前最轻量的、性能最高的开源的数据交换工具Kettle,在Kettle基础中，封装成各种不同的数

28、据交换服务组件，注册到ESB服务池中，将通过数据交换引擎，讲明数据交换配置工具定义的交换流程，并实例化数据交换流程，运行数据交换流程。关于多种数据交换平台相互和谐交换时，能够配置相应的交换路由，在交换路由中配置远程数据交换平台的地址、流程名称、节点名称等，实现不同数据交换平台之间的相应和谐工作。关于定义调度的数据交换流程，由数据交换引擎提供的定义调度功能，实现数据交换流程的被起动；在被动启动数据交换流程时，由流程调用本身的服务组件，起动交换过程；在交换过程中，调用数据交换平台提供的服务组件时，能够直截了当调用本身的组件，提升引擎响应速度；关于外部接入的应用服务组件，通过ESB公布的数据服务接口

29、，调用应用服务组件提供的服务，实现数据交换的被动触发；关于由应用服务组件触发的数据交换流程，应用服务组件通过调用ESB提供的服务接口，以及数据交换引擎公布的服务接口，由ESB调用相应的数据交换流程，实现数据主动的实现。组织结构及权限配置接口是实现与其它应用系统的权限统一治理。在数据交换引擎中，能够对不同的数据交换流程，授予不同用户的权限，只有被授权的用户，才能够起动流程的运行；或者是数据公布接口，只有被授权的用户才能够访咨询被授权的服务接口。可视化数据交换流程配置工具是配置数据交换流程的工具，通过易用的、可视化的工具，为用户提供十分便利的配置手段，简化数据交换流程的治理。数据适配器接口能够直截

30、了当配置各种不同类型的数据源或目标数据源。当数据交换过程中，需要访咨询外部数据时，能够通过数据适配器接口，直截了当加载或输出数据。关于提供数据访咨询服务接口的应用系统，能够通过配置应用服务接口，从接口从读取所需要的数据或输出数据到应用服务接口中。数据交换名目接口是提供数据交换过程中涉及的数据交换元数据。这些元数据结构能够通过外部系统提供满足条件的名目结构，也能够直截了当通过数据交换平台提供的名目治理功能，配置数据交换名目数据。在数据交换名目结构中，关于每一个数据源与目标之间的相应关系，都能够通过数据交换名目结构进行定义。应用服务接口是提供各种应用系统接入数据交换平台的接入方式，它通过注册应用服

31、务的方式将各种应用系统集成到数据交换平台中，并通过数据交换配置工具，将应用服务接口做为一个节点引入到数据交换流程中，实现各种应用系统之间的数据交换。c数数数数数数数数数数数攵数数数数数数或数数数数数数数数数数篁式如下图所示数数数数数数/数数数数-2数数/数数数数-n数数卷数数数数数数数据交换平台的应数数数数 L - 数据交换平台的书评数数数数、飞数数/到数数数-1从图中能够看出，采纳数据交换平台，遵循一致的数据交换标准，通过网络可实现不同应用之间、不同机构之间以及分支与中心之间的数据交换。按照顾用的范畴的不同，数据交换平台可有以下几种差不多的部署模式：内部业务系统数据交换部署这种模式要紧适应于

32、同一个机构（政府部门、学校、企业等）内部的不同应用系统之间的数据交换，解决信息孤岛咨询题，实现数据的治理。由于各种缘故，一个机构内部可能先后采购了多种应用系统，这些系统可能来源不同、开发平台不同、数据库系统不同、工作模式不同，使得系统之间数据交换专门困难，造成数据重复建设、数据冗余、数据不一致等咨询题。采纳数据交换平台，可实现机构内各应用系统的数据整合，解决信息孤岛咨询题。对等系统数据交换部署这种模式要紧适应于具有业务联系的两个或多个对等机构之间的应用系统之间的数据交换，实现关键业务数据的关联，提升关联业务处理的效率。各机构的系统一样都作用不同、功能不同、开发平台不同、数据库系统不同，系统之间

33、数据交换一样都需要接口系统来解决。这类数据交换的例子有电子商务（E-Commerce）、电子数据交换（EDI）、文件交换、资源共享等。上下级系统数据交换部署这种模式要紧适应于具有数据关联的上、下级机构之间的数据交换，实现预定的工作业务数据的上报或下传，提升工作效率。上下级之间的通常差不多上各自先后建设，系统开发平台、数据库系统不同、信息格式不同，数据交换平台可作为其中的有效桥梁。这类数据交换的例子有统计资料的上报、文件的下发等。规范化的交换名目与数据元治理数据元指通过定义、标识、表示以及承诺值等一系列属性描述的数据单元。数据元由数据元概念和表示两部分组成。当一个表示被联合到一个数据元概念时，就

34、能够产生数据元。数据元表示规范是通过描述数据元的一系列属性来实现的。这些属性实际上是数据元的元数据。针对数据元的查询、爱护及基于数据元的信息抽取、交换的需要设计了以下几个方面的差不多属性：标识类属性、表示类属性、关系类属性、治理类属性和附加类属性。数据元的作用表现在以下几个方面：统一数据的名称和定义；统一数据的格式；有利于实现系统之间的数据交换；便于数据交换名目的建立。规范交换名目和数据元治理关于构建数据交换平台具有重要的意义，它使得在信息化建设中，规范和统一数据采集与应用标准；构筑数据共享的基础，为不同系统多种模式的数据存取和数据共享提供数据转换格式和编程接口。数据元设计的全然目的是便于进行

35、交互数据的治理，而交互数据是从业务流程中得来的。因此，数据元的提取离不开对相应领域业务流程的分析。在对业务流程分析的基础上，实现信息的建模和数据元的提取。为了实现各个行业的数据交换名目，对数据交换名目采取元数据的描述方式，按照不同行业的特色及数据交换要求，配置不同的元数据内容；从而在不改变数据交换平台系统的情形下，使用数据交换平台适于各种不同行业的数据交换需要。基于SOA的企业服务总线在本项目平台建设中将采纳SOA架构。SOA能够按照需求通过网络对松散耦合的粗粒度应用组件进行分布式部署、组合和使用。服务层是SOA的基础，能够直截了当被应用调用，从而有效操纵系统中与软件代理交互的人为依靠性。通过

36、基础架构”与 业务系统连接.使 soa胸模灌物表示，服第其亨的a第睚多QU焉构的系统中，具体应用程序的功能7配置首度些松耦台具有建一接口定义方式的川E Wb品整合构的一 七一 痴用系捶 裁格如中间件西 I同时SOA架构模型如干所示rSOA架构本SOA宦算耶SB数察数数数数数数数数数服务配置数据库在面向月胸的运算环境中，系统能能是高度分布、异构的。它一样包括服务运e）、服务网荚（Se行时环鼠（rvice Runtime）、服务甲线（Service Integration Infrastructur和服务组装引擎（Service C数数数数数数数数数Kteway）、服务注 aphy Engine）

37、等, 数数数数数数数数数数数科图所示。ice Re!istry）SOA运算环境的组成要素服务运行时环境提供服务（和服务组件）的部署、运行和治理能力，支持服务编程模型，保证系统的安全和性能等质量要素；服务总线提供服务中介的能力，使得服务使用者能够以技术透亮和位置透亮的方式来访咨询服务；服务注册库支持储备和访咨询服务的描述信息，是实现服务中介、治理服务的重要基础；而服务组装引擎，则将服务组装为服务流程，完成一个业务过程；服务网关用于在不同服务运算环境的边界进行服务翻译，例如安全。SOA协议栈面向服务的运算环境是开放的、标准的，由如图所示的技术标准协议栈所定义和支持。例如，Transport层的HT

38、TP协议，ServiceDescription层的WSDL,BusinessProcess层的WS-CDL等，与Policy有关的WS-Policy。SOA运算环境的标准协议栈丰富的可拓展的数据适配器技术数据适配器连接并访咨询数据交换中涉及到的可能的数据对象(数据源/目)。平台支持适配器定义、适配器安装与卸除、适配器测试、适配器配置等。数据交换平台支持广泛的数据库系统，包括主流的关系型数据库、非主流的数据库以及文件系统，支持Informix、SybaseOracle、MSSQLServer、Mysql、ODBC、OLEDB、JDBC、Native数据源；WebServicesXML、消息队列数

39、据源。同时，在进行数据交换时对数据进行综合治理，解决数据匹配、冗余、不一致等咨询题。在数据适配器接口中，提供上述各种数据源的访咨询服务，并注册到ESB服务池中；在数据交换配置工具中，能够选择不同数据源的访咨询服务，实现多数据源的接入治理。共享数据交换平台提供数据库入站适配器，支持主流的关系型数据库的主流版本(如Informix、Sybase.OracleMSSQLServerMysql),同时能够支持初始数据同步和增量数据同步两种数据同步模式。针对部门通过暴露Web服务的方式提供数据的场景，数据交换平台提供Web服务适配器，能够通过调用Web服务的方式，猎取数据。针对部门通过介质报备数据的场景

40、，数据交换平台提供Excel适配器、文本文件适配器、Access适配器、VisualFoxPro适配器等多种文件适配器，完成数据的采集。也包括ODBC、OLEDB、JDBC、Native数据源；WebServicesXML、消息队列数据源。除了上述的可用适配器之外，关于专门的数据源，也能够通过配置文件，对适配器按照需要可扩充；在配置文件中，能够定义数据源对应于数据交换名目的结构。组织机构及权限配置接口数据交换平台不是单独的应用系统，在各种应用环境中，有时必须提供数据交换流程、数据订阅接口访咨询、数据交换平台的各种功能使用的权限配置。尽管这些功能能够在数据交换平台中，实现相应功能；但关于数据交换

41、平台具体的应用环境，数据交换平台不是单独为用户服务，它只是为用户提供数据交换服务、应用整合服务功能，并不具体完整的业务功能，也没有独立的用户治理功能。因此，数据交换平台的需要外部的应用系统提供相应的用户权限。在组织机构及权限配置接口功能中，要紧对外部系统提供各种数据交换流程列表、监控治理等功能列表、数据公布服务列表等，方便用户对这些列表进行访咨询授权。在数据交换平台运行过程中，涉及权限检测点时，通过访咨询配置接口，判定当前用户是否有权限访咨询有关的业务功能。可视化数据交换配置工具数据交换配置包括进行数据交换的有关业务系统的配置及业务系统进行数据交换的表、字段的配置，数据交换平台具有友好的配置界

42、面、完善的交换过程监控和权限操纵机制。在数据交换配置过程中，采纳可视化、拖拉的方式进行整个数据交换过程的流程配置。在配置过程中，能够配置数据的表输入、字段映射、字段拆分、字段合并、值映射、运算、表输出等。能够专门便利的按照业务需求情形，调整数据采集、处理、共享等过程。一体化的监控治理接口数据交换平台提供了全套，完整地集系统治理、适配部署、MQ配置、流程定义、日志统计于一体的配置部署工具，同时提供了专门友好的可视化界面，更多的以业务的视角展现数据集成中所需要解决的咨询题和难点。同时，数据交换平台还提供了基于扫瞄器的监控和治理工具，能够做到运行期对整体平台的实时监控。治理工具还提供了对数据交换平台

43、对整个网络的实时监控功能，能够对数据交换平台网络上的任意一个节点运行情形进行实时监控，包括流程实例的运行状态，数据状态等等，真正做到对数据交换平台的运行状况了然于胸，尽在把握。数据交换平台，拥有完善的日志治理机制，可进行多维度的日志发觉、跟踪与分析。同时，数据交换平台还提供了基于扫瞄器的监控和治理工具，能够做到运行期对整体平台的实时监控；实现对数据交换的状况和性能进行治理，要紧包括用户治理、角色治理、授权治理、配置治理、备份复原、服务统计、服务分析、日志监控等。配置治理是对数据交换平台有关参数进行治理。备份复原对数据交换配置中的有关参数进行爱护，同时对数据进行备份。备份包括业务流程、业务数据等

44、备份。同时，如果服务器显现专门时，能够通过系统的备份文件，从备份数据中，还原共享数据中心的内容。服务统计、服务分析、日志监控、邮件发送等功能，必须有远距离的服务对象的使用情形，并对使用情形进行分析，确定各种数据交换流程访咨询情形。在交换日志进行分析的基础中，分析用户访咨询治理功能。可配置的应用服务接口通过ESB提供的服务注册治理接口，将各个应用系统提供的服务接口注册到ESB服务池中；同时，数据交换平台的可视化配置工具，读取已注册到服务池中的服务对象，按照业务数据整合的需要，配置到相应的数据交换节点中，实现各个应用系统的服务接口可灵活配置功能。这些配置到服务池中的服务对象既能够是被调用的服务接口

45、，也能够是主动申请服务的对象，从而实现数据交换平台的被动与主动的数据交换服务功能。轻量级、高性能的数据交换引擎在数据交换平台中，最核心的是数据交换引擎，为数据交换平台提供高性能的数据交换作用。在各个单位或部门多种异构的业务应用系统的环境下，通过数据交换平台的数据交换引擎，和谐各种数据交换组件的功能，实现同构、异构数据之间的交换与集成。同种数据交换引擎由一个或多个兼容的工作流机组成，为数据交换流过程提供运行时期的执行环境。在多个数据交换引擎间组织过程执行的机制、协议和转换格式，能够是产品所特有，并不一定是标准化的。异种数据交换执行服务器是由两个或者多个同种的执行服务器组成，并在一致性级不上遵守公

46、共的协同工作标准。因此也需要定义一系列的一致性级不，来支持持续增加的公共功能级不。一致性级不中应该包括：在异种执行服务器间要有公共的命名方案异种执行服务器都要，支持公共的过程定义对象和属性支持数据交换引擎有关娄SuspendRchunie的实例在响应外部事件、工作流机员执行服著器M辄专递Lis| GlidedI urinijulc /JxdlinskinLVSiRcLarlciEiiinjicLl、Itenaie ihrouh all adive swlivilies 口或者活动的操纵判定后，甚）在上图中，发生状态转移（用箭头表示）来响应WAPI的命令；过程定义中的转移条件满足，也可能发生状态

47、转移。Initiated（初始化）过程实例被创建，包括与过程状态有关的日期、数据交换引擎有关数据，然而过程还没有满足条件，不能执行。Running（运行）一一过程实例差不多执行，过程中的活动如果条件满足就能够执行。Active（激活）过程中的一个或者多个活动差不多被执行。Suspended（挂起）过程实例被静止，同时过程中的活动不能执行，直到过程返回到running状态。Completed（终止）过程实例满足终止条件；所有的完成后操作都将被执行（例如记录日志、或者统计信息），同时销毁过程实例。Terminated（终止）过程实例在正常终止前被停止；所有的完成后操作都将被执行（例如记录错误信息、

48、或者复原数据），同时销毁过程实例。活动是不能被中断的，例如数据交换引擎一旦开始了一个活动，就不能挂起或者终止那个活动。这就意味着，只有在所有运行中的活动终止后，同时过程返回到田叵后逅哆，才能对过程执行挂起、重启、终止等命令。另外，可能需要翻几纨士动放在一起作为“原子单元”，这些原子单元要执行就全部被执行完J田比途显町口则段回到型台点，重班执行。适初实例懈不多快端嬴诉Nf(hasWorkhem)一个活动的差不多状态有:Inactive过程实例中的活动差不多被创建，然而还没有激活（例如，活动的进入条件没有满足），同时没有任务需要处理。Active创建好的任务，分配那个活动来处理。Suspended

49、活动实例被静止，并直到活动返回到Inactive状态,才能为其分配任务。Completed活动实例FIH9网SvictCom&cwft数据交摭弘擎的系统架构件11加g梭人版件jlHIJILLI在数据交换引擎中，要紧实现将各种业务应用系统电的权威数据进行UI.V.抽取、拆%:合并、运算出射、清洗酒m后，装载到r*据库中；同时，能够采取推工拉的方式将派数据庵中的数据，,迪过黎据交换引擎，同步到各个应用系统中。下面是数据交换引擎的结构图：应用版招褂MQ%内惶雌为1/谶、承鼻、通小，端也I数据交换平台的结构图交换机构治理能够配置不同的数据交换机构，在不同的交换机构下，配置各交换机构的数据交换流程。各个

50、不同机构之间的流程能够共享使用。触发器治理为了提升数据交换性能，满足只记录数据变化部分的数据；在数据交换时，也只交换变化部分的数据，不变化的数据不进行交换，减少数据交换流量，提升数据交换性能。在配置触发器时，如果是选择源数据、目标数据源，再选择要配置触发器的表；对触发器的类型分为插入、修改、删除；在配置触发器时，能够选择不同的监控方式；同时，设置表的主键字段，监控变化的字段，备份那些字段。在配置触发器之后，能够公布触发器到目标表中，监控目标表的变化情形；一旦监测到目标表公布数据变化时，记录那些记录发生变化，以及那些字段发生变化；从而，在采集数据中，只采集变化部分的数据，未变化的数据，不需要交换

51、，减少数据交换量。数据交换协作治理在数据交换过程中，涉及多个数据交换平台之间数据交换时，各个数据交换平台的数据能够通过不同的路由配置节点，将相应的数据信息传递到目标数据交换平台中。在数据交换平台之间的协作方式，能够采取异步或同步的方式进行。交换数据构造功能在交换数据构造时期，数据交换平台提供了数据桥接组件，能够实现部门的业务数据库和前置数据库的数据双向桥接，同时能够在数据同步的过程中，产生数据比对、清洗结果集。针对没有业务库，需要通过录入方式，将数据录入到前置数据库中的部门，采纳快速开发框架，能够按照用户的具体需求快速生成Web方式的数据录入界面。前置数据采集时期针对部署前置交换数据库的场景，

52、数据交换平台提供数据库入站适配器，支持主流的关系型数据库的主流版本，同时能够支持初始数据同步和增量数据同步两种数据同步模式。针对部门通过暴露Web服务的方式提供数据的场景，数据交换平台提供Web服务适配器，能够通过调用Web服务的方式，猎取数据。针对部门通过介质报备数据的场景，数据交换平台提供Excel适配器、文本文件适配器、Access适配器、VisualFoxPro适配器等多种文件适配器，完成数据的采集。数据清洗/影射/对比/加工功能数据交换平台针对采集到的数据，提供了各种数据处理组件，能够完成数据的端到端的处理，包括数据运算、数据合并、数据比对、数据影射、数据拆分等功能。这些数据处理组件

53、，能够按照不同的需要，组合起来，应对各种数据处理的负责场景，同时能够以可定制的、业务化的脚本的方式进行脚本的动态扩展。数据合并：能够将某些数据，按照一定的规则进行合并，形成一个数据。数据映射：利用数据交换工具二次开发的可视化指标映射功能模块，实现交换数据库的源数据到目标数据指标映射。数据对比：按照源数据与目标数据的情形进行比较，并设置转换映射关系；从而在交换过程中，按照源与目的数据的差异进行相应的处理。数据运算：通过可视化的编辑运算模块输入运算规则和语法；数据拆分：能够将某些数据，在交换过程中按照需要拆分成几个数据。格式转化与数据加载模块：交换数据库只是简单的将各学校各业务司各种格式数据进行数

54、据格式的转换，形成统一的数据库结构的咨询文件。在此基础上，需要利用ETL工具按照要求设计的共享数据库结构实现数据的加载。数据路由功能数据交换平台通过流程化的方式，有机的组合和串联各个适配器和数据处理组件，以流程化的方式，制定数据路由规则。路由能够从一个数据交换平台，进入另一个数据交换平台，实现两个数据交换平台的有效协作。一口_/共享敕据库应用系统B由，真应用系统A数据路面规则图同时，数年交通过底局能潴息中间俳应成消息涉对正做到消息传输的沙丘稳固、:海瓢定安全MQ网络MQ消息中间件完成消息的物理路由图数据推送持久功能针对数据需要被持久到前置数据库的场景，数据交换平台提供了数据库出站适配器，能够将

55、数据自动写入到关系数据库中。针对部门暴露Web服务消费数据的场景，数据交换平台提供了Web服务适配器，能够通过调用Web服务的方式，消费数据。针对数据需要被持久到文件介质的场景，数据交换平台提供了Excel适配器、文本文件适配器、Access适配器、VisualFoxPro适配器等多种文件适配器，将数据写入到文件中。数据提交模块：数据提交软件按照要求设定数据提交的时刻和条件，对信息共享平台的共享数库提交数据。数据公布治理功能数据公布治理是针对应用对数据访咨询的，一样提供一组标准的访咨询数据库表和视图的访咨询接口。下面先以基于XML的Web服务接口方式为例加以讲明。可扩展标记语言(extensi

56、bleMarkupLanguage,XML)具有良好的可扩展性，遵循严格的语法要求，便于不同系统之间的信息传输，能够使用户与应用程序之间文件交换更容易，将文档结构与显示内容分开，具有较好的保值性。Web服务即通常所讲的WebService技术，Web服务能够适用于开发和部署多层结构的、分布式的、面向对象的Java应用系统的跨平台的构件体系结构。Web服务体系的优势是平台无关性；可扩展性强；可分布性强；具备专门高的可靠性；能够实现动态负载均衡。其针对共享数据中心的表和视图能够提供标准的WebService访咨询接口，为用户的Select、Update、Insert、Delete操作提供服务，并对

57、提交的数据的合法性提供校验。公布时，能够设置公布策略：被动、主动方式。被动方式，是应用访咨询公布接口时，才开始加载数据，将数据进行处理，形成某种格式的数据，公布到应用中，由应用对返回的数据进行处理；主动方式，是设置调度器，由调度器按照设置的时刻片段，定时加载数据，并形成应用对讲明的数据格式，自动调用应用提供的接口信息，将数据传递给应用。数据订阅治理能够通过数据订阅治理，配置那应用订阅已公布的数据服务接口。在数据订阅配置中，能够设置应用系统的提供的访咨询接口，参数的类型及数量，访咨询方式。通过数据订阅配置之后，当数据公布调度启动后，如果有变化的数据，按照数据订阅配置的方式是异步，依旧同步的方式，

58、将数据从源数据库中，提取满足条件的数据，并对数据进行一定的处理、加工；按照数据订阅配置的内容，访咨询方式等，启动调度治理，由调度将定时将配置为自动的数据交换流程，启动相应的过程。数据交换调度技术数据交换平台支持主动和被动两种模式的数据交换。在主动模式下，数据需求方主动从数据源采集需要的共享数据，在被动模式下，数据需求方被动同意由数据提供方触发的数据流。数据的采集过程，能够由数据交换平台定制数据采集流程，从哪个已配置的客户端采集数据到服务器上，再通过流程配置的表输出方式，输出到目标数据源中。在数据交换平台中主动模式下，统一由治理操纵台下定制相应的调度治理功能，定制数据采集业务流程的触发时刻。能够

59、按照年、月、日、小时、分钟、秒等方式定制调度规则，当调度规则起动时，自动起动数据采集的业务流程，从源数据库中采集定制的增量/部数据到目标数据库中，实现主动数据的采集过程。在数据交换平台中被动模式下，统一由治理操纵台下定制相应的调度治理功能，定制数据采集业务流程的触发时刻。能够按照年、月、日、小时、分钟、秒等方式定制调度规则，当调度规则起动时，自动起动数据采集的业务流程，从源数据库中采集定制的增量/全部数据到目标数据库中，实现主动数据的采集过程。虚拟管道式交换过程处理技术数据交换平台中，将采纳基于PKI的数字证书CA(CertificateAuthority)技术来保证整个数据交换过程中数据的安

60、全性，包括数据加密、身份认证和数字签名。CA是数字证书认证的简称，是指发放、治理、废止数字证书的机构。CA的作用是检查证书持有者身份的合法性，并签发证书（在证书上签字），以防证书被伪造或篡改，以及对证书和密钥进行治理。在数据交换过程中，通过数字证书的加密，确保数据交换过程中数据的安全性。在采纳数字证书的基础上，构建虚拟数据交换管道（通过三次握手的方式建立虚拟管道），一个节点到另一个节点，从一个路由到另一个数据交换平台的一个路由，建立一个唯独标识的虚拟交换配置表。当从数据源抽取数据之后，通过已建立的虚拟管道，数据直截了当通过配置好的交换路径进行快速的数据交换。在虚拟管道中，能够接入数据抽取、格式

61、转换、数据处理、内容过滤、内容转换等组件，实现数据交换过程中有效的操纵。通过这些数据处理组件，按照需要进行组合，形成不同的数据处理方式，输出处理后的数据内容传输给目标数据库。数据抽取组件能够定义从数据源中，抽取不同的数据；这些数据包括源数据库中数据、流数据源的数据、WebSerivce接口数据或其它的源数据。数据抽取组件按照不同的配置，以被动或主动的方式抽取源数据。格式转换组件将数据源的数据从一种数据格式，转换成另一种格式的数据，满足不同应用系统对数据格式的要求。如将EXCEL的格式转换成XML格式、数据格式等。数据处理对数据抽取后的数据，进行单独处理，能够添加数据运算、数据加密、数据解密、数

62、据压缩、数据解压缩等操作；将一个字段的数据拆分成几个字段的数据；将多个字段的数据按照一定的规划合并成一个字段的数据；能够对字段的数据进行数据运算等。内容过滤对采集的数据按照一定的处理规则，对满足条件的数据进行过滤，或将不满足条件的数据进行过滤；关于处理规则，能够定义多种组合规则同时处理。内容转换是针对不同的数据内容，将一种数据中的内容转换成另一种表达形式的数据。如将1转换成是，。转换成否；或将1转换成男，。转换成女等；也能够将流数据的格式，转换成十六进制的文本数据；或将十六进制的数据转换成十进制的数据；或将WAV的数据转换成MP3格式的数据等。轻量级体系架构传统ETL体系结构与技术中数据抽取、数据转换和数据加载三类服务的封装是粗粒度的，开发时每块服务的开发量大，开发完成后部署较为复杂，占用的空间大。其次不能专门好地和谐各个数据源的抽取任务，容易造成抽取总线数据流量太大，抽取引擎负荷较重，直截了当阻碍整体ETL系统的效率。第三,由于抽取到临时储备区的数据之前未进行任何的验证等操作，尽管是事先有以元数据为驱动的转换规则，然而规则定义复杂，不能实时性动态地进行规则变换，关于脏数据的过滤和数据转换中错误的处理需要额外占用数据转换引擎进行处理，这就容易造成转换引擎的效率变低，而且阻碍整个数据迁移过程中的系统的稳固性。再次，由于采纳的服务封装粒度较