数据交换平台介绍

《数据交换平台介绍》由会员分享，可在线阅读，更多相关《数据交换平台介绍（54页珍藏版）》请在装配图网上搜索。

1、数据交换平台 议程 数据交换平台概述 数据交换平台功能特点 数据交换平台应用案例 数据交换平台概述 数据源的多样 各类数据库、文件（文本、 Excel、二进 制） 数据格式的差异 交换策略的多样 主动、被动 实时、分时 同步、异步 交换数据的安全、可靠 网络、系统环境的复杂 配置、管理的复杂 数据交换过程中面临的问题 采用中间件 成熟的商用软件，应用软件的半成品 不同的问题由不同的中间件解决 实现平台化 为数据整合提供统一的支撑服务 提供统一的交换标准、接口和开发、运行、管理环境 解决问题的最有效途径 数据交换平台总体技术架构 浏览器 TongIntegrator TongLINK/Q Ton

2、gWeb EJB EJB EJB JSP Servlet TongLINK/Q TongIntegrator 系统 A TongLINK/Q TongIntegrator 系统 B RDB LDAP 用户界面层 业务逻辑层 数据层 数 据 交 换 平 台 是打破信息孤岛、实现互联互通的基础框架 提供各种应用系统之间的信息交换和共享服务 消息中间件 应用集成中间件 数据交换服务 数据共享服务 数据 同步 组件 支撑软 件层 应用基 础平台 层 应用 组件 层 数据 查询 组件 数据 传输 组件 数据交换平台的组成 作用 为集成各种应用系统提供一个开放式企业级应用 集成框架 功能 支持不同地域的应

3、用系统集成 支持多种数据格式及不同格式之间的转换 提供强大的数据加工能力 提供标准的系统集成适配器 增强的对 XML支持 提供方便易用的配置工具 使用 Java代码实现，良好的平台移植性 应用集成中间件 TongIntegrator TongIntegrator A系统的接口， A 系统的数据格式 Y系统的接口， Y 系统的数据格式 业务流程 系统 A 系统 B 数据库系统 X 数据库系统 Y 提供企业应用集成的框架 实现应用之间功能集成 实现应用之间数据集成 TongIntegrator应用框架 作用 为分布式应用提供消息递送服务的消息传输平台 功能 提供可靠、高效、安全的数据传输服务 提供

4、 P2P、 Pub/Sub通讯模式 实时网络监控及管理 多网络环境、多应用模式支持 支持与 Web技术集成 消息中间件 TongLINK/Q 共享内存 系统 A 应用队列 TongLINK/Q核心 日志 共享内存 日志 数据通道 可靠队列 可靠队列 TongLINK/Q核心 应用 A1 应用 A2 应用队列 应用接口 监管系统 系统 B 应用 B1 应用 B2 应用接口 监管系统 TongLINK/Q应用框架 集中式 消息中间件 应用集成中间件 数据交换中心 消息中间件 数据交换节点 消息中间件 数据交换节点 消息中间件 数据交换节点 集中数据处理，统一管理和维护 中心处理压力大，前端维护管理

5、工作量小 数据交换平台的部署（一） 分布式 消息中间件 数据交换节点 应用集成中间件 消息中间件 数据交换节点 应用集成中间件 消息中间件 数据交换节点 应用集成中间件 消息中间件 应用集成中间件 数据交换中心 分布数据处理，统一数据格式 中心处理压力小，前端维护管理工作量大 数据交换平台的部署（二） 数据交换平台功能特点 数据抽取 数据传输 数据加工 数据交换流程定义 数据交换策略 异常处理 配置和管理 应用和数据交换平台的关系 功能概述 文件 数据库 应用 应用 数据对象 （ XML） 数据交换平 台内部数据 格式 Oracle、 Sybase、 SQL Server、 MySQL、 Op

6、enBase等 文本、 XML、 Excel、二进制等 J2EE、 TLQ、 MQ、 Socket等 数据抽取 基于队列机制保证数据可靠传输 队列 TongLINK/Q 消息 tlqd 队列 TongLINK/Q AP AP tlqd 传送成功，消息才从队 列中移走 一次且只有一次传输 数据传输（一） 支持数据传输的优先级 TongLINK/Q Priority = AP 数据传输（二） 低 ,中 ,高优先级 高优先级消息传输速度高于低优 先级的消息 同一优先级的消息顺序发送 TLQ保证低优先级消息可以得到 发送 高的数据传输效率 Connection2发送缓冲区 Connection1发送缓

7、冲区 tlqd Connection2 Connection1 发送窗口大小可调、数据块大小可调 cluster 集群网关 A Gate1 B C D RcvQ RcvQ RcvQ 发送方 接收方 数据传输（三） 传输数据的安全性 节点合法性检查 下级节点表中的合法节点 口令字认证 传输加密 第三方安全出口 与 TongSEC结合 节点信息表 OK 数据传输（四） 格式转换 内容转换 XM XB GZ DH INT FLOAT STRING STRING NAME PAY SEX PHONE INT INT INT STRING XM XB GZ DH 11111111 1234.56 M 张

8、三 NAME PAY SEX PHONE 11111111 1 1234 张三 数据加工（一） 过滤 添加 XM XB GZ DH 11111111 1234.56 M 张三 XM GZ DH 11111111 1234.56 张三 XB=M XM XB GZ DH 11111111 1234.56 M 张三 XB GZ DH 11111111 1234.56 M GS TONGTECH XM 张三 GS=TONGTECH 数据加工（二） 顺序 数据交换流程定义（一） 数据分发 数据分离 数据对象 A 数据对象 C 数据对象 B 数据交换流程定义（二） 数据合并 数据对象 B 数据对象 D 数

9、据对象 C 数据对象 A 数据交换流程定义（三） 数据路由 数据对象 A 数据对象 A 数据对象 数据对象 数据交换流程定义（四） 实时、定时 数据交换平台 数据交换平台 AP AP 数据交换策略 主动 典型应用 B2B集成 输入组件 被动接收 应用 数据对象 发送 输入组件 被动接收 数据对象 输出组件 应用 发送 应用 接收 应用和数据交换平台的关系（一） 被动 典型应用 数据库复制 输入组件 主动拉取 应用 数据对象 DB1 输入组件 主动拉取 数据对象 DB2 输出组件 应用和数据交换平台的关系（二） 数据对象 B 数据对象 A 数据对象 B 数据对象 B 数据对象 异常处理器 异常处

10、理 统一配置 配置和管理（一） 参数化配置 配置和管理（二） 图形化数据库配置工具 配置和管理（三） 远程监控 配置和管理（四） 远程监控 配置和管理（五） 日志系统 调试日志 记录运行期间的调试信息 分级输出，更易维护 可定义输出时间，线程， java包等相关信息 数据日志 可定义共同使用一个日志文件或每一个组件链使用自己的日志文件 循环日志，文件长度最大值和文件数最大值可定义 各组件可以单独定义是否记录数据日志 配置和管理（六） 企业级的应用集成平台 统一的数据、应用集成框架、强大的适配功能 安全、高效、可靠的数据传输体系 有效的数据转换 提供丰富的数据转换组件 XML等标准的支持 用户可

11、定义的数据格式 良好的平台兼容性 支持硬件、 OS、数据库、中间件产品 自有版权 扎根国内应用需求、充分满足应用整合需要 数据交换平台的特点 集中式的数据共享模式 设计思路的选择 1 消息服务 / 流程 / 应用安全 / 综合服务 LA N 专线接入专线接入 C a l l C e n t e r In tr a n e t W e b 服务 I nt e r ne t In ter n e t W e b 服务 数据交换网关 核心业务 数据库 统计分析 数据库 ODS 元数据库 / 资源数据库 / 规则库 社会用户 集团用户 其他部门 内部用户 数据仓库 移动网 网站 数据交换网关 或 W

12、e b 服务 客户层 表示层 商业 逻辑层 数据 服务层 办公自动化 系统 信息发布 系统 计算机监控 系统 核心业务 系统 内部管理 数据库 分布式的数据共享模式 设计思路的选择 2 门户系统 数据交换网关 / S OAP 数据交换网关 / S OAP 应用适配器 S Q L D B M S 信息 发布系统 数据库适配器 S Q L D B M S 计算机 监控系统 其他 系统 B / S 系统 数据交换平台 （数据流引擎、 X M L 表单处理） 应用适配器 S Q L D B M S 核心 业务系统 HT T P 网关 X M L X M L X M L X M L 专线接入 专线接入

13、I n ter n et 社会用户 集团用户政府部门 内部用户 移动网 网站 数据交换网关 或 W e b 服务 客户层 表示层 内部用户 内部用户内部用户 业务 逻辑层 数据 服务层 设计思路的选择 3 集中式的数据共享模式 分布式的数据交换模式 较适用于业务活动相对集中且联系相对紧 密的工作环境 较适用于业务活动相对分散且相互联系相 对松散的工作环境 适用于业务量较大的、相对繁忙的、大范 围的在线事务处理（ OLTP）业务 适用于业务量相对较小的非在线事务处理 业务，或者说是在小范围内的 OLTP业务 由于大量的数据需要在网上实时传输，因 此对网络条件的要求相对较高 由于数据实时处理要求不

14、强，因此对网络 条件的要求相对较低 由于是数据集中存储和集中处理，因此对 主机、存储等基础设施的性能要求高 由于采用分布式存储和处理，因此对主机、 存储等基础设施的性能要求较高 由于在网络、主机和存储各个层次上要求 较高，因此系统在技术上复杂 由于在网络、主机和存储各个层次上要求 较低，因此系统在技术上相对复杂 便于统一管理和维护 系统和数据需要分散维护和管理 需要在大范围内采用统一的用户管理和权 限管理机制来实现应用安全控制 只需要在小范围内进行用户权限控制，相 对地应用安全的要求较低 系统投资较高，系统建设周期、开发周期 较长 系统投资较低，系统建设周期、开发周期 较短 与原有异构的遗留系

15、统的整合十分复杂 与原有异构的遗留系统的整合相对简单 设计思路的选择 4 采用面向数据交换服务的体系架构 业务系统和数据采用分散部署和维护、管理，降低了工作难度和风 险； 只需要在小范围内进行用户权限控制，相对地对应用安全的要求降 低； 由于采用分布式存储和处理，因此对主机、存储等基础设施的要求 相对较低； 由于在网络、主机和存储各个层次上要求较低，因此系统在技术上 相对简单，减低了实施风险； 系统的投资较低，系统建设周期、开发周期较短； 与原有异构的遗留系统的整合相对简单，可更好地保护已有系统投 资。 数据交换平台应用案例 项目概况 由农业部信息中心牵头建设 涉及全国 31个省、直辖市 15

16、个试点省建设周期为 3个月 目标 全国农业系统共同需要的信息资源，将通过 “ 全国农业网站资源库 ” 实现联合收集，同 步共享；重要的农业新闻将以 “ 全国信息联 播 ” 实现统一发布，连锁宣传。 农业部 “ 全国农业网站信息资源库 ” 和 “ 全国信息联播 ” 频道（ 1） 省级网站 省级网站 省级网站 数据共享交换平台 中农网采编发平台（ WCM） 信息资源库 信息联播 用户 Internet 农业部 “ 全国农业网站信息资源库 ” 和 “ 全国信息联播 ” 频道（ 2） 消 息 中 间 件+ 应 用 集 成 中 间 件 消 息 中 间 件+ 应 用 集 成 中 间 件 数据共享交换平台

17、解包、 分析 组件 Zip文 件打 包适 组件 调用 web service 入采编 系统组 件 文件目录 监控组件 文件目录 监控组件 中 农 网 采 编 发 平 台 （WC M ） 数据库 数据库组件 数据加工组件 发送文件到省 文件加 工组件 省 级 中 农 网 采 编 发 平 台 调用 web service入 采编系统 组件 数据解析 入库组件 标准表 (out) 标准表 (in) 数据库 组件 省 应 用 系 统 文件目录 监控组件 发送目录 数据库 数据库 组件 广东、上海 除广东、 上海外 农业部 “ 全国农业网站信息资源库 ” 和 “ 全国信息联播 ” 频道（ 3） 项目概况

18、 由成都市工商局牵头建设 涉及成都市 18个委办局 建设周期只有 2个月时间 目标 建立全市统一的企业信用数据中心，准确收 集、反映、分析、评价、公示和使用企业信 用资源，实现社会诚信体系工程 成都工商局企业信用管理系统（ 1） 成都工商局企业信用管理系统（ 2） 信息发布组件 信用数据资源管理中心 前置 DB 前置 DB 数据采集组件 前置 DB 应用集成中间件 消息中间件 数据转换组件 路由组件 应用服务器 数据交换平台 前置 DB 历史 DB 中心 DB 应用集成中间件 应用集成中间件 应用集成中间件 消息 中间件 消息 中间件 消息 中间件 工 商 原 有 系 统 技 监 原 有 系

19、统 国 税 原 有 系 统 业务 DB 业务 DB 业务 DB 成都工商局企业信用管理系统（ 3） 福建省电力局 DXP数据交换平台 （ 1） 项目概况 建立福建省电力局数据中心和 6个部门应用系统之间的公共数 据交换平台，为应用系统提供统一的接入接口和数据加工模块， 实现跨系统数据实时、定时交换。 项目实施周期及人员配置 1名项目实施经理、 4名项目实施工程师 3个半月完成 2个部门和数据中心的实施上线 福建省电力局 DXP数据交换平台 （ 2） 集成环境 数据中心 Windows2000 WebSphere5.0、 MQ5.3 Oracle9i 部门环境 Windows2000/XP MQ

20、5.3 Oracle9i/8.1/SQL Server 其他业务系统 福建省电力局 DXP数据交换平台 （ 3） 系统拓扑图 D X P - P i p e D X P - A d ap te r 数据中心 D X P - P i p e D X P - A d ap te r 计划 D X P - P i p e D X P - A d ap te r 生产 D X P - P i p e D X P - A d ap te r 营销 D X P - P i p e D X P - A d ap te r 财务 D X P - P i p e D X P - A d ap te r 物流 D

21、 X P - P i p e D X P - A d ap te r 人资 D X P - S e r v e r 福建省电力局 DXP数据交换平台 （ 3） 平台功能特点 以 TongIntegrator为核心 实现实时、定时数据交换 基于订阅 /发布模式的数据交换 同步数据查询支持 实现 WebSphere、 MQ等原有应用系统完美整合 使 Web功能更加丰富 提供交换数据监控和审计日志 支持海量数据交换（日数据交换 10万条） 中国农业部网上展厅 中国卫星通信公司经营决策分析系统 北京市石景山区电子政务应用基础支撑平台 北京市电子政务应用基础支撑平台 北京市水务局数据交换平台 上海市静安区数据支撑平台 上海卢湾区电子政务 福建电力局 DXP数据交换平台 广东、深圳、浙江、山东、江苏、河北、 天津海事局综合发布平台 河南省工商局综合业务系统 成都市工商局企业信用管理系统 杭州市环保局数据交换平台 东风车桥数据同步项目 用户名单