电信数据仓库设计课件

《电信数据仓库设计课件》由会员分享，可在线阅读，更多相关《电信数据仓库设计课件（76页珍藏版）》请在装配图网上搜索。

1、陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司陕西电信综合数据仓库平台陕西电信综合数据仓库平台总体设计方案总体设计方案陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司总体架构总体架构EDWODS数数据据总总线线ADB使用使用人员人员CIF语义层语义层综合综合统计统计分析分析平台平台EDACIFCRM计费业业务务及及管管理理系系统统。数据总线数据总线业务操作数据客户资料业务运营数据业务运营数据统一经营数据共享统一经营

2、数据共享业务分析结果统计分析数据源统计分析数据源统计分析数据源统计分析数据源决策信息业务查询结果业务分析结果业务操作数据客户资料业务运营数据业务运营数据业务运营数据业务分析结果业务分析结果陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司整体目标整体目标打破信息孤岛，实现数据共享数据共享，构建企业数据全集企业数据全集综合统计分析平台的数据支撑综合统计分析平台的数据支撑，建立从数据转换为价值的体系，让数据发挥出企业核心资源的效用，实现数据的增值，彻底改善彻底改善IT对于业务的支撑能力，尤其是对分析决策的支持对分析决策的支持能力能力提供统一的数据支撑和标准规范的对外接口统一数据管

3、理，保证数据准确和可追踪管理，支持内控，构建企业统一的数据管理平台企业统一的数据管理平台 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司系统定位系统定位按照陕西电信规划模型，整合各业务系统按照陕西电信规划模型，整合各业务系统的数据，实现企业范围的数据统一视图的数据，实现企业范围的数据统一视图通过技术和管理手通过技术和管理手段，实现面向经营段，实现面向经营分析决策的企业级分析决策的企业级统一共享的数据管统一共享的数据管理平台理平台通过对数据的组织加工，实现从数通过对数据的组织加工，实现从数据到信息的转变；提供对综合统计据到信息的转变；提供对综合统计分析平台和其它系统的数据支

4、撑分析平台和其它系统的数据支撑综合数据仓库平台（综合数据仓库平台（EDW）定位：）定位：打破信息孤岛，实现数据共享。打破信息孤岛，实现数据共享。数据支撑与价值提升。数据支撑与价值提升。构建企业级数据管理平台。构建企业级数据管理平台。EDAEDW陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司建设范围建设范围数据范围数据范围：企业级数据整合和组织，以支撑综合统计分析平台中各主题分析、分析查询、报表统计等和其它系统的数据需求。功能范围功能范围：数据组织管理、ETL管理、元数据管理、数据质量管理、数据整合等。陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司与综

5、合统计分析平台与综合统计分析平台-分工界面分工界面综综合合统统计计分分析析平平台台数数据据管管理理综综合合数数据据仓仓库库平平台台数据整合数据整合 业务应用业务应用 业务分析业务分析分工界面分工界面陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司功能架构功能架构数数据据处处理理数数据据管管理理文件完整文件完整性检验性检验接口文件接口文件管理管理接口文件接口文件异常处理异常处理 数据数据 获取获取 清洗转换清洗转换合并合并细节数据细节数据

6、生成生成汇总数据汇总数据生成生成数据数据异常处理异常处理 集市数据集市数据生成生成ETL调度调度和监控和监控 数据数据 备份备份 数据数据 检验检验 数据数据 提供提供数据模型数据模型管理管理元数据元数据管理管理数据质量数据质量管理管理安全性安全性管理管理系统系统监控监控系统备份系统备份和恢复和恢复陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司逻辑架构逻辑架构综合结算系统统一客户资料智能网计费帐务系统10000号手工录入数据数据源财务系统 综合受理预 处理抽取清洁转换装载ETL-1 细节细节数据层数据层 汇总汇总数据层数据层 临时区临时区错误数据数 据 仓 库 接 口数据

7、采集接口文件格式管理ETL规则管理 商业元数据管理数据仓库元数据管理 报表元数据管理系统监测/告警安全管理日志管理接口管理元数据管理系统管理统计报表立方体数据生成抽取转换汇总装载ETL-2格 式 检 查和 转 换 应用应用集市层集市层综合统计分析平台 XX系统陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司数数据据获获取取细节数据层CRM、计费帐务、结算、10000号、财务等系统数据文件临时存放区数据文件临时存放区通知重传通知重传读取读取数据格式转换数据格式转换数据获取数据获取临时区临时区错误数据错误数据陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司E

8、TL-1细节数据层细节数据层汇总汇总数据层数据层ETL-2数据提供模块数据仓库连接控制数数据据整整合合元数据系统管理ETL-1抽取规则ETL-2抽取规则ETL-1日志ETL-2日志数据仓库元数据商业元数据ETL-1/2/3规则管理ETL-1/2/3日志管理商业元数据管理数据仓库元数据查看ETL-1/2/3过程监控数据仓库数据访问日志管理数据仓库数据更新调度管理数据整合数据整合临时区应用集市层应用集市层ETL-3ETL-3抽取规则ETL-3日志ETL-3陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司抽取数据抽取数据元数据系统管理根据转换规则根据转换规则转换数据转换数据确定数

9、据格式确定数据格式按既定方式按既定方式提供数据提供数据EDW网络传送地址及安全数据数据传送日志数据抽取、转换规则传送目录及格式抽取、转换规则管理传送格式管理传送日志管理传送目录及安全管理提供的数据数据提供数据提供数据提供陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司数据分层设计数据分层设计业务需求的满足从上到下是分析逐步深入、数据需求细化的过程数据处理的过程从下到上是粒度加粗、更加面向应用的过程数据分层是根据数据处理、需求满足过程的特

10、点，并考虑系统效率、数据稳定性而设计的。应用集市层应用集市层（高度汇总数据）（高度汇总数据）业务业务业务业务数据数据数据数据业务需求满足的过程数据处理的过程陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司临时区临时区以表的形式存放生产系统传送过来的数据以表的形式存放生产系统传送过来的数据 生产系统包括：统一客户资料、综合受理、计费帐务、综合结算、10000号、财务、IN等用于进行数据整合的过程处理和异常处理用于进行数据整合的过程处理和异常处理原则：原则：采用同生产系统相同的表结构 去掉与分析无关的属性字段 增加时间属性字段陕 西 省 电 信 有 限 公 司陕 西 省 电 信

11、 有 限 公 司细节数据层的主题域细节数据层的主题域资源资源产品产品客户客户市场营销市场营销帐务帐务企业企业事件事件供应商供应商/合作伙伴合作伙伴服务服务通用通用实体实体陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司ER概念模型总图概念模型总图资源资源市场营销市场营销 产品产品 事件事件 服务服务 帐务帐务 客户客户 企业企业 供应商供应商/合作伙伴合作伙伴企业发起市场营销客户接受市场营销企业提供产品客户购买产品客户发起/经历事件营销类事件产品付费关系客户指定帐务关系，为产品付费产品提供相应服务客户使用服务产品类事件帐务类事件服务类事件服务使用产生帐务企业提供服务服务使用

12、资源产品使用资源企业拥有资源供应商提供资源企业与供应商合作供应商帐务企业帐务通用实体通用实体陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司细节数据层建模细节数据层建模数据仓库数据仓库数据源数据源陕西规划数据模型陕西规划数据模型 源系统模型 源系统数据分析 陕西电信规划数据模型适合数据仓库的 主题域 层面 实体 属性 关系建模原则：建模原则：去掉与分析无关的实体、属性 将影响效率的竖表（如属性表等）变为横表 增加时间属性 记录变更历史 增加映射字段或映射表 反正则化处理,增加冗余信息陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司第三范式（第三范式（ER

13、图）图）第三范式要求第三范式要求 1、每个属性的值唯一，不具有多义性；2、每个非主属性必须完全依赖于整个主键，而非主键的一部分；3、每个非主属性不能依赖于其他关系中的属性，因为这样的话，这种属性应该归到其他关系中去。不满足第三范式的举例不满足第三范式的举例 class(class_id,class_name,teacher_id,teacher_name)规范化后规范化后 class(class_id,class_name,teacher_id)teacher(teacher_id,teacher_name)总结总结 确定主键和非主键属性的关系 关注逻辑层面上的实体和关系，不考虑可用性问题 需

14、物化为表后，方可在DW创建、使用陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司反正则化处理反正则化处理处理方法处理方法 增加冗余列增加冗余列避免查询时进行表连接操作 增加派生列增加派生列避免查询时连接和使用聚合函数 重新组表重新组表提高性能和效率处理策略处理策略 对订单，增加“市场活动ID”对产品实例，增加“订单ID”对话单、帐单，除原有的“产品实例ID”，增加“客户ID”对话单，增加“帐务周期ID、时段ID、开始时间”等 对客户/用户/帐户，分为当前信息表和历史信息表 对话单、帐单，采用按“业务本地网”分表的方式 对客户，分为“社会属性ID、自然属性ID、消费属性ID”

15、其它陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司汇总数据层汇总数据层存放数据存放数据 资料汇总、清单汇总、关联汇总、宽表等用途用途 提高性能，防止大量的细节数据访问 数据沉淀，粒度较粗的数据可以保存更长时间 承上启下，连接数据驱动的3NF细节数据和需求驱动的Star-Schema数据原则原则 将客户基础资料变更的时间粒度增粗 对清单/帐单类数据在客户/用户/帐户级别上汇总 对经常使用的关联操作，提前进行关联汇总，以表的形式存放 单条记录包括用户基本信息、产品选择和使用量、费用信息，方便业务人员使用陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司应用集

16、市层应用集市层以多维模型、宽表、3NF等方式存放高度汇总数据直接支持前端分析应用应用集市设立的原则：按相同处理功能：如KPI集市、报表集市等 按业务分析主题：如市场竞争集市、市场营销集市等 按特定分析目的：如数据挖掘集市、收入保障集市等 其它陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司雪花模式雪花模式是对星型模式的扩展（维度）日期、地区等多层次的维度均可类似扩展业务量事实表PK,FK3 呼呼叫叫类类型型PK,FK2 对对端端类类型型PK,FK1 长长途途类类型型PK,FK4 日日期期 通话时长 计费时长 通话次数 通话费 长途费 优惠费呼叫类型维表PK呼呼叫叫类类型型

17、呼叫类型描述长途类型维表PK长长途途类类型型 费率 长途类型描述对端类型维表PK对对端端类类型型 对端类型描述日期维表PK日日期期 日 月份 季度 年份FK1节日 日期描述节日维表PK节节日日 节日类型 庆贺形式FK1民族 节日描述民族维表PK民民族族 名称 聚居地 喜好 禁忌 描述优点：在每个维中最小的数据冗余；增加建模的灵活性（维层次结构可以增加，无需改变事实表）；对复杂的维是非常有用的缺点：复杂的查询，包含很多连接；性能可能会较差陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司星型模式星型模式优点：强调容易使用和性能；消除或降低雪花模型的缺点不足：数据准备慢，随业务变

18、化的能力差一种多维的数据关系，由一个事实表和一组维表组成。每个维表表达一个维度维度，所有维度字段组成事实表的复合主键。事实表的非主属性称为事实事实，都是汇总出来的数值型数据。维大都是文字、时间等类型的数据 业业务务量量事事实实表表PK,FK3 呼呼叫叫类类型型PK,FK2 对对端端类类型型PK,FK1 长长途途类类型型PK,FK4 日日期期 通通话话时时长长 计计费费时时长长 通通话话次次数数 通通话话费费 长长途途费费 优优惠惠费费呼叫类型维表PK呼呼叫叫类类型型 呼呼叫叫类类型型描描述述长途类型维表PK长长途途类类型型 长长途途类类型型描描述述对端类型维表PK对对端端类类型型 对对端端类类

19、型型描描述述日期维表PK日日期期 日期描述陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司平衡星型和雪花的方法平衡星型和雪花的方法StoreSalesTimeProductCustomer对仅牵涉到简单的单层维度的事实表，采用星型模式对牵涉到多层维度但纬度深度仅在一个方向增加的事实表，采用星型模式；在纬度深度超过3层的情况下，采用雪花模式对牵涉到多层维度且纬度深度在多个方向增加的事实表，采用星型和雪花混合模式陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司应用集市层建模应用集市层建模需求建模需求建模时间变化建模 MDDM模型优化和增强容量估计确定维度、指

20、标建立事实和维R-OLAP 设计优化多维模型多维模型业务分析模型业务分析模型面向过程的需求面向信息的需求用户需求用户需求数据仓库模型数据仓库模型StoreSalesTimeProductCustomer陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司ETL架构与流程架构与流程陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司根据业务和数据情况，采用不同的数据整合路线根据业务和数据情况，采用不同的数据整合路线应用集市层应

21、用集市层T1F1S1T2D1F2S2业务业务数据数据数据建模数据建模数据建模数据建模数据建模数据建模数据建模数据建模D2“急用先行”ETLDW正常ETL数据建模陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司DFD顶层图顶层图陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司数据抽取策略数据抽取策略源源数数据据分分类类方方式式数据数据操作操作分类分类数据特征数据特征主要数据内容主要数据内容流水型增长（INSERT）数据按增量方式产生，不涉及对已有数据的更新操作清单、帐单、定单等变化更新（UPDATE）对已有数据进行更新资源配置信息等两者结合（INSERT/

22、DELETE+UPDATE）按增量方式产生新数据的同时，还对已有数据进行更新客服记录等数据数据量量大清单、帐单等相对较小资源管理、系统管理类数据陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司数据清理过程数据清理过程数据分析和业务逻辑理解数据分析和业务逻辑理解通过通过ETL过程进行数据整合过程进行数据整合 错误数据反馈回业务系统错误数据反馈回业务系统业务系统数据问题整改业务系统数据问题整改分析数据源理解业务规则格式处理、统一编码字段取舍和上下文处理数据校验和稽核对问题数据导出：a、数据重复 b、属性值错误 c、数据不一致数据质量的管控陕 西 省 电 信 有 限 公 司陕 西

23、 省 电 信 有 限 公 司数据整合原则数据整合原则“基础资料（三户、产品实例等）基础资料（三户、产品实例等）”的统一的统一 确定主系统、数据流向和逻辑关系 以统一客户资料为准 对计费帐务、综合结算、10000号、IN等系统的基础资料进行整合 系统冗余数据的处理：以主系统为主，其它系统做为补充，按照数据流向和逻辑关系进行整合，确保数据的一致性和完整性“产品、商品产品、商品”等关键业务编码的统一等关键业务编码的统一 以综合受理为准 对各系统的业务编码域标准编码之间进行映射“产品实例到达数、计费时长产品实例到达数、计费时长”等统计指标的统一等统计指标的统一 统一统计指标的含义、单位、周期、统计方法

24、等建立不同主题域之间的关联关系建立不同主题域之间的关联关系 建立不同域之间的关联关系，如客户域与产品域、事件域、帐务域、资源域、市场营销域等之间的关联关系业务系统的中间汇总结果会纳入综合数据仓库平台，用于快速支持分析应用的开发和进行数据稽核。陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司ETL开发开发创建Repository创建Project创建Data Store创建Job创建Data Flow创建Work FlowJob部署Job执行运行监控RepositoryProject：XX平台 Job执行Job部署运行监控 Project：综合数据仓库平台Data Store

25、：源和目标定义计费帐务/统一客户资料EDWJob1：用户整合Work Flow1：用户清洗转换Data Flow1：用户清洗Data Flow2：用户转换Work Flow2：记录合并Job2：产品整合Data Flow：产品整合示例：示例：陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司ETL开发考虑的几个方面开发考虑的几个方面文件接口格式的统一制订与正确性校验文件接口格式的统一制订与正确性校验采用增量、全量等灵活的抽取时机与策略，减少对业务系统采用增量、全量等灵活的抽取时机与策略，减少对业务系统的影响的影响分段并行处理，提高系统性能分段并行处理，提高系统性能负载均衡，提

26、高可靠性和系统性能负载均衡，提高可靠性和系统性能合理合理ETLETL在专业工具和数据库之间的分配，大数据量汇总利用在专业工具和数据库之间的分配，大数据量汇总利用数据库性能数据库性能合理设计合理设计ETLETL时机和策略，确保数据产生的准时性和可用性时机和策略，确保数据产生的准时性和可用性统一的统一的ETLETL流程调度、监控和维护，实现流程调度、监控和维护，实现ETLETL的集中管理的集中管理陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司数据质量原则数据质量原则完整性完整性：对一个业务，一个客户，一个产品，一个营销活动，一个客户的性质等进行缺失考察。有效性有效性：数据包含

27、了一个有效的数据格式或值 一致性一致性：数据仓库系统内数据定义的统一、口径的一致性唯一性唯一性：经营分析系统数据定义的唯一性 正确性正确性：ETL过程正确性/加工过程正确性/数据整合正确性/模型正确性/展现正确性/查询正确性/核对过程是否充分准确性准确性：在准确性基础上的精度和近似规则 可用性可用性：主要体现在使用的效率上 时效性时效性：能够按照业务需求集市产生所需的数据清晰性清晰性：清晰定义每一个数据的来龙去脉，没有歧义。充足性充足性：在保证数据正确性和准确性基础上是否能对主要业务专题提供足够的数据进行足够精度的分析需求 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司数

28、据质量保障数据质量保障汇总数据层汇总数据层应用集市层应用集市层细节数据层细节数据层临时区临时区陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司集成架构集成架构综合数据仓库平台（综合数据仓库平台（EDWEDW）统一数据仓库平台统一数据仓库平台BSSBSS业务系统业务系统ADBADBMSSMSS业务系统业务系统ADBADBOSSOSS业务系统系统业务系统系统ADBADBETLETL数据数据ETLETL业务系统业务系统EAIEAI平台平台/数

29、据接口数据接口综合统计分析平台综合统计分析平台元数据管理ETL管理数据质量管理数据提供其它应用其它应用陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司数据仓库的安全控制类型数据仓库的安全控制类型业务用户业务用户CCRC Intranet用户界面用户界面CCRC Intranet 安全检查安全检查中间信息服务系统中间信息服务系统相应的用户访问和存取权限检查相应的用户访问和存取权限检查Web权限权限Brio Server用户权限用户权限Pr

30、op服务接口用户权限服务接口用户权限Teradata数据库数据库用户必须是合法的用户必须是合法的Teradata用户用户用户必须拥有数据库和视图的存取权限用户必须拥有数据库和视图的存取权限Teradata审计跟踪审计跟踪对于关键数据的存取，如帐户资料表，系对于关键数据的存取，如帐户资料表，系统记录用户对这些表的使用情况。统记录用户对这些表的使用情况。业务用户业务用户CCRC Intranet用户界面用户界面CCRC Intranet 安全检查安全检查中间信息服务系统中间信息服务系统相应的用户访问和存取权限检查相应的用户访问和存取权限检查Web权限权限Brio Server用户权限用户权限Pro

31、p服务接口用户权限服务接口用户权限Teradata数据库数据库用户必须是合法的用户必须是合法的Teradata用户用户用户必须拥有数据库和视图的存取权限用户必须拥有数据库和视图的存取权限Teradata审计跟踪审计跟踪对于关键数据的存取，如帐户资料表，系对于关键数据的存取，如帐户资料表，系统记录用户对这些表的使用情况。统记录用户对这些表的使用情况。IntranetWeb 权限权限AP服务权限服务权限用户用户IBM DB2IBM DB2IBM DB2陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司用户分组授权用户分组授权数数据据库库表表数数据据库库视视图图用用户户组组用用户户

32、数数据据库库表表数数据据库库视视图图用用户户组组用用户户陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司访问角色与安全模型访问角色与安全模型获取增、删、改权限获取增、删、改权限查询数据库查询数据库修改数据库修改数据库表数据库表数据库修改用户组修改用户组修改用户修改用户1修改用户修改用户2查询用户组查询用户组访问用户访问用户1访问用户访问用户2维护用户组维护用户组维护用户维护用户1维护用户维护用户2查询请求查询请求增、删、改请求增、删、改请求获取查询权限获取查询权限查询请求查询请求创建、删除表；备份与恢复创建、删除表；备份与恢复陕 西 省 电 信 有 限 公 司陕 西 省 电

33、 信 有 限 公 司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司物理拓扑图物理拓扑图存储综合数据仓库平台综合数据仓库平台DCN网络网络SAN交换机SAN交换机各地市各地市各地市各地市数据库服务器ETL/OLAP服务器BOE服务器WEB 服务器陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司DI软件架构软件架构设计器设计器(Windows)元数据报告元数据报告(Web)管理器管理器(Web)资料库资料库作业服务器作业服务器(Unix)引擎引擎访问服务器访问服务器(Unix)实时服务

34、实时服务本地资料库本地资料库1本地资料库本地资料库2本地资料库本地资料库n中央资料库中央资料库测试资料库测试资料库生产资料库生产资料库陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司DI软件部署软件部署DI服务器(Job Server)Local RepositoryC e n t r a l Repository项目组1开发客户端项目组2开发客户端项目组3开发客户端Job ServerJob ServerJob ServerRepository DB陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司DI的统一管理及开发的统一管理及开发本地资料库测试资料库

35、中央资料库生产资料库1.开发者Check Out2.开发者Check In3.管理者Check Out,进行测试4.测试通过，管理者Check Out，部署生产陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司BOE+EPM软件架构软件架构ADBODS数据源数据源综合数据仓库平台安全服务调度和预警服务元数据存取服务发布和分发服务缓存和失效切换服务审核服务指标管理引擎协作服务系统管理服务业务规则和指标管理J2EE SDK.NET SDKWeb ServicesWEB服服务层务层平台平台服务层服务层(BOE)数据数据获取层获取层UniverseOLAP Server企业仪表盘Da

36、shBoard即席查询WebI企业报表CR预警预测EPMOLAP分析OLAPI展现层展现层综合统计分析应用其它应用陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司BOE+EPM软件部署软件部署BO服务器1（主）BO服务器2（备）J2EE服务器1J2EE服务器2BO RepositoryEPM RepositoryBO服务器集群J2EE服务器集群CR客户端客户端（Administrator）（Designer）分析应用门户（IE）陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司BOE部署架构部署架构BI Platform:Server 2BI Platfo

37、rm:Server 1System repositoryAudit repositoryWeb服务器服务器Web 连接器应用服务器应用服务器 Web 组件接口安全服务调度和预警服务元数据存取服务发布和分发服务缓存和失效切换服务审核服务指标管理引擎协作服务系统管理服务业务规则和指标管理发布和分发服务陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司BOE+EPM的统一管理及开发的统一管理及开发综合统计分析平台的工作目录XX平台的工作目录XX平台的工作目录统一的语义层及统一的语义层及工作目录管理工作目录管理陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司综合数

38、据仓库平台涉及的规范综合数据仓库平台涉及的规范 命名规范 与源系统的接口规范 ETL开发规范 数据质量规范 数据提供规范 系统测试规范 数据仓库管理规范陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司主机配置主机配置类型类型配置配置软件软件说明说明数据库主机2*Superdome每台8CPU、32G RAMIBM DB2 8.2两台主机组成一个集群；每台主机上由8个DB2节点，两台共16个节点。ETL主机1*Superdome8CPU、32G RAMBO DI XIETL主机和OLAP主机互为热备OLAP主机1*Superdome8CPU、32G RAMHyperion E

39、ssbaseBOE主机2*PC Server每台2CPU、4GRAMBOE由BO软件实现负载均衡WEB SERVER和其它系统共享IBM WebSphere陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司存储与备份存储与备份存储类型存储类型容量容量说明说明数据库空间10.5T2T RAID0+1,其余RAID5ETL空间0.9TRAID5OLAP空间0.6TRAID5存储总计：存储总计：12T12T在SAN上进行存储划分；能够确保131月的存储备份容量=存储容量*4=12T*4=48T能够确保：两次综合数据仓库平台全备份 最少四次综合数据仓库平台增量备份 最少二次数据集市、

40、多维数据库（OLAP）全备份 陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司议程议程概述功能架构数据架构ETL架构集成架构安全架构平台架构实施方法论陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司MPDS在本项目中的应用：在本项目中的应用：从管控、业务、数据和系统四个维度,考虑如何促进IT系统由产品为中心向客户为中心的转变CRM计费帐务MSS综合结算EDWM_管控模式P_业务流程D_数据S_系统.管理驱动:后期引入业务驱动:主要驱动力数据驱动:建设过程中的重要因素系统驱动:系统规划阶段的主要因素陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有

41、限 公 司分析操作互动全面精确管理整合关键视图展现整合信息完善分析应用完整企业视图分解分解1.构建陕西EDA统一模型 2.整合经营分析数据，构建企业级数据仓库3.初步建立数据仓库平台管理机制及相应应用 1.构建数据组织管理平台2.ETL应用及调度应用3.信息整合应用4.业务应用：全力配合综合统计分析平台，实现综合统计分析平台的主题分析、统计报表、查询等；1.公用数据管理平台搭建 2.系统架构 3.ETL规则、流程与调度1.增加元数据管理2.提供数据挖掘的支撑功能3.完善数据管理监控平台功能4.完善ETL、OLAP应用 1.系统、存储评估与升级 2.和操作性系统交互1.结合陕西EDA统一数据模型

42、完善数据源，逐步纳入其它域，如资源域、服务域等的数据2.支撑数据挖掘的数据需求3.初步构建企业数据仓库4.完善数据仓库平台管理及相关应用1.支撑数据挖掘专题的深化、支撑全部跨 部门、跨专业的综合分析2.建立完备的元数据管理、数据质量管理、ETL调度管理等一系列数据仓库平台的应用，并建立完备的数据管理办法 1.交互接口实现 2.数据仓库上的应用模块构建 3.管控流程的任务流机制实现1.有效降低营销成本，通过专题分析减少客户流失、寻找商机、提升企业价值2.完善数据仓库平台所有数据源，构建企业级数据仓库3.建立完备的元数据管理、数据质量管理、ETL调度管理等一系列数据仓库平台的应用，并建立完备的数据

43、管理办法 1.陕西电信企业数据模型在EDW的落实 2.ETL业务规则 3.数据准备和质量管控1.数据质量日常管控2.定期经营分析报告制度3.专业分析队伍建立4.分析应用流程评估和固化 1.评估管控分析操作互动应用2.企业绩效指标体系管控3.定制化运营的管控1.数据主要是客户类、产品类、帐务类、财务类、营销收益等相关数据2.客户、产品、帐务、财务、营销收益等相关数据清理，保证基本准确度3.初步完善指标口径 1.客户、产品、帐务相关数据清理，提高准确度2.完善财务类、市场营销类、收入类数据3.增加事件类、投资与资源、服务类等相关数据4.完善指标口径 1.客户、产品、帐务相关数据清理，完全保证数据准

44、确度2.继续完善的数据主要是与财务、资源类相关数据3.增加运维类、人力资源类数据 目标目标建设目标建设目标陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司业务驱动和数据驱动相结合的建设方式业务驱动和数据驱动相结合的建设方式采用“统一规划、分布实施”的建设模式。业业务务数数据据 DemandSupply 自顶向下自顶向下需求定义需求定义Phase DMEnterprise DM自底向上自底向上 源系统分析源系统分析差距分析差距分析-Prioritize and Plan PhasesScoping Study&Operational ChangeDW技术架构定义技术架构定义I

45、mplement陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司1.项目启动2.需求分析3.源系统数据调研4.逻辑设计5.系统总体设计6.物理数据库设计7.数据转换加载ETL8.元数据管理9.数据仓库管理10.系统部署上线项目具体实施步骤数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线项目具体实施步骤项目启动源系统数据调研逻辑设计需求分析陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司主要任务：主要任务：项目启动会议 确认项目主要目标 确认项目实施计划 成立项目组 确定各项目小组的成员及各自的工作职责 确定各项目小组的阶段性工作目标交付

46、项目：交付项目：项目进度计划项目启动需求分析源系统数据调研逻辑设计1 项目启动陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司主要任务：主要任务：确定重点用户与数据源 用户需求调研与确认 数据源确认 用户需求和数据源的分析 交付项目：交付项目：需求规格说明书 项目启动需求分析源系统数据调研逻辑设计2 需求分析陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司主要任务：主要任务：数据源分析 数据量分析 数据结构分析 数据质量分析 数据更新分析交付项目：交付项目：源系统数据调研说明书项目启动需求分析源系统数据调研逻辑设计3 源系统数据调研陕 西 省 电 信 有

47、 限 公 司陕 西 省 电 信 有 限 公 司主要任务：主要任务：对业务、技术环境及企业文化的充分了解，从技术、组织、教育和支持等方面对系统进行全面评估定义业务驱动力定义数据仓库成功的关键因素定义数据仓库的实施原则对系统体系结构各个组件进行详细设计建立系统测试方案交付项目：交付项目：系统总体设计说明书1.系统测试方案数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线4 系统总体设计陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司主要任务：主要任务：进行原始数据分析 建立实体模型 建立实体间依赖关系 完善并填入所有属性 建立数据库逻辑模型 DFD利用工具：利用

48、工具：Oracle Designer交付项目：交付项目：数据仓库逻辑数据模型LDM，即ER图逻辑数据模型说明书DFD项目前期准备需求分析源系统数据调研逻辑设计5 逻辑设计陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司主要任务：主要任务：转换逻辑数据模型（LDM）为物理数据模型定义索引反正则化处理（Denormalizations）数据库建立设计优化备份和恢复设计使用工具：使用工具：Oracle Designer交付项目：交付项目：物理数据模型（PDM）物理数据模型说明书 数据库描述语言DDL 备份和恢复方案建模方法：建模方法：第三范式 3NF 星型结构 雪花状结构6 物理

49、数据库设计数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司主要任务：主要任务：数据源及其特性定义源系统数据接口定义和协调数据析取、转换和加载策略设计构建和测试初始加载的程序和处理流程构建和测试日常加载的程序和处理流程交付项目：交付项目：源系统数据接口方案 数据转换加载设计说明书 数据转换加载脚本（ETL Scripts）流程控制（Process Control）7 数据抽取转换与加载(ETL)数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线陕 西 省 电 信 有 限 公 司陕 西 省 电 信

50、 有 限 公 司源系统ETL服务器数据仓库SQL,C,PerlDISQLl处理时机在源系统上进行处理(数据抽取前)在加载服务器上进行处理(数据抽取后、加载前)在数据仓库里进行处理(数据加载后)l判断标准依服务器及数据库物理特性决定l检查要点BUSINESS RULESPRIMARY KEYSREFERENTIAL INTEGRITYDOMAIN VALUESCROSS TABLES7 数据质量处理陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司主要任务：主要任务：定义元数据使用功能确定元数据管理的处理范围能够进行元数据录入和浏览交付项目：交付项目：元数据管理说明书8 元数据

51、管理数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司主要任务：主要任务：开发和测试数据仓库日常运作流程开发和测试性能监视程序开发和测试安全系统提供数据仓库运行维护方案设计和开发操作人员/用户培训计划、教材提供技术支持使用工具：使用工具：系统监控工具和管理工具交付项目：交付项目：数据仓库管理过程说明书 安全管理说明书 用户培训计划 用户使用手册9 数据仓库管理数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司主要任务：主要任务：

52、系统部署建立并执行集成测试计划建立并执行数据仓库平台测试计划与综合统计分析平台的联合测试建立并执行系统验收测试计划执行用户培训计划实施数据仓库运行维护方案项目回顾交付项目：交付项目：数据转换管理系统测试报告 数据仓库平台测试报告 数据仓库管理过程测试报告 系统上线运行报告10 系统部署上线数据仓库管理物理数据模型数据转换系统总体设计元数据管理系统部署上线陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司综合数据仓库平台综合数据仓库平台-项目组织项目组织项目管理委员会项目管理委员会项目管理委员会项目管理委员会IBMIBM 技术专家组技术专家组外聘技术专家外聘技术专家项目管理办公

53、室项目管理办公室(PMO)PMO)项目管理办公室项目管理办公室(PMO)PMO)中国电信业务组中国电信业务组陕西电信专家陕西电信专家项目质控组项目质控组第三方监理第三方监理集成商项目实施组集成商项目实施组数据组流程组功能组需求组培训组管控组平台组总体组技术架构系统设计信息分析数据模型ETL开发数据质量测试验收项目经理QA实施组陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司综合数据仓库平台综合数据仓库平台-项目控制项目控制计划管理计划管理 总体计划、阶段计划、变更管理汇报机制汇报机制 进度汇报、项目例会、阶段汇报、重大事件沟通质量管理质量管理 设计评审、外部监理、流程与规范、全面测试、培训配置管理配置管理 文档控制、版本管理、发布管理配合与沟通配合与沟通 外部配合：生产系统、综合统计分析平台、PMO、专家组等 内部沟通：工作汇报、项目例会、日常沟通陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司综合数据仓库平台综合数据仓库平台-里程碑计划里程碑计划综合数据仓库平台实施计划综合数据仓库平台实施计划工作阶段时间(月)010203040506071112 启动 需求 设计 开发 测试 培训 试运行 割接 初验 维护 终验 平台部署陕 西 省 电 信 有 限 公 司陕 西 省 电 信 有 限 公 司