企业竞争的利器数据仓库和数据挖掘

《企业竞争的利器数据仓库和数据挖掘》由会员分享，可在线阅读，更多相关《企业竞争的利器数据仓库和数据挖掘（60页珍藏版）》请在装配图网上搜索。

1、阮闯 博士多媒体通信事业部广东省邮电科学技术研究院电信企业参与竞争的利器电信企业参与竞争的利器-数据仓库和数据挖掘数据仓库和数据挖掘电信企业参与竞争的利器-数据仓库和数据挖掘2提要提要市场竞争-竞争技术数据仓库的基本认识数据仓库设计数据挖掘数据融合动力系统研究我们的实践电信企业参与竞争的利器-数据仓库和数据挖掘3市场竞争市场竞争-竞争技术竞争技术随着电信市场的开放，竞争将越来越激烈利润的降低使得必须从粗放的经营转变到集约的经营经营决策需要尽可能多的定量的依据经营决策需要尽可能快的速度所有这些需要技术上的支持-数据仓库和数据挖掘电信企业参与竞争的利器-数据仓库和数据挖掘4数据仓库的基本认识数据仓

2、库的基本认识电信企业参与竞争的利器-数据仓库和数据挖掘5统一认识: 什么是数据仓库技术(Data Warehousing)?l 是一个处理过程,而不仅仅代表一组产品l 是一个从大量的企业数据中发现有价信息的过程l 是充分利用现有资源, 而不是摒弃重构l 是提供系统及数据的多种访问形式电信企业参与竞争的利器-数据仓库和数据挖掘6统一认识: 什么是数据仓库 (Data Warehouse)?数据仓库是在企业管理和决策中面向主题的,集成的, 与时间相关的和不可修改的数据集合Bill Inmon电信企业参与竞争的利器-数据仓库和数据挖掘7统一认识: 数据仓库体系结构图 高度综合级 轻度综合级 当前细节

3、级 早期细节级备注： 图5-1 数据仓库体系结构图 数据仓库数据仓库工具层多维分析工具数据挖掘工具 可视化工具 最终用户： 表示关系型数据： 表示多维数据电信企业参与竞争的利器-数据仓库和数据挖掘8统一认识: 数据仓库应用体系结构n数据集成数据集成: 集成不同业务系统中的数据集成不同业务系统中的数据n数据转换数据转换: 全部数据被转换成统一的数据格式全部数据被转换成统一的数据格式n数据发布数据发布: 数据被存储在靠近用户的地方数据被存储在靠近用户的地方n数据存取数据存取: 满足数据分析等应用需求满足数据分析等应用需求nMetadata :元数据. 即数据仓库的数据字典.nWarehouse P

4、rocess Management 保证数据仓库的正确实施电信企业参与竞争的利器-数据仓库和数据挖掘9统一认识: 建设数据仓库的十二步1. 定义项目范围, 制定项目开发计划2. 确定在企业决策中至关重要的数据3. 用数据语言描述企业需求4. 建立并修正企业的逻辑数据模型5. 建立数据仓库数据模型6. 定义数据集市数据模型7. 定义可操作的数据源(OLTP数据)8. 详细设计9. 设计数据仓库的物理数据库10. 准备高层次的应用结构设计11. 定义各种技术规范12. 准备项目实施计划电信企业参与竞争的利器-数据仓库和数据挖掘10统一认识: 数据仓库建设取得成功的关键因素从项目建设的角度出发: 有

5、一个坚实的数据仓库数据模型 有一个专职的数据仓库分析小组 有一个经过深思熟虑的执行计划 各方紧密配合 资金保证 好的自动化工具,支持设计过程和元数据管理 最终用户好用 各种工具齐全, 易得 正确的期望值 有专家支持从用户的角度出发:数据准确 数据易于管理 数据可以随时刷新 数据容易访问 数据表现通俗易懂 有利于正确的企业决策电信企业参与竞争的利器-数据仓库和数据挖掘11数据量估算 一般情况下, 数据空间=数据量估算 * 2 索引空间=数据空间 * 0.5 估算数据量时要考虑: 现有数据日, 月, 季和年的增长率. 数据仓库中保留多长时间的历史数据: 数据仓库中一般保留几年数据. 操作型系统中一

6、般只保留当前数据注意: 数据仓库系统和OLTP系统不同, 它需要更大的临时空间, 用于排序操作和数据求和汇总 数据仓库系统也需要较大的缓存空间, 用于驻留经常被访问的数据.电信企业参与竞争的利器-数据仓库和数据挖掘12模型选择: Inmon 的数据分布式体系结构数据源系统ODS: 操作型数据存储集中式数据仓库数据集市OLTP系统时实数据实时/准时实数据数据以批方式修改数据日期: 1秒- 2 天历史数据数据以批方式修改数据日期: 1天 - 5 年历史和汇总数据数据以批方式修改数据日期: 1天 - 10 年n 数据源系统也可以直接给数据仓库和数据集市提供数据 电信企业参与竞争的利器-数据仓库和数据

7、挖掘13模型选择: 集中式数据仓库模型OLTP数据源系统集中式数据仓库最终用户n数据被不断地从数据源系统累积到数据仓库中n数据格式和数据的取舍规则与OLTP系统独立n数据仓库中存放的是企业的数据, 可以跨业务领域nOLTP 系统 与数据仓库系统彼此独立, OLTP的性能不受影响电信企业参与竞争的利器-数据仓库和数据挖掘14模型选择: 集中分布式数据仓库模型OLTP数据源系统集中式数据仓库按地域发布的数据集市地域性最终用户n 数据更靠近最终用户电信企业参与竞争的利器-数据仓库和数据挖掘15模型选择: 分布式累积型数据仓库模型按地域发布的数据集市各地区的OLTP数据源系统集中式数据仓库n 集中定义

8、数据的集成与转换规则 n 数据传递从下往上n 此模型适用于敺植际綌企业电信企业参与竞争的利器-数据仓库和数据挖掘16硬件与软件选择: 硬件选择数据库服务器的选择取决于数据库的大小和查询的复杂度0 5GB 50GB 500GB 5TBComplex Lan Servers SimpleComplex SMP Machine SimpleComplex SMP Clusters SimpleComplex MPP Clusters SimpleSmallMedium to LargeVery LargeSource Datamation March 1995电信企业参与竞争的利器-数据仓库和数据挖

9、掘17硬件与软件选择: 硬件选择(续)网络服务器:Single CPU Pentium-based servers Up to 10 GB DatabasesSingle processor UNIX platforms 10 to 40 GB Databases适用于高度汇总(Highly Summaried)型数据仓库适用于做网关(Gateway)SMP 数据库服务器:2 to 64 CPUs (通常 4 to 8)共享内存/硬盘大容量内存适用于中型和大型数据库SMP 供应商: Digital, HP, Pyramid, Sequent, Sun, Cray, IBM电信企业参与竞争的利器

10、-数据仓库和数据挖掘18设计阶段: 数据仓库数据的多级模型OlderatomicdataCurrentatomicdataLightlysummarizedHighlysummarizedMETADATA85-90% of analysis10% of analysis电信企业参与竞争的利器-数据仓库和数据挖掘19设计阶段: 数据仓库数据建模的一般方法1. 获取最终用户的业务需求2. 定义业务规则3. 建立主题(SA)数据视图4. 建立企业逻辑数据模型5. 定义操作型的数据源6. 建立数据仓库数据模型7. 必要的话, 把数据仓库模型分割成几个子模型, 分别建设, 以满足不同用户和不同工具的需要

11、.注意注意: 数据仓库建设的每一步都要严格质量检查数据仓库建设的每一步都要严格质量检查, 每一步的实施每一步的实施可能要经过多次反复可能要经过多次反复.电信企业参与竞争的利器-数据仓库和数据挖掘20设计阶段: 数据建模的基本概念 模型模型 - 对主题的抽象表示. 数据模型数据模型 - 对一定范围的数据的定义,特征和关系的表示. 主题视图主题视图 - 高层主题及其关系的表示. 逻辑数据模型逻辑数据模型 - 从最终用户的角度出发, 对企业中的信息的数学描述. 这里并不考虑数据的功能和物理属性. 数据仓库数据模型数据仓库数据模型 - 是反映在决策支持分析活动中对数据的使用的数据模型 实体实体(Ent

12、ity) - 代表 人,物,地点和事件. 实体在数据模型中是唯一的. 关系关系(Relationship) - 两个实体之间的企业规则. 元素元素(Element) - 表现实体的低级属性.也称为属性(Attribute) 键键(Key) - 唯一识别一个实体的元素. 属性属性(Attribute) - 实体中的非键元素. 递归递归(Recursion) - 与自身相关的实体关系.电信企业参与竞争的利器-数据仓库和数据挖掘21设计阶段: 主题视图模型,逻辑数据模型与数据仓库数据模型之间的关系主题视图主题视图逻辑数据模型逻辑数据模型操作型数据模型操作型数据模型数据仓库数据仓库数据模型数据模型物理

13、模型物理模型数据集市数据集市数据模型数据模型电信企业参与竞争的利器-数据仓库和数据挖掘22设计阶段: 什么是主题? 主题代表企业中数据的自然归类范畴主题代表企业中数据的自然归类范畴. 主题也称为高层实体主题也称为高层实体. 主题视图包含主题视图包含: 数据被归类成为广义的, 功能上独立的, 没有重叠的主题. 表现数据之间的主要关系. 表现模型之间的数据共性. 主题视图中的主题数目一般不超过 12 个 可以先构造局部主题视图, 然后合并成全局主题视图.电信企业参与竞争的利器-数据仓库和数据挖掘23设计阶段: 局部主题视图CustomerOrderProductOrderPartProductCu

14、stomerOrderEmployeesPartSupplierUser View 1User View 2User View 3User View 4电信企业参与竞争的利器-数据仓库和数据挖掘24设计阶段: 全局主题视图CustomerOrderEmployeesPartProductSupplier电信企业参与竞争的利器-数据仓库和数据挖掘25设计阶段: 建立逻辑数据模型的基本方法l 基于主题视图基于主题视图, 把主题视图中的数据定义转入到逻辑把主题视图中的数据定义转入到逻辑数据模型中数据模型中.l 删除重复数据项删除重复数据项l 识别某些数据共性识别某些数据共性, 比如比如: 数据类型数

15、据类型, .l 识别主题间的关系识别主题间的关系l 分解多对多的关系分解多对多的关系l 用范式理论检验逻辑数据模型用范式理论检验逻辑数据模型l 由用户审核逻辑数据模型由用户审核逻辑数据模型l 命名规则审核命名规则审核电信企业参与竞争的利器-数据仓库和数据挖掘26设计阶段: 主题视图与逻辑数据模型ProductOrderHigh-level主题视图主题视图Mid-level逻辑数据模型逻辑数据模型Customer IDCustomer NameCredit RatingCustomer IDCustomer Address TypeAddress Line 1Address CityAddres

16、s StateAddress Zip-codeOrderCustomer IDSIC CodeNo. EmployeesCommercialCustomer IDNo. KidsIncome LevelResidentialCustomerCustomerSelectedSubject Area电信企业参与竞争的利器-数据仓库和数据挖掘27设计阶段: 逻辑数据模型与数据仓库数据模型的区别逻辑数据模型逻辑数据模型 数据仓库数据模型数据仓库数据模型范式化范式化 非范式化非范式化详细数据详细数据详细和汇总数据详细和汇总数据企业运作角度企业运作角度 企业决策和战略角度企业决策和战略角度可能含有时间键可

17、能含有时间键 必须含有时间属性必须含有时间属性没有派生数据没有派生数据 含有派生的战略数据含有派生的战略数据无数据数组无数据数组 有数据数组有数据数组以企业规则为中心以企业规则为中心 以数据的使用和稳定性为中心以数据的使用和稳定性为中心 电信企业参与竞争的利器-数据仓库和数据挖掘28设计阶段: 数据粒度分析数据粒度数据粒度(Data Granularity )- 代表数据的细节化程度. 粒度越大, 数据的汇总程度越高. 事务级数据的粒度最小, 它是汇总型数据的数据源. 数据仓库中数据的粒度取决于数据仓库的类型. 数据仓库中数据的粒度可以和操作型系统的数据粒度一样, 也可以不一样. 当粒度发生改

18、变时, 数据仓库数据模型要反映出这种变化. 如果仅仅存储汇总型数据, 那么数据的细节型分析就无法做到电信企业参与竞争的利器-数据仓库和数据挖掘29设计阶段: 数据粒度分析在数据仓库中, 多层(Multi-tier)体系结构表达的是数据的汇总程度.Lightlysum m arizedH ighlyS um m arizedC urrentA tom ic D ata每一层并不一定彼此独立并非每个数据仓库项目都含有多层汇总.电信企业参与竞争的利器-数据仓库和数据挖掘30设计阶段: 数据汇总模型 简单累加简单累加: 如如, 求和每天各种商品的销售额求和每天各种商品的销售额 滚动型累计滚动型累计:

19、如如, 求和每周各种商品的销售额求和每周各种商品的销售额 清单型汇总清单型汇总: 类似于做台账类似于做台账 连续汇总连续汇总: 形如多级汇总形如多级汇总 纵向汇总纵向汇总: 按特定的问题进行汇总按特定的问题进行汇总, 以获取最佳的性能以获取最佳的性能.电信企业参与竞争的利器-数据仓库和数据挖掘31设计阶段: 数据稳定性分析数据仓库中数据的最好组织原则是数据仓库中数据的最好组织原则是: 变化慢的数据存放在一张表中. 变化快的数据存放在另一张表中.关键是要根据数据的稳定性关键是要根据数据的稳定性, 对数据元数进行分离对数据元数进行分离下列数据应该按其稳定性来组织下列数据应该按其稳定性来组织: 数据

20、的修改时间完全不同. 最终用户习惯于频繁地修改数据. 下列数据可以不按其稳定性来组织下列数据可以不按其稳定性来组织: 系统性能不好. 大部分时间总是被一起使用.电信企业参与竞争的利器-数据仓库和数据挖掘32数据集市数据模型设计数据集市是数据仓库中数据的一个子集数据集市是数据仓库中数据的一个子集, 用于解决某用于解决某个业务部门特定的应用需求个业务部门特定的应用需求.电信企业参与竞争的利器-数据仓库和数据挖掘33数据集市数据模型设计数据集市数据集市:从数据仓库中派生出来可以和数据仓库存放在同一平台上,也可以分开.应该把它作为数据仓库的一部分 来建设ArchiveddetailEnterprise

21、-wideIndividualMETADATAData MartIndividualData Mart电信企业参与竞争的利器-数据仓库和数据挖掘34多维模型n多维模型是人们观察数据多维模型是人们观察数据的形象表示 n可以是可以是 2, 3, 4或更多维或更多维 n可以对多维模型进分析可以对多维模型进分析 - 即: 选择哪维作为查询条件.Product LinesRegionsTimen传统的数据模型比较复杂传统的数据模型比较复杂, 最终用户难于理解最终用户难于理解n多表联结多表联结(Join)查询查询(尤其是大表尤其是大表), 既费时既费时,又占用大量资源电信企业参与竞争的利器-数据仓库和数据

22、挖掘35多维模型: 基本概念8维: 是人们观察数据的特定角度8维成员: 维的取值.8维层次: 代表维的细节程度. 比如: 时间维的层次可以是年, 季, 月, 周,日, 等等.8类: 维成员互不相交的一个子集.8多维分析: 指对以维形式组织的数据采取切片,切块和旋转等动作, 以求全面深刻地分析数据.8切片(Slice): 按照某一维取值做查询.8切块(Dice): 按照一维或多维取值做查询.8旋转: 改变一个报告或页面显示的维方向.8维表: 存放维数据.8事实表: 由事实数据元素和维数据元素组成. 事实表是多维多维模型的核心. 事实数据是决策分析的数据基础.电信企业参与竞争的利器-数据仓库和数据

23、挖掘36多维模型: 怎样建立维表和事实表建立维表和事实表要考虑建立维表和事实表要考虑: 建立中央事实表, 它存储大量数据. 事实表周围, 维表的数目要少, 并且维表中的数据量要小. 关键是要控制维数, 它直接影响数据粒度.注意注意1: 多维模型是非范式化的多维模型是非范式化的, 大量的事实数据可能是重复的大量的事实数据可能是重复的. 2: 多维模型通常不适合企业级的模型分析多维模型通常不适合企业级的模型分析, 因为在企业级因为在企业级,数据量太大并且太复杂数据量太大并且太复杂.电信企业参与竞争的利器-数据仓库和数据挖掘37多维模型: 多维数据模型的四种模式l 星型模式(Star Schema)

24、l 雪花模式(Snowflake Schema)l 星座模式(Constellation Schema)l 雪暴模式(Snowstorm Schema)电信企业参与竞争的利器-数据仓库和数据挖掘38多维模型: 星型模式Grocery TransactionStore NumberTransaction DateCustomerProductQuantityAmountCustomerCustomerFrom DateTo DateFirst NameLast NameAddress 1Address 2Address 3CityStateCountryPostal CodeTimeTransa

25、ction DateStoreStore NumberStore NameCityStateCountryTelephoneProductProductDescriptionCategoryFact TableDimensionTablesDimensionTables电信企业参与竞争的利器-数据仓库和数据挖掘39多维模型: 雪花模式Grocery TransactionStore NumberTransaction DateCustomerProductQuantityAmountCustomerCustomerFirst NameLast NameAddress 1Address 2Add

26、ress 3CityStateCountryPostal CodeCustomer CategoryTimeTransaction DateStoreStore NumberStore NameCityStateCountryTelephoneRegionProductProductDescriptionCategoryProduct CategoryProduct CategoryDescriptionRegionRegionDescriptionSales PeriodPeriod IdentifierSales PeriodFrom DateTo DateCustomer Categor

27、yCategoryCustomer Categoryn为了避免数据冗余为了避免数据冗余, 用多张表来描述一个复杂维用多张表来描述一个复杂维n在星型模式的基础上在星型模式的基础上, 构造维表的多层结构构造维表的多层结构电信企业参与竞争的利器-数据仓库和数据挖掘40多维模型: 星座模式Grocery TransactionStore NumberTransaction DateCustomerProductPurchase QuantityAmountCustomerCustomerFirst NameLast NameAddress 1Address 2Address 3CityStateCou

28、ntryPostal CodeCustomer CategoryTimeTransaction DateStoreStore NumberStore NameCityStateCountryTelephoneRegionProductProductDescriptionCategoryProduct LineSales PeriodPeriod IdentifierSales PeriodFrom DateTo DateCustomer CategoryCategoryCustomer CategoryProduct PurchasesProductPurchase DateSupplying

29、 VendorPurchase OrderUnit QuantityPurchase CostVendorVendorVendor NameAddress 1Address 2Address 3CityStateCountryPostal CodeProduct InventoryProductWarehouse LocationQuantity On HandQuantity Back OrderedWarehouseWarehouseAddress 1Address 2Address 3CityStateCountryPostal Coden具有多个事实表具有多个事实表电信企业参与竞争的利

30、器-数据仓库和数据挖掘41多维模型: 雪暴模式Grocery TransactionStore NumberTransaction DateCustomerProductPurchase QuantityAmountCustomerCustomerFirst NameLast NameAddress 1Address 2Address 3CityStateCountryPostal CodeCustomer CategoryTimeTransaction DateStoreStore NumberStore NameCityStateCountryTelephoneRegionProductP

31、roductDescriptionCategoryProduct LineProduct CategoryProduct CategoryDescriptionRegionRegionDescriptionSales PeriodPeriod IdentifierSales PeriodFrom DateTo DateCustomer CategoryCategoryCustomer CategoryPromotion PeriodPromotion IdPromotionFrom DateTo DateProduct LineProduct Line IDDescriptionProduct

32、 PurchasesProductPurchase DateSupplying VendorPurchase OrderUnit QuantityPurchase CostVendorVendorVendor NameAddress 1Address 2Address 3CityStateCountryPostal CodeProduct InventoryProductWarehouse LocationQuantity On HandQuantity Back OrderedWarehouseWarehouseAddress 1Address 2Address 3CityStateCoun

33、tryPostal Coden具有多个事实表与多层维表具有多个事实表与多层维表电信企业参与竞争的利器-数据仓库和数据挖掘42多维模型: 如何增加时间维?Grocery TransactionStore NumberTransaction DateCustomerProductQuantityAmountTimeTransaction DateSales PeriodPeriod IdentifierSales PeriodFrom DateTo Daten取决于企业结构与时间的使取决于企业结构与时间的使用方式p 确定企业的时间坐标, 是一个坐标, 还是有几个坐标?p 企业是否有财政年和日历年?

34、p 弄清哪些数据属于哪个时间坐标p 企业的成员与相关者是否有相同的节假日?电信企业参与竞争的利器-数据仓库和数据挖掘43面向个人的数据仓库数据模型设计集中的数据仓库数据集市个人数据集市与个人相关的, 或个人感兴趣的1天-10年的数据.可以是高度汇总型数据, 或个人特定的数据历史数据数据以批方式修改数据日期: 1天 - 5 年历史和汇总数据数据以批方式修改数据日期: 1天 - 10 年电信企业参与竞争的利器-数据仓库和数据挖掘44操作型数据存储(ODS)与数据仓库ODS集成企业中所有的操作型系统中的数据集成企业中所有的操作型系统中的数据, 用以支持用以支持企业日常的全局应用企业日常的全局应用操作

35、型数据存储操作型数据存储(ODS)与数据仓库之间与数据仓库之间有着非常明确的区别有着非常明确的区别.电信企业参与竞争的利器-数据仓库和数据挖掘45操作型数据存储(ODS)与数据仓库的区别- 适用于当前的, 偏细节性的决策- 面向战术型用户- 适用于长期的, 方向与定位性的决策- 面向战略型用户OperationalData StoreDataWarehouse- 面向主题的面向主题的- 集成的集成的- 易变的易变的- 当前的当前的,或最近的数据或最近的数据- 主题独立的主题独立的- 集成的集成的- 不变的不变的- 历史与汇总数据历史与汇总数据电信企业参与竞争的利器-数据仓库和数据挖掘46操作型

36、数据存储(ODS),数据仓库和数据集市的关系SourceSystemsOperationalData StoreCentral DataRepositoryMetadataEISDSSPCDataMartn ODS可以实现数据的集成与数据清洗电信企业参与竞争的利器-数据仓库和数据挖掘47什么是元数据(Metadata) 是描述数据仓库中数据的数据 Metadata 的组成是:表, 数据元素, 主键数据元素的物理特征各种定义数据抽取历史数据汇总算法数据属主关系及存取模式数据生命期以及淘汰规则数据安全性数据的度量单位电信企业参与竞争的利器-数据仓库和数据挖掘48怎样收集元数据?在整个数据仓库建设过

37、程中, 元数据被不断积累和丰富,从源数据到目标数据或相反是可以追踪的MetadataHighlySummarizedLightlySummarizedSourceDataTarget tableattributesLightlySummarizedattributesTransformation& LoadSource tableattributesExtractProcessExtractProcessSummarzation& LoadKeys to tablesAttribute informationSource locationEntity informationAttribute

38、mappingName ChangesKey changesDefaults usedDefaults reasonExtract HistoryData ownership/stewardshipReference tablesAging/purging criteriaUnit of measureSecuritySummarizationAlgorithmsSummarizationprogramsRun SchedulesLocation ofprogramsInput tableOutput tableKeys to tablesAttribute infoSource locati

39、onEntity informationAttribute mappingName ChangesKey changesDefaults usedDefaults reasonExtract HistoryData ownership/stewardshipReference tablesAging/purging criteriaUnit of measureSecurityExtract Algorithms ProgramsRun SchedulesLocation of pgmsInput tableOutput tableExtract Algorithms ProgramsRun

40、SchedulesLocation of pgmsInput tableOutput tableSummarizationAlgorithmsSummarizationprogramsRun SchedulesLocation ofprogramsInput tableOutput tableKeys to tablesAttribute infotarget locationEntity informationAttribute mappingExtract HistoryData ownership/stewardshipReference tablesAging/purging crit

41、eriaUnit of measureSecurity电信企业参与竞争的利器-数据仓库和数据挖掘49数据转移与加载: 基本模型Bulk Data TransferData SourcesData TargetsStore and ForwardReal-Time Synchronous电信企业参与竞争的利器-数据仓库和数据挖掘50数据仓库应用阶段: 数据访问方式简单的访问形式有:动态SQL命令 使用图象工具标准报表应用工具电子报表常用的应用类型:DSS软件(Decision support systems ): 生成各种日常报告EIS软件(Executive information syste

42、ms ) : 详细分析数据模型,走势, 异常和汇总报表软件: 产生标准报表. 电信企业参与竞争的利器-数据仓库和数据挖掘51数据分析的四种模型与相应工具数据分析的四种模型:h绝对模型属于静态数据分析. 它通过比较历史数据和行为来描述过去发生的事情.h解释模型属于静态数据分析. 它通过层层细化, 找出事实发生的原因.h思考模型属于动态数据分析. 它通过引入一定参数后, 预测将来会发生什么.h公式模型最高级动态数据分析. 它知道需要引入哪些参数以及所产生的结果.数据分析的工具有三种类型:h查询工具: 指对分析结果的查询, 而不是记录级的查询.h验证型工具: 从数据仓库中发现事实. 实现数据分析的前

43、三种模型.h挖掘型工具: 从大量数据中发现模式. 实现第四种分析模型.电信企业参与竞争的利器-数据仓库和数据挖掘52数据挖掘- Data Miningy数据挖掘是一种决策支持过程.y它的核心技术是人工智能, 机器学习和统计学等y它高度自动化地分析企业的历史数据, 通过归纳推理, 挖掘出企业潜在的发展模型.y数据挖掘不一定建立在数据仓库的基础上.电信企业参与竞争的利器-数据仓库和数据挖掘53数据挖掘- 分析方法与分析过程数据挖掘有四种分析方法:y 关联分析: 挖掘出隐藏在数据间的相互关系.y序列模式分析: 分析数据间的前后(因果)关系.y分类分析: 先定义一组标记, 再赋予每条记录一个标记, 从

44、而实现对记录的分类分析. 典型的分类分析模型有:线性回归模型, 策略树模型, 基于规则的模型, 神经物理模型,y聚类分析: 是分类分析的逆过程. 它根据一定的规则, 对记录进行合理的分类. 通过分类分析可以发现分类规则, 再用所发现的分类规则对记录重新分类(即聚类分析), 可以发现预先对记录分类的合理性和准确性.数据挖掘步骤:y数据准备: 细分为数据集成, 数据选择和预分析.y数据挖掘: 综合利用上述四种分析方法.y数据表达: 挖掘的信息要以直观的, 便于用户理解和观察的方式表达.y评价: 如果分析人员对结果不满意, 可以重复上述过程, 至止满意.电信企业参与竞争的利器-数据仓库和数据挖掘54

45、数据融合数据融合 融合的不同层次 原始数据的融合 特征融合 模型融合 融合的不同方面 时间融合 空间融合 时间/空间或空间/时间融合 系统的数据融合 业务数据体系 指标体系电信企业参与竞争的利器-数据仓库和数据挖掘55数据融合数据融合 数据融合的高级境界 战略数据分析 态势评价 博弈理论 商场如战场-运用军事理论 关键是模型的建立 基础是数据仓库的建立电信企业参与竞争的利器-数据仓库和数据挖掘56动力系统动力系统 企业实施数据仓库和数据挖掘战略的重要问题是建立一个有效的动力学系统 反馈是一个有效的动力系统最重要的环节 反馈的相关要素有反馈的量和反馈的时间延迟 目前的主要问题是 没有形成有效的反

46、馈环路 反馈的量不够 反馈的时间太长电信企业参与竞争的利器-数据仓库和数据挖掘57反馈的解决反馈的解决 建立有效的反馈通路 基于WEB的计算技术 增加反馈的量-到企业领导的手上 移动计算 人机界面 数据融合 缩短反馈的时间 高性能计算-亿次计算电信企业参与竞争的利器-数据仓库和数据挖掘58研究研究 一般人用一般的工具 Normal use normal 数据仓库-企业竞争的基础 数据挖掘-企业竞争的秘密武器 数据融合-战略竞争的武器 需要有效地实施-过程与架构 需要深入地研究电信企业参与竞争的利器-数据仓库和数据挖掘59我们的实践我们的实践 首先在视聆通后台管理系统中应用，使用Sybase的数

47、据仓库解决方案和BusinessObjects的联机分析解决方案，能够在3分钟的时间里对全省数据进行任意的查询，并能够通过WWW的方式进行在线分析并发布分析结果。 目前与我院网络市场部合作在电信市场经营支撑系统中进行更大规模的应用 长期的研究：在数据挖掘方面参与国家重点基础研究规划项目（“973”）有关海量数据库中的知识发现研究电信企业参与竞争的利器-数据仓库和数据挖掘60MajpjMVcyzj21HLfrvy96dv02lPPfYgxUS7IYmZkyEmZ0kGeYZS3bpLCkYH1lt4EK7CxmUX3ijoYSOer7ZuaVWYgz4EpZrUirVpMzzvNtf1XZw5o

48、swSXOtFaejnOcmfE1lZgnN1RSXg8wLCG8CVQ3XPJMvodPFWcpiYJgZazNSEPNIaklYSu7qSd1UpaxmZDlpN9zW7kljfsLCLi26Yv109ffbnDH8LbUN1G6ACURQ39eG12KHL9tXsZ1jzgoCK8g1kuNOh5eFvcmVT5ZYVQt9zk3rp3qLnf02FovEXxVRxjCcFRNppiJljNiOuk6fONnyX7fyGg7sXZ49BmCN5oy9VesHpKzdjTKwjrkCEQCFDehVmGax3lrOEbw63VscA3YSijtUKoCyiLzAlVRp7l4QgPNHxv

49、JFFDyjUVN3oHlMah0XBd4uTbkfPIhHtw0evPmYOrdhEDoPwvYhzlGplU1AU9mpyiCXH8gpPCBRYjq77VcnbXumNE1yGfyTsbSj89J63kRTKDkKUg3mdS5sJ4X5cQ8dK7oW9IkScssECQdz2O9UTlpRjAFPChjhLdzopQzwxQf8ozdzOhogwAooXpUF83BX4C3jRgjDJiiXEUDMaNz4vQ4n164vspddHvOIVuBBdMA4xp1YhiHk0vOJ8TL1BxogzVlMpmod6ianYGmksQq6NWCEd56hZF4wfaNyZcrGfNxnPiG6ZAxSkfmhJAKtNmCqbRmppeXp8inz4eq3HkWCMSORyMMX522xpHG6basNr6KQfbZsFbHjzyNlJrruLolKFcC84dqfijBO5Dy2NaBcNEBPgQrT12PgpcKx2or2YChN5DPjs80zzdtdAdTKuW4uVv9bbZu3K2SZ2aEhTlIC1UqrIWibkzwHh6p8gLv26zr01mJybfOzFc4T7kQH1IpPwOzMDnAKPLsLrznXGjFNIA9bSWWms6ibKZwQIKrMzalwbFrQJvOP1rPH8rx2KkyYqrtQk5VRwM1HSX