数据仓库设计文档模板

《数据仓库设计文档模板》由会员分享，可在线阅读，更多相关《数据仓库设计文档模板（13页珍藏版）》请在装配图网上搜索。

1、数据仓库设计与实现学号 128302106姓名 江晨婷成绩教师 张丹平二O一五年四月数据仓库建设方案设计与实现摘要：本文以博士学位调查为基础，创建方案，设计与实现数据仓库，通过对当前各种主 流数据仓库软件在性能、价格等方面的对比，充分考虑统计业务、单位数量等实际情况，本系统决定采用SQLServer2005数据仓库软件来构建综合信息分析系统的数据仓库。关键词：数据仓库；联机分析；数据挖掘；博士学位一、 概述 数据仓库的设计一般从操作型数据开始，通常需要经过以下几个处理过程；数据仓库设计数据抽取数据管理。 1.数据仓库设计 根据决策主题设计数据仓库结构，一般采用星型和雪花模型设计其数据模型，在设

2、计过程中应保证数据仓库的规范化和体系各元素的必要联系。 2.数据抽取 根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源进行清理、转换、对数据进行重新组织和加工，装载到数据仓库的目标库中。 3.数据管理 数据管理分为目标数据维护和元数据维护两方面。目标数据维护是根据元数据为所定义的更新频率、更新数据项等更新计划任务来刷新数据仓库，以反映数据源的变化，且对时间相关性进行处理。元数据是数据仓库的组成部分，元数据的质量决定整个数据仓库的质量。当数据源的运行环境、结构及目标数据的维护计划发生变化时，需要修改元数据。二、博士学位授予信息年度数据统计分析 1.按主管部门统计从主管部门

3、的角度，分析在一个时间段（年）内，各主管部门所授予的博士学位信息统计。可回答如“2008，由某部门主管的，博士学位授予一共有多少，其平均学习年限是多少，脱产学习的有多少人?”等问题。具有表格和图形两种方式来展示分析结果。典型报表格式如表1所示三、系统体系结构设计通过对当前各种主流数据仓库软件在性能、价格等方面的对比，充分考虑统计业务、单位数量等实际情况，本系统决定采用SQLServer2005数据仓库软件来构建综合信息分析系统的数据仓库。本系统服务器端要求运行平台为Windows2003Server企业版，客户端要求WindowsXP，浏览器为IE6.0；采用SQLServer2005数据仓库

4、构建方案构建数据仓库，选用VisualStudio.NET2003/SQLServer2005、Rose、PowerDesigner等开发工具进行系统开发。我们设计的综合信息分析系统构架在统计综合信息平台中，其核心功能表现为通过数据转换技术，将直报数据库及其他数据源的数据库生成利于进行分析的、不同于关系数据库的数据仓库，根据不同的分析需求建立不同的专题分析数据库（多维数据库），最后对多维数据库进行利用联机分析处理、数据挖掘，其架构如图所示。在这个体系结构中，存放于系统数据库中的业务数据及外部数据源数据按照主题通过ETL工具被抽取到ETL数据库（数据准备区），数据在ETL数据库中完成预处理工作（

5、清洗和转换），再通过ETL工具加载到数据仓库。数据进入数据仓库后按照维度和事实存放，采用MSAnalysisServiees作为OLAP服务器，AnalysisServiees可以方便的定义维度和构建OLAP立方体。用户使用前端的查询工具、报表工具、分析工具，就可以访问决策支持系统并分析浏览数据了。由于数据预处理本身的复杂性，直接从外部数据源把数据整合到数据仓库必将导致该过程即占用许多外部操作型数据库的资源和时间，也会影响数据仓库装载数据的效率。借鉴算法研究中“以空间换时间”的思想，再结合目前硬件成本的下降，本系统中，我们在数据仓库的体系结构中添加一个专门进行数据预处理的存储区域以提高数据仓库

6、系统整体性能。四、 系统数据逻辑结构设计1.基础层模型设计基础层数据用于存放从学历教育博士学位、同等学力人员申请博士学位、博士专业学位、学历教育硕士学位、同等学力人员申请硕士学位、硕士专业学位、普通高等教育本科毕业生学士学位、成人高等教育本科毕业生学士学位、来华留学本科毕业生学士学位、学士专业学位等数据源ETL过来的数据，这些业务数据将进行整合、组织、重构和存放。根据学位银行授予统计系统需求，基础层模型包含博士学位信息主题域、硕士学位信息主题域、学士学位信息主题域。博士学位授予信息是指主题域存放所授予的博士学位信息，分为学历教育博士学位、同等学力人员申请博士学位、博士专业学位。主要的信息有：个

7、人基本信息、学科信息、学位信息、学位论文信息、前置学位信息、获学位后去向信息等。硕士学位授予信息是指主题域存放所授予的硕士学位信息，分为学历教育硕士学位、同等学力人员申请硕士学位、硕士专业学位。主要的信息有：个人基本信息、学科信息、学位信息、学位论文信息、前置学位信息、获学位后去向信息等。学士学位授予信息是指主题域存放所授予的学士学位信息，分为普通高等教育本科毕业生学士学位、成人高等教育本科毕业生学士学位、来华留学本科毕业生学士学位、学士专业学位。主要的信息有：个人基本信息、学科信息、学位信息等。 2.汇总层模型设计汇总层模型的设计需要考虑汇总的粒度问题，汇总的粒度不同，能够回答的业务问题也不

8、一样，由于系统数据庞大繁杂，学位授予时间相对比较固定，本模型将汇总层模型设计为年。该层的设计主要考虑数据向年度级别的汇总，解答如某年某主管单位所授予的博士学位人数等业务问题。根据博士学位信息授予主题的需求分析，即分析的角度（也叫维度）、指标、查询的内容，以博士学位信息授予主题为例，其汇总层的数据模型如图所示。3. 报表层模型设计报表层数据是用于存放学位授予信息统计系统中固定报表统计数据，同时也是灵活查询的数据源。这些数据是根据报表业务规则，从基础层和汇总层统计而出，本模型主要包括内容有：授予博士学位信息统计表、授予硕士学位信息统计表、授予学士学位信息统计表。以博士学位信息统计主题为例，其博士学

9、位信息报表层的数据模型如图所示。图4学历教育博士学位授予信息（按主管部门统计）报表层模型五、 数据仓库模型设计为满足决策分析的需要，系统需要将各种数据源来的数据围绕决策主题存储到数据仓库中，以提高数据查询、聚集的效率。数据仓库建模采用自上而下的三级建模方式，即概念建模、逻辑建模、物理建模。概念建模可采用信息打包法，逻辑建模以星型建模方法和雪花建模方法为主，物理建模以3NF和星型建模方式为主。在数据仓库的3级数据模型中，概念模型表示现实世界的“业务信息”构成关系，用业务数据库设计中的“实体关系”方法（E-R方法）来设计这一级的数据模型，但需要用分析主题代替传统E-R方法中的实体。在传统业务数据库

10、设计中的逻辑模型一般采用范式规范的表及其关系，数据仓库设计中的逻辑模型也采用表来存储数据，因此也数据仓库中使用的也是关系模型，不过表与表之间不再通过3大范式的规范，而是以星形结构、雪花形结构和星座型结构等方式组成。物理模型则属于这些表的物理存储结构，比如表的索引设计等。数据仓库的设计就是在概念模型、逻辑模型和物理模型的依次转换过程中实现的。作为数据仓库的灵魂元数据模型则自始至终伴随着数据仓库的开发、实施与使用。数据粒度和聚合模型也在数据仓库的创建中发挥着指导的作用，指导着数据仓库的具体实现。图4表达了微观数据仓库设计中各种概念之间的关系。 1.概念模型设计概念建模主要表达决策的主题、分析主题的

11、角度、各个角度需要分析的属性信息，决策中层次的信息粒度，及决策主题的评估等。1997年Hammergren提出的信息打包方法，要求从一个决策者的角度去将焦点集中在几个主题上，着重分析所涉及的数据多维性。信息打包方法首先需要确定分析的主题，然后围绕这个主题填入指标、维度、粒度等信息。1.定义关键性指标：定义分析主题的评估指标；2.定义维度：维度是用户访问评估信息的途径，每一个维度只表示一个主要的访问途径。3.定义粒度：粒度是维度中信息的详细程度。 2.逻辑模型设计概念逻辑建模中将分析模型描述成一个可以实现的模式，根据这个模式可以实现存储到实际的数据存储器里。星型模型比较适合数据仓库的要求，在星型

12、模型的基础上扩展出雪花模型。a、星型模型星型模型中使用事实、维、维属性、事实度量来描述。星型模型以事实为中心，各个维为角的星型结构，事实使用度量来评估，维中使用属性来描述维中的类别信息和描述信息。b、雪花模型雪花模型是在星型模型的基础上增加了粒度层次的描述。根据以上对星型模型中维我们分析对象为对学位授予信息的统计分析。下面以博士学位授予信息统计作为分析主题为例，为学位信息分析系统数据仓库建立概念模型。属性的分析可知，同一种星型模型可以转化成不同的雪花模型，转的根据是属性层次的确定。不同的属性层次结构可以展现成不同的雪花图。c、逻辑模型中聚集操作的需求和表示为加快分析速度，可以将分析频繁的层次预

13、先进行聚集操作，即将信息按照属性粒度层次来进行聚集，当需要进一步分析时再到原有的基本信息中进行搜索。本系统采用的是星型模型。六、数据预处理过程模型设计建立数据仓库不仅仅要考虑到联机分析（OLAP）的需要，更重要的是要考虑到数据挖掘的需要。由于数据仓库中的数据量可能以几何级数迅速增长，这就导致数据仓库中常常包含许多含有噪声、不完整、甚至不一致的数据，这严重影响数据处理的效率和效果，影响决策者的决策。目前数据挖掘的研究主要着眼于数据挖掘算法的探讨，而忽视了对数据预处理的研究。但事实上，数据挖掘中的预处理工作量常常占到整个数据挖掘工作量的60%左右，可见数据预处理工作是相当基础和重要的步骤。在本系统

14、的构建中，采用了如下数据预处理策略。 1.系统ETL结构设计本系统数据分为业务基础数据模型层、汇总数据模型层、报表层和参数层。如图所示。图8ETL数据架构设计 2.将数据预处理集成在数据仓库构建过程中基于数据仓库的数据挖掘一般的步骤是：建立数据仓库一进行数据预处理数据挖掘。实际上，数据预处理完全可以在构建数据仓库的同时进行。可以将数据预处理融人数据仓库的构建过程中，并将数据仓库的构建作为数据挖掘的一个重要预处理步骤，将两者有机结合起来。下图说明了基于数据仓库的数据预处理过程模型。七、 学位授予信息分析应用系统的实现 1.创建数据仓库当数据仓库完成物理模型设计以后，就需要进行数据仓库的物理创建。

15、此时，需要完成这样一些工作：创建数据准备区、创建数据仓库、从业务系统提取数据、清理和转换数据、将数据加载进入数据仓库。在创建了数据仓库后，用SQL查询、OLAP应用、数据挖掘等工具对数据仓库进行操作和访问。用户企业现行业务处理系统的数据大部分存储在SQLServer数据库中，这也为我们选用SQLServer数据仓库开发应用工具提供了便利。学位信息授予统计系统构建于现有业务系统的数据基础之上，通过对大量数据进行抽取、清洗、转换、整理，将这些历史数据按照决策者的意图从不同角度（维度）层层展现开来，以达到经营分析决策的最终目的。建立起数据仓库，就能对所存储的多维数据开展OLAP分析和数据挖掘工作，得到所需要的分析结果。按照实施的层次从总体上规划应用是以整合的数据为基础，提供了多维分析，专题分析和固定报表，具体应用功能列表如下表参考文献 1 数据仓库课程课件林友芳 2 实用软件工程 清华大学出版社 3 W.H.Inmon著，王志海、林友芳等译，数据仓库，机械工业出版社，2003年3月（原书第三版）