元数据管理模块方案

《元数据管理模块方案》由会员分享，可在线阅读，更多相关《元数据管理模块方案（14页珍藏版）》请在装配图网上搜索。

1、目录1. 现状分析21.1 目前的困境21.2 什么是元数据管理32. 目标分析 32.1 建立完善的指标解释体系32.2 建立规范的元数据管理体系42.3 建立有效的数据稽核体系43. 功能概述 43.1 元数据管理43.1.1 业务元数据53.2.2 技术元数据63.3 元数据分析93.3.1 血统分析93.3.2 影响分析103.3.3 重要性分析 113.3.4 无关性分析123.4 数据稽核123.4.1 稽核规则管理133.4.2 稽核任务调度133.4.3 稽核结果分析143.4.4 数据质量评估 143.4.5 数据问题管理14元数据管理系统概述1. 现状分析随着经营分析系统规

2、模不断扩大，系统所积累数据量也越来越大，收集到的 海量数据背后隐藏着大量珍贵重要的信息，但也同时提高了系统的数据管理难 度：一方面难以对这些数据进行有效解释，缺乏对业务流程执行的实时监控和管 理；另一方面各部门数据与数据整合的难度也不断加大，影响到了经营分析系统 中的数据质量。如何对现有数据进行深层发掘，并揭示出埋藏在元数据中的趋势、因果关系、 关联模式等核心信息？这是下一步深化经营分析系统应用的电信运营商需要解 决的头等大事。构建BI,首先要保证的是数据质量。元数据管理解决的问题就 是如何把业务系统中的数据分门别类地进行管理，并建立数据与数据之间的关 系,为数据仓库的数据质量监控提供基础素材

3、。1.1 目前的困境使用者(决策层、业务分析人员)：1) 经营分析系统中存在有很多报表,不同报表中存在一些相同的指标,这 些指标往往不一致,给业务分析和决策工作造成很多困惑,必须花费很大的 精力去检查核实。2) 对于很多指标,不清楚其具体含义,不清楚其反映的问题,不清楚其具 体算法和来龙去脉。数据仓库项目开发维护者：1) 不同报表中的同一指标不一致,必须花费很大的精力去检查,目前基本 上是通过手工检查表和存储过程的方式,效率较低。2) 没有完善的开发、维护规范。比如,新增一张分析报表,开发人员根据 业务人员的需求制作完成之后,往往没有整理完善相应的数据指标解释和元 数据管理,造成日后检查困难。

4、3) 开发、维护规范的执行力较低,没有行之有效的管控手段。不严格按照 规范执行，随着项目的发展和时间的推移，导致数据仓库项目的健壮性和可 维护性呈几何级数下降，给数据仓库的建设带来大量的重复工作。1.2 什么是元数据管理元数据最本质，最抽象的定义为：data about data （关于数据的数据）。 而对于经营分析数据仓库而言，形象的定义为：元数据就是数据仓库的规范。 这些规范包括对各种指标的定义、解释；包括对各表中数据的来龙去脉、数 据的大小和格式的定义。元数据管理，就是要建立一套行之有效的规范以及该规范的管控体系， 实现从管理到查询到综合分析的全面管控，管理层次从接口到 ETL 处理、

5、业务逻辑处理、结果展现处理和指标分析的方方面面，构成数据仓库应用系 统的核心和基础。做到开发者能严格遵守规范，维护者和使用者有规范可查， 有力的保障数据仓库项目的健壮性和可维护性。2. 目标分析要走出目前的困境，有下面三个方面的问题急待解决：2.1 建立完善的指标解释体系满足用户对业务和数据理解的需求，建立标准的企业内部知识传承的信 息承载平台，建立业务分析知识库，实现知识共享。能够回答诸如以下问题： 什么是出帐用户数？在网用户数和网上用户数有何区别？什么是套餐的生命周期？竞争对手新发展用户数是怎么得来的？这个数据还叫什么名字？2.2 建立规范的元数据管理体系让用户能够清晰的了解数据仓库中数据

6、流的来龙去脉，业务处理规则、 发展情况等，提高系统的可维护性、适应性和集成性，支持数据仓库 /集市 的成长需求，减少因员工换岗造成的影响。具体来讲，主要是对数据仓库建设、运行和维护的规范的管理。能够回 答诸如以下的问题：哪张表是从业务系统抽取过来的原始话单表？竞争对手新发展用户事实表中的数据，是从哪些表汇总计算出来的？DW用户下的P_XXX这个存储过程是谁写的，现在还有用吗？我是新手，要生成套餐生命周期演化分析事实表，我该怎么做？ 表空间不够了，哪些表的数据可以删掉？2.3 建立有效的数据稽核体系促进数据仓库的数据质量建设，为提高整个系统的数据质量奠定坚实的基础。建立报警、监控机制，出现故障，

7、能及时发现问题。提供整体系统运营的情况分析。能够回答诸如以下问题：今天的出帐用户数过高，是怎么回事？数据集市层中的 DM_XXX 表中数据为空，什么原因？A报表中的全省ARPU值和B报表中的ARPU值为什么不同？3. 功能概述3.1 元数据管理对数据仓库的层次结构、主题域划分，各层的各种对象，如表、存储过 程、索引、数据链、函数和包等的管理。能够清晰的展现各层次结构之间的 数据流程，图形化展现各对象之间的关系，展现表中数据的来龙去脉。311业务元数据业务元数据包括以下信息：使用者的业务术语所表达的数据模型、对象 名和属性名；访问数据的原则和数据来源；系统所提供的分析方法及公式、 报表信息。业务

8、元数据管理除了管理上述信息外，还提供对业务元数据来源的管理 和差异性对比功能，使用户能够方便的查询、比较和追溯。包括两个子模块，指标管理和指标解释接口。指标管理：主要实现对所有指标的维护功能，维护指标的基本信息、业 务规则和技术算法等。能够展现各个主题分析中的指标，以及指标间的区别 等信息。指标解释接口：提供统一的接口，使用户能够在经营分析系统或CRM 系统中，点击任一指标名称，即可查看该指标的详细描述和解释说明。经营分析系统联机帮助 律失用F数上月出怅本月不出帐的用户数3.2.2技术元数据技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管 理数据仓库的数据，主要包括数据仓库结构的

9、描述（各个主题的定义，星型 模式或雪花型模式的描述定义等）、ODS层（操作数据存储ODS .Operation Data Storage）的企业数据模型描述（以描述关系表及其关联关系为形式）、 对数据稽核规则的定义、数据集市定义描述与装载描述（包括Cube的维度、 层次、度量以及相应事实表、概要表的抽取规则）。系统除了维护技术员数据的基本信息外，更以图形的方式展现和管理各 技术元数据之间的关联关系和来源。技术元数据管理主要包括以下几个功能模块：元数据查询：按关键字、分类、主题域名称等维度进行查询，展现该元 数据的基本信息，如业务描述、技术描述、计量单位、所属分类等信息。元数据维护：对元数据的基

10、本信息进行维护，包括增、删、改。元数据指标d：R|J三亠专4矿下弍库+ -JJSS-上岂4于刃1试弁十-JZM匕匚祚元H琳基丰信且BF GSM CA1 L T表KPC0534别容业备直述拽朮描述口6年02月（3柯话单扌誠计期冉G网朗有用户ESELECT FROMB F_GS M_CALLJTH f-JB F伍用范用诂另纭;-计呈单悅创建时间元n i/zii/ qxhf所on元数据关系查询：展现元数据之间的关系，如：按经营分析数据仓库的 各个层次进行展现；按元数据之间的映射关系展现；按元数据的处理流程进 行展现等等。点击!辻屋h弾出亡氧器血湃跟面 i桁培确诜择”元数据奘型：全剖 三 元数据名称：

11、I岀帐用户數I谨1操作EBA ,F.DV CPP-ClEir M031LE :.C.弔基机氓莖利，鼠玩芒谨点击 荃元数雷节点进.工适咸賞 曲工丟堆护卑両，左亘与耳旧 壬魏据之叵饋关系述亏増啪垠ESA JF.3 CRPDHE4T CNC MCM-_FACT_V1FU5ER址w： iiitffi户救元数据关系管理：对元数据关系进行维护，包括增加、删除和修改。点击墜择弭出元数理遗羿畀面讲行皓诡遶择.元数据懣：全團 元数1S潜筋：泄鏗尸型【軽銅C_二F= vq巳f_田曲_3LL_U：弱孟-_Jit E= GS.r GALL I Z：塔垃上坂苛点 删除诗节点 乡 Mil | 亠“亠廖阳吞妬玮忙曰/聒駅兀

12、tB15rS:_- ；叱,._兰cfAjF-DM_0PP0fEr_H0fill.e_M0N很齬权罔拄制甩标点锂点击 某元数芯书点进入退丘数据 的关玉繼护弄面*对菽与茸他 元数損疋例的关系进行増删哉点击某元药裁节点$械現遷元 數1S宦咲京国.指靳：出用尸救如上图所示，鼠标右键点击某个节点，对该节点进行增、删、改操作。门TL说芒h弾IIIF芯和址准拆rtJTrr隹雨上1筑出怅用P数垃庠询増加花載毎15点上放来聲型：上镇来沥：出供用户敢: 述頁增切出瞩来原说明：CPPChEMTLCNWi压兰Y算亓邀E节呂，琳扎曲h罰科惡消点击选择蝉出元皴培选择界页进荷清确辻出蛾用戶数L.,-._J.i.s.-i.a

13、i.-i.ai. 主称：选择L5?i r-rc. BF_,QSM_CAL L_T_2 C C 6Q2F_JRFC N ENT_M C M2/悠确走套删馳汗点吗？取消3.3元数据分析血统分析、影响分析、表重要程度分析、表无关程度分析等等。通过上 述分析，让用户对整个数据仓库总体上有清晰的认识和理解，解决数据孤岛 的问题。3.3.1血统分析数据血统一Data Lin eage,通过数据血统分析，用户可以知道数据何时 更新、如何计算以及从何处而来，所有这些手段帮助用户追溯报表中数据产 生的来源。这种深入洞查数据来龙去脉的能力对于帮助用户更加信赖他们的 信息来说，具有至关重要的作用。3.3.2 影响分

14、析影响分析关注的重点是数据的流向，提供端对端影响分析，使您能够看见源系统发生变化时，BI报表受到的影响，而因此可以轻松地处理BI环境中的变化。移动用户话务信息表处理大客户信息竞争专题大客户明细前端展现专题分析模块目标元数据对象II移动大客户信息表A A竞争专题用户分析竞争专题策反高层决策市场分析高层决策竞争对手3.3.3重要性分析分析BI系统中，用户最关心的分析主题、报表和指标，追溯这些分析 主题、报表和指标涉及到的元数据，这对于BI系统和数据仓库开发团队具 有重要的指导意义。分析各元数据对象之间的关联密集度，分析数据仓库中各层次的包、表 等对象的重要程度，指导数据仓库开发和维护团队对重点元数

15、据进行重点关 注和质量监控。二 _二移动新入网用户互通话务信息移动大客匚3.3.4无关性分析与重要性分析相反，随着数据仓库系统的规模不断扩大，业务需求的日 益变化，会产生一定数量的无关数据、信息和报表，找出这些无关的内容, 结合业务需求分析其产生的根源，从而为用户简化工作负载，降低项目总拥 有成本，为用户提供可信赖的数据和分析能力。报表无关程度3S述关连度（人次渠道明细日抿面向頸导层面的决策支持0自定熨套餐曰报分析政策与市场对品牌发展的战珞影响2产品群分析分析渠道的发展和收益3基站诣筠量分析与日常业务运营相关的数据7点击抿表名称，可查看读报表 涉及到的栩关数据来源分折3.4数据稽核根据预先配置

16、的规则、算法和质量检查度量，对数据的准确性、合理性 等多角度的检查，以及时发现问题，解决问题。对于稽核结果，进行统计分析，形成结果报告，为以后的数据仓库建设、 实施和维护的改进打下坚实的基础。3.4.1 稽核规则管理接口数据检验：对接口数据的过程进行稽核和校验，分为文件接口， DB-LINK 接口，其他异构数据库接口。处理过程检验：对数据处理过程进行监控和稽核，分为JOB稽核，工 作流稽核，其他处理方式稽核等。处理环境检验：对数据处理环境进行检查，针对不同的应用环境，主要 分为数据库系统检查、主机系统检查、接口机检查、应用服务器检查。日志监控：在 ETL 自动运行的过程中可能出现各种各样的错误

17、，比如 ETL 过程申请的资源超过硬件的物理限制（存储不足或者排序空间不足）。 通过检测 ETL 过程的日志可以判断出该过程输出的目标表数据是否完整。 提供选择日志监控的各种信息供选择，如：过程名、所属模块（营业数据、 计费数据、维表数据等）、执行时间、完成时间、执行时长、执行用户、执 行结果、预警等。维度检验：如：所属模块（营业数据、计费数据、维表数据等）、日期、 表名、维度名称、纬度格式、纬度说明、纬度关联编码表、各纬度记录分布 情况、是否有空值、空值记录数、空值率、预警区间等指标。指标值检验：包括数据量校验、单指标校验、交叉校验等。3.4.2 稽核任务调度在设定数据稽核的模板后，可以对稽

18、核任务实行自动化处理，也可以通 过定制方式来完成，可以定时调用或触发。由不同类型数据检验确定。比如：前序数据（计费营帐数据），可以使用定时调度任务检查数据完 整性，后序数据（DW层数据直到数据集市展示层的汇总数据）的调用可以 通过日志记录触发开始，每个表记录完成后如果日志检测执行正确，则进行 进一步的数据稽核检测。3.4.3 稽核结果分析对于稽核的结果，进行统计分析，回答经典的“4W”问题：该报表是 否异常、该报表在哪里发生、该报表什么时候发生异常和为什么该报表会发 生异常？3.4.4 数据质量评估对数据稽核结果及导致该结果的原因进行统计分析，评估数据仓库维护 和管理工作的质量，这对于数据仓库的开发和维护具有重要的指导意义。3.4.5 数据问题管理对系统使用者或数据仓库开发者遇到的问题及解决方案，进行收集和整 理，形成知识库，便于用户咨询，同时也提高开发团队的效率，避免很多重 复工作。