普元元数据管理MetaCube产品-案例清单

《普元元数据管理MetaCube产品-案例清单》由会员分享，可在线阅读，更多相关《普元元数据管理MetaCube产品-案例清单（7页珍藏版）》请在装配图网上搜索。

1、MetaCube产品案例清单1 国家开发银行数据管理系统1.1 国家开发银行简介国家开发银行(China Development Bank)于1994年3月成立，直属国务院领导。目前在需要全国设有32家分行和4家代表处。成立以来，开行始终认真贯彻国家宏观经济政策，发挥宏观调控职能，支持经济开展和经济结构战略性调整，在关系国家经济开展命脉的根底设施、根底产业和支柱产业重大工程及配套工程建设中，发挥长期融资领域主力银行作用。1.2 背景与问题本着对数据平台的数据质量提升的目的，国家开发银行在2021年8月开始建设数据管理工程。但有些方面仍不完善，其中包括偏于技术方面，业务部门无法使用，使得系统在全

2、行范围内无法推广，在数据标准管理上缺乏管理机制。元数据方面数据比拟松散，没有形成一个整体的体系。在系统建设过程中，开行发布了数据管控的六个管理方法，系统配合管理方法建成了局部管理功能，但是管理方法的电子流程管理没有完全在系统中实现。数据管理系统与国家开发银行当前数据仓库的建设、数据标准咨询等工程有着重要的联系，本期工程中与数据仓库的建设及数据标准咨询的配合也作为实施过程中的一项重要内容。为了提升国家开发银行数据管理效率和效劳水平，增强和优化前期系统功能，提升用户体验，同时，依据国家开发银行出台的六个数据管理方法，完善管理流程系统和配合数据标准化落地，加强数据管理系统的推广工作。国家开发银行建设

3、的目标是满足源系统、ODS、数据仓库以及下游局部应用对元数据管理的业务需求，借助元数据分析功能对上游系统发生变更时发现对下游系统的影响进行分析并进行变更同步及变更通知，建立全行的全局数据地图。元数据的实施范围包括源系统、ODS、EDW、集市、业务系统，应用系统报表。1.3 使用产品与方案通过普元元数据管理产品支持源系统、ODS、数据仓库及下游局部应用对元数据的应用需求。增加采集适配器，定时自动的采集元数据保证元数据数据的及时更新；同时保证真是数据关系的建立，推进全行数据地图的建设，深化元数据管理系统的核心功能，强化元数据管理系统对外的接口效劳，辅助数据标准的落地实施。为支持运行态元数据的采集，

4、提供以下适配器，PowerCenter采集适配器、Cognos采集适配器和Perl日志采集适配器，支持本期EDW和统一报表平台的运行态元数据管理。对于元数据，在实施上支持如下元数据的采集：1数据仓库临时区物理数据模型元数据和ETL转换元数据通过临时层表EDW_SDATA_TAB_COL_LIST需要增加EDW的字段，并提供访问EDW_SDATA_TAB_COL_LIST等表的权限。2数据仓库根底区逻辑数据模型元数据通过Erwin导出xml文件获取逻辑模型元数据。3数据仓库根底区物理数据模型元数据通过Excel模板文件pdmTaskDetails.xls采集物理模型元数据4数据仓库根底区ETL转

5、换元数据通过Excel模板文件sdmTaskDetails.xls文件采集ETL转换元数据。5根底层标准化定义映射通过Excel模板文件采集标准化定义映射，模板中需定义信息项LDM映射。6源业务系统物理模型通过直连源业务系统的数据库采集物理模型，需网络连通能访问到数据库，并有访问STAT层的源到目标映射表的权限。元数据在功能上，支持以下功能：1支持数据仓库变更工作流程2支持采用原模板的导出，方便用户修改数据之后再导入，形成数据的闭环，保证元数据的可传递性及易维护性；分析结果原模板导出，对于影响血统分析的结果支持按原模板导出，便于用户快速锁定相关元数据并导出修改，修改完之后支持导入以更新元数据3

6、PDM和LDM关联：建立PDM和LDM之间的关系，方便后续的影响血统分析4物理模型中文化，支持从设计态的人为整理的EXCEL模型中文名称更新到运行态物理模型中，这样用户在使用运行态元数据时易于理解。1.4 实施效果l 企业级的全面元数据管理，纳入了全行的各类元数据，全面共享元数据，为全行提供了统一的数据字典。l 通过元数据管理系统建立了全行的数据流视图，提供了数据的血统、影响分析，辅助系统的开发运维。l 通过元数据管理系统建立了数据标准和技术元数据的映射，辅助数据标准的落地执行。l 提高采集的自动化程度，确保元数据获取的及时性和准确性。2 中信银行数据治理工程2.1 中信银行简介中信银行601

7、998.SH、0998.HK成立于1987年，原名中信实业银行，是中国改革开放中最早成立的新兴商业银行之一，是中国最早参与国内外金融市场融资的商业银行。伴随中国经济的快速开展，中信实业银行在中国金融市场改革的大潮中逐渐成长壮大，于2005年8月，正式更名中信银行。2006年12月，以中国中信集团和中信国际金融控股为股东，正式成立中信银行股份。同年，成功引进战略投资者，与欧洲领先的西班牙对外银行BBVA建立了优势互补的战略合作关系。2007年4月27日，中信银行在上海交易所和香港联合交易所成功同步上市。2021年，中信银行成功收购中信国际金融控股简称：中信国金70.32%股权。经过二十多年的开展

8、，中信银行已成为国内资本实力最雄厚的商业银行之一，是一家快速增长并具有强大综合竞争力的全国性商业银行。2.2 背景与问题中信银行在2021年已经开始建设元数据管理系统，元数据管理系统推广过程中，由于缺乏有效的元数据更新维护机制，元数据管理系统对ODS工程组运维提供的帮助较为有限，通过对ODS工程组内部的设计、开发、管理工作进行调研后，发现ODS组在工作过程中缺少模型变更通知单，导致在元数据系统中工作流程无法流转；对于ODS非结构化的文档无法纳入，导致ODS的日常工作不方便等问题。同时，元数据后续会管理更多的系统，因为各系统数据映射关系模板不统一，导致纳入更多系统的实施本钱高，效率低等问题。如果

9、能较好解决这些问题，那么会在某种程度上提高ODS工程组的工作效率同时，有利于元数据管理系统的推广和和使用，为后续全行的数据治理工作发挥一定的价值。中信银行的本期的建设目标是，通过普元的元数据管理产品管理全行的元数据，辅助ODS、EDW建设及运维，为统一报表系统建设提供指标，管理科目体系，支持新旧科目改造。同时提高元数据的完整性全面共享元数据，把元数据作为全行统一的数据字典。实施范围包括，源系统、ODS、EDW、交易接口、链路。2.3 使用产品与方案通过采集适配器采集元数据并建立元数据间的关系，管理了ODS范围内的数据结构、数据映射关系、数据抽取信息以及文件分发信息；管理了抽取到ODS的源系统的

10、数据结构，源系统和II层表的映射关系信息；管理了我行大局部交易接口和交易链路信息，并有VP流程保障元数据的更新；建立ODS表结构信息、表加工信息、交易链路信息、交易接口信息。元数据系统通过管理EDW建设过程中涉及的业务、技术元数据，元数据范围包括系统信息、数据库信息、表视图信息、数据文件信息、数据映射信息。提供图形化展现逻辑模型的功能；管理EDW对外供数的数据文件信息，为业务人员提供分析数据需求的查询平台。以下描述了元数据的具体实施方案1EDW存储及映射：分析EDW建设过程中使用的数据库环境、ETL加工处理所使用的ETL工具、编程语言、日志格式，设计EDW元数据管理的采集方案；2EDW数据文件

11、管理：分析EDW供数需求，了解供数范围，分析EDW数据实体表和供数文件的关系，设计数据文件管理策略；3EDW逻辑模型管理：开发逻辑模型展现功能将管理的EDW模型进行图形化展现，并建立逻辑模型和物理模型关联关系，协助用户快速的逻辑EDW模型设计及整合思路；4元模型构建：对不满足数据仓库采集存储的元模型进行重新构建，如：文件存储元模型、表和文件的关系建立，Erwin元模型调整，逻辑模型和物理模型关系映射调整；5元数据采集验证符合：数EDW元数据采集是从不同元数据载体中进行数据抽取得到的，在所有数据对象、数据关系采集完成后需要对采集结论进行初始化验证，这是后续元数据使用的前提；6EDW元数据更新机制

12、：梳理可落地的EDW元数据更新机制，保障元数据的新增、变更能及时更新维护；2.4 实施效果元数据管理系统作为全行的数据字典提供应各个分行用户，辅助分行用户日常的开发和维护工作，提升了日常工作的效率。目前ODS下游系统、分行用户、接口改造系统通过元数据系统获取ODS表结构信息、表加工信息、交易链路信息、交易接口信息。元数据信息整合共享、变更影响分析、工程需求调研等环节发挥着重大作用，并有一大批用户。3 中国银联元数据管理系统3.1 中国银联简介中国银联是经国务院同意，中国人民银行批准设立的中国银行卡联合组织，成立于2002年3月，总部设于上海。目前已拥有近300家境内外成员机构。作为中国的银行卡

13、联合组织，中国银联处于我国银行卡产业的核心和枢纽地位，对我国银行卡产业开展发挥着根底性作用，各银行通过银联跨行交易清算系统，实现了系统间的互联互通，进而使银行卡得以跨银行、跨地区和跨境使用。在建设和运营银联跨行交易清算系统、实现银行卡联网通用的根底上，中国银联积极联合商业银行等产业各方推广统一的银联卡标准标准，创立银行卡自主品牌；推动银行卡的开展和应用；维护银行卡受理市场秩序，防范银行卡风险。3.2 背景与问题管理数据平台ODS、源系统及系统间的加工关系复杂，这些关系散落在ETL工具中及程序的代码中，管理起来较为复杂；同时系统间的宏观数据流向关系较为复杂，通过人工梳理的方式效率低下。通过元数据

14、管理系统把分散在企业中的元数据及关系集中管理起来，提供一个企业级的数据字典，辅助系统的开发和运维。通过元数据管理系统，管理数据平台ODS、源系统及系统间的加工关系，能够采集和管理维度、度量和报表，以及他们间的关系，同时建立起系统宏观数据间的关系，并且以图形化的方式展现宏观数据流向关系。元数据管理系统提供一个企业级的数据字典，辅助系统的开发和运维。实施范围包括数据平台、源业务系统。3.3 使用产品与方案元数据的采集了包括系统、报表、数据字典、PowerCenter、Cognos、ETL元数据；纳入了14个宏观系统、20个源系统、5个数据仓库系统，55张报表，43个度量指标，52个schema；平

15、台建设了如下元数据采集、浏览、分析、变更管理、导出、检索等核心功能3，全流程的影响性分析功能影响分析、血统分析；各宏观系统提供独立数据地图进行查看和下钻；为数据效劳部门提供元数据浏览、检索、分析等效劳，元数据按处理流程的全链分析；建立了Shell脚本和日志规格式范化。银联元数据的建设包括如下内容：1元数据采集企业中的元数据存在不同的异构系统以及不同的元数据生命周期阶段，元数据管理需要支持利用不同的元数据采集技术对各种来源的元数据实施采集，如：数据建模工具、源系统、ETL工具/程序、前段展现工具、文档化的业务元数据等元数据来源。2元数据存储应根据对象建模的思想构建元数据的元模型以及元模型之间的关

16、系，支持存储数据仓库、数据管理和应用开发的业务、技术和操作元数据，以关系型数据库存储元数据以及元数据之间的关系，方便数据库管理，便于元数据管理系统的维护、扩展。3元数据管理元数据管理应该为最终用户提供元数据效劳，能够提供元数据浏览、检索、维护等效劳，方便最终用户对所需业务、技术与操作元数据的使用。平台的建设也必须考虑到元数据在不同应用中的表现形式可能不同。为此，有必要将元数据区分为两个层面，即系统级元数据的物理存储层与元数据的表现层。物理存储层存放元数据的本体，表现层提供运用元数据的环境。提供元数据变更通知机制：因元数据直接影响到存储模式的结构和软件工具的行为，所以再将一个修改正或者扩展后的元

17、数据元素放回原有环境时，需要特别谨慎。消费者可以向元数据管理平台预订通知消息，要求在元数据元素某个局部发生改动时通知它们。一旦得到通知，消费者会请求获得元数据元素的一份拷贝。在一些环境下，一些重要的管理程序或过程可能会首先关闭受到元数据变化影响的、处于活动状态的工具；然后，将修改正的元数据放入受到影响的工具中，在重新启开工具，指示它将修改正的元数据融入到它内部的实现模型中。提供元数据版本控制机制：必须为被管理的元数据元素设立专门的版本控制规那么，特别是元数据实例必须具有版本控制功能，包括定版、版本比拟、版本恢复等功能。在特定的环境中，元数据管理体系结构需要跟踪、控制和发布不同版本的元数据。虽然

18、最终要由消费者采用的工具来决定需要哪个版本的元数据。但元数据管理体系结构必须提供相应的机制来使工具能够发现和请求不同版本。4元数据分析元数据管理应提供元数据的全局影响分析、血统分析功能，能使开发人员积极地评估更改的影响，确定实施更改所需的工作量和费用。5提供接口效劳元数据交换的接口应能满足伙伴系统或终端用户批量、自动获取元数据的要求，以“拉或“推的方式提供元数据效劳。元数据交换应基于异步通信机制，借以减少数据提供者与数据消费者间的耦合性。同时，元数据通信协议应遵循业界流行的标准，提高应用程序开发的效率和灵活性。为了更好地支持最终应用系统的构建，平台应遵循业界流行的元数据标准。3.4 实施效果提

19、供了企业级的数据字典，辅助开发人员的开发和运维工作。4 上海银行数据管理平台4.1 上海银行简介上海银行成立于1995年12月29日，是一家由上海市国有股份、中资法人股份、外资股份及众多个人股份共同组成的新型的股份制商业银行，总行位于上海。实行“一级法人、两级经营的管理体制。当前全行注册资本为26亿元人民币。在中国企业联合会、中国企业家协会联合发布的2007年度中国企业500强排名中名列第三百五十一。4.2 背景与问题上海银行在数据管理和数据规划使用方面已取得了一定的成效，如制定客户主题的数据标准，并在系统建设过程中以文档或纸质的文件进行传阅使用，到达对系统设计开发进行事前指导的目的。另外针对

20、数据管理和使用的标准方面也取得了相应的成效，公布了一系列的管理方法如：?数据管理方法?、?数据质量管理方法?、?数据标准管理方法?，这些措施都统一数据口径、明确数据含义、标准数据使用等提供了相应的支持。随着上海银行信息化建设步伐加快，已有的数据管理方式已无法满足日益膨胀的数据管理和系统建设要求，这迫使上海银行需要重新梳理数据管理的目标和管理意义，以满足各IT系统对数据使用的要求。通过对现状调研发现数据标准制定不全面，只制定公布了客户主题标准，在标准使用、口径统计、指标含义说明等方面无法满足日常需求。数据收集、数据处理效率较低，不同源系统的数据存在不一致的现象。这些因素导致系统间接口开发、信息交

21、互的难度较大，数据模型重复设计，数据可信度下降。上海银行的建设目标是通过元数据管理系统，建立采集元数据和元数据关系，确保数据源和数据定义的可追溯性；提升跨系统的数据交互能力以及数据整合能力；确保生产环境的元数据得到有效的管理和维护。通过元数据管理系统建立数标的需求引用、数标映射元数据落地管理，使得整个管理流程闭环可控。实施范围包括源系统、EDW、报表系统等。4.3 使用产品与方案通过元数据管理系统采集业务元数据和技术元数据，同时提供元数据的映射管理，变更管理，元数据的结构管理、分析管理和查询管理，同时提供元数据批量导入及入库审批流程。上海银行元数据的建设包括如下内容：1元数据与映射录入用户通过

22、手动指定文件发起元数据采集操作的过程。假设是通过存量系统梳理功能或者需求管理功能链接过来的元数据导入请求，那么会包含存量系统梳理任务号和需求编号，无论导入时是否填写了需求号任务号，本次元数据导入都会关联上编号。2元数据变更主动发起元数据变更的各类业务场景，以及由此带来的后续处理。元数据涉及的可能被动变更规那么满足如下，那么相关元数据可能需要变更。 当数标修改涉及技术标准，包括长度和字段类型修改 当涉及长度时，仅限新数标长度比原数标长度减少 于数标修改导致数标映射停用，是否映射原元数据都尚未确认，故仅发送通知修改元数据邮件即可3元数据管理元数据导入，指的是导入指示元数据关系的信息，例如两个字段间

23、是否有关系，有何种关系等信息。元数据导入是建立血缘关系图的根底。本功能用于维护元数据之间的依赖关系，例如字段与字段之间存在依赖关系。能对元数据树上需要导出的元数据全部导出为模版文件。4元数据分析管理血统分析以图形方式展示以某个元数据为终止节点，其前与其有关系的所有元数据，反响数据的来源与加工过程，使用血统分析可分析数据来源和对数据质量问题的定位。影响分析以图形方式展示以某个元数据为起始节点，其后与其有关系的所有元数据，反响数据的流向与加工过程。使用影响分析可分析数据流向和对数据转换中错误的定位，用户通过选定指定的元数据，分析该元数据的影响数据流图。表的重要程度分析，表元数据与其他元数据的关系的

24、数量，例如，表与ETL程序、表与OLAP、表与指标等。该数量越高，表示这张表的重要程度越高，在修改或者删除的时候就需要慎重考虑了。本功能用以展示元数据管理系统中所有类型为表的元数据的关联度。用户可以输入查询条件，用于查询关联度在一定数量之上的表。差异是指2个类型相同的元数据之间的差异，例如名称的差异、创立时间的差异或是属性的差异。差异分析就是比对2个同类型的元数据，高亮显示2个元数据之间的差异，使得用户可以直观的看到相似数据之间的微小差异。5元数据查询管理本功能用于过滤元数据，根据元数据英文名称，元数据中文名称过滤，使其元数据树只显示符合条件的数据，以便于用户找到需要的数据。元数据变更查询提供了查询元数据历史版本的功能，以更有效的把控元数据的变更。影响分析节点间加工过程查看，在粗粒度显示下可以查看两个元数据间的加工过程根据全行的版本号，查看元数据的版本信息，可设定全行系统版本号。4.4 实施效果通过元数据管理系统建立新增需求的数标落地和存量系统数标落地及相关的管理流程实施，有效的推动了数据标准的落地执行。