主数据管理与实施策略

《主数据管理与实施策略》由会员分享，可在线阅读，更多相关《主数据管理与实施策略（13页珍藏版）》请在装配图网上搜索。

1、主数据管理和实施简介：企业主数据是用来描述企业核心业务实体的数据，比方客户、合作伙伴、员工、产品、物料单、账户等；它是具有高业务价值的、可以在企业跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。本文将针对主数据管理的概念以及主数据管理解决案的实施等面跟大家作一个探讨。刖百企业主数据是用来描述企业核心业务实体的数据，比方客户、合作伙伴、员工、产品、物料单、账户等；它是具有高业务价值的、可以在企业跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。本文将针对主数据管理的概念以及主数据管理解决案的实施等面跟大家 作一个探讨。主数据和主数据管理的概念企业主数据可以包括很

2、多面，除了常见的客户主数据之外，不同行业的客户还可能拥有其他各种类型的主数据，例如：对于电信行业客户而言，电信运营商提供的各种效劳可以形成其产品主数据；对于航空业客户而言， 航线、航班是其企业主数据的一种。对于某一个企业的不同业务部门，其主数据也不同，例如市场销售部门关心客户信息，产品研发部门关心产品编号、产品分类等产品信息，人事部门关心员工机构，部门层次关系等信息。数据管理的畴和主数据管理的概念交易数据j 主数据主数据 关系数据图1.数据管理的畴5如下图，企业数据管理的容及畴通常包括交易数据、主数据以及元数据。?交易数据：用于纪录业务事件，如客户的订单，投诉记录，客服申请等，它往往用于描述在

3、某一个时间点上业务系统发生的行为。?主数据：主数据那么定义企业核心业务对象，如客户、产品、地址等，与交易流水信息不同，主数据一旦被记录到数据库中，需要经常对其进展维护，从而确保其时效性和准确性;主数据还包括关系数据，用以描述主数据之间的关系，如客户与产品的关系、产品与地域的关系、客户与客户的关系、产品与产品的关系等。?元数据：即关于数据的数据，用以描述数据类型、数据定义、约束、数据关系、数据 所处的系统等信息。主数据管理是指一整套的用于生成和维护企业主数据的规、技术和案，以保证主数据的完整性、一致性和准确性 ( “The set of disciplines, technologies, an

4、d solutions used to create and maintain consistent, plete, contextual and accurate business data for all stakeholders (users, applications, data warehouses, processes, panies, trading partners, customers, etc.) across and beyond the enterprise )。主数据管理的典型应用有Customer Data Integration 一客户数据管理和 Product

5、Information Integraiton 产品数据管理。图2.主 数 据 管 理 的 信 息 流一般来说，主数据管理系统从IT建立的角度而言都会是一个相对复杂的系统，它往往会和企业数据仓库/决策支持系统以及企业的各个业务系统发生关系，技术实现上也会涉及到ETL、EAI、EII等多个面，如图 2所示，一个典型的主数据管理的信息流为：某个业务系统触发对企业主数据的改动；主数据管理系统将整合之后完整、准确的主数据分发给所有有关的应用系统; 主数据管理系统为决策支持和数据仓库系统提供准确的数据源。因此对于主数据管理系统的建立，要从建立初期就考虑整体的平台框架和技术实现。以客户主数据为例，常见的主

6、数据域包括：? Party :参与。参与包含的围是所有与企业发生了或者发生过正式业务关系的任合法的实体，比方填写了投彳单的参与。Party是分类别的，可以是个人、机构和团体。对于 Party来说，因为开展业务的需要，可能要对他们进展分级、分类，比方VIP,黑等。个人包括个人根本属性、个人名称、职业、性别、教育等自然属性；机构是指在法律上有登记的组织实 体，可以分为政府机构、商业机构、非盈利机构等类别；团体可以有多种形态，比方他们可 以是家庭、兴趣小组、某个大机构中的一局部，或者通过某种数据分析技术得出的客户细分 群体。? Party Role：参与在业务中扮演的角色。例如，对于保险行业而言，可

7、以有：投保人， 被保人，受益人，担保人，报案人，核保人，查勘员，核赔人等。? Relationship : Party与Party之间的关系，例如可以是：夫妻关系、父子关系、母女 关系、兄弟姐妹关系、总 （母）公司分（子）公司关系、企业事业单位隶属、上下级关 系等。? Account : XX是客户使用企业效劳的付费实体。? Location : Location记录的是每个 Party可能拥有的所有 ，地址的类别包括邮寄地址、email地址、电信联络地址等。? Contract : Party与企业之间的契约主数据有几个鲜明的特点，其中包括：它是准确的、集成的，其次它是跨业务部门的，再有就是

8、 它是在各个业务部门被重复使用的。主数据管理的意义3. 主 数 据 管 理 的 要 素图如图3所示：集成、共享、数据质量、数据治理是主数据管理的四大要素，主数据管理要做的就是从企业的多个业务系统中整合最核心的、最需要共享的数据主数据，集中进展数据的清洗和丰富，并且以效劳的式把统一的、完整的、准确的、具有权威性的主数据分发给全企业围需要使用这些数据的操作型应用和分析型应用，包括各个业务系统、业务流程和决策支持系统等。主数据管理使得企业能够集中化管理数据，在分散的系统间保证主数据的一致性，改良数据合规性、快速部署新应用、充分了解客户、加速推出新产品的速度。从IT建立的角度，主数据管理可以增强IT构

9、造的灵活性，构建覆盖整个企业围的数据管理根底和相应规，并且更灵活地适应企业业务需求的变化。以客户主数据为例， 客户主数据是目前企业级客户普遍面临的一个问题，在大多数企业中， 客户信息通常分散于 CRM等各个业务系统中，而每个业务系统中都只有客户信息的片断，即不完 整的客户信息，但却缺乏企业级的完整、统一的单一客户视图，结果导致企业不能完全了解客户， 无法协调统一的市场行为，导致客户满意度下降，市场份额减少。因此，建立客户主数据系统的目的在于：? 整合并存储所有业务系统和渠道的客户及潜在客户的信息：一面从相关系统中抽取客户 信息，并完成客户信息的清洗和整合工作，建立企业级的客户统一视图；另一面，

10、客户主数 据管理系统将形成的统一客户信息以播送的形式同步到其他各个系统，从而确保客户信息的一致；? 为相关的应用系统提供联机交易支持，提供客户信息的唯一访问入口点，为所有应用系 统提供及时和全面的客户信息；效劳于OCRM 系统，充分利用数据的价值，在所有客户接触点上提供更多具有附加价值的效劳；? 实现 SOA 的体系构造：建立客户主数据系统之前，数据被锁定在每一个应用系统和流程中，建立主数据管理系统之后，数据从应用系统中被释放出来，并且被处理成为一组可重用的效劳，被各个应用系统调用。主数据管理系统与数据仓库系统的关系主数据管理系统与数据仓库系统是相辅相成的两个系统，但二者绝不是重复的，也不是互

11、斥的。 它们有很多共同之处：? 首先二者对企业都具有一样的价值，可以减少数据冗余和不一致性、提升对数据的洞察力，二者都是跨部门的集中式系统；? 其次二者都依赖很多一样的技术手段，都会涉及到 ETL 技术、都需要元数据管理、都 强调数据质量；? 第三就是二者建立手段类似，都需要数据治理的规作为指导、都需要不同系统、不同部门的协作、需要统一的平安策略。但是，主数据管理系统和数据仓库/ 决策支持系统二者之间也存在很多不同：? 处理类型不同： 主数据管理(MDM) 系统是偏交易型的系统， 它为各个业务系统提供联机交易效劳，系统的效劳对象是呼叫中心、 B2C 、 CRM 等业务系统；而数据仓库是属于分析

12、型的系统，面向的是分析型的应用，是在大量历史交易数据的根底上进展多维分析，系统的使用对象是各层领导和业务分析、市场销售预测人员等；? 实时性不同：与传统的数据仓库案的批量ETL 式不同，主数据管理系统在数据初始加载阶段要使用ETL ，但在后续运行中要大量依赖实时整合的式来进展主数据的集成和同步；? 数据量不同：数据仓库存储的是大量的历史数据和各个维度的汇总数据，可能会是海量的，而 MDM 存储的仅仅是客户和产品等信息。虽然主数据管理系统和数据仓库系统异同共存， 但是二者却有着严密的联系， 并且可以互为促进、互为补充。举例而言，数据仓库系统的分析结果可以作为衍生数据输入到 MDM 系统，从而使M

13、DM 系统能够更好地为操作型CRM 系统效劳。以航空公司为例，客户的主数据模型大致可以分为三局部：首先包括客户根本信息和偏好信息。? 客户根本信息：o 个人及公司信息o 消费者市场状况o 常旅客会员卡号，状态，及累计里程等o 客户间关系 ( 个体 - 个体，个体 - 公司 )o ，包括，电子等? 客户偏好信息：o 餐食偏好o 是否吸烟o 座位偏好o 机型偏好o 公务舱位偏好o 旅行舱位偏好o 休息室效劳偏好除了这两局部之外， 我们还可以从数据仓库系统中提取相关的信息， 作为客户主数据的衍生信息局部，从而更好地、全位地描述客户特征，这些可以包括：? 衍生信息：o 本月飞行里程o 年度飞行里程最近

14、12 个月o 提前预订倾向o 习惯预订模式o 使用自主效劳倾向o 上次预订使用的信用卡号o 累计 / 本月转签 / 取消航班次数o 转签航班倾向 o 取消航班倾向 o No Show 倾向等。主数据管理系统和 ODS 的关系在某些情况下，主数据管理系统和 ODS 系统可能容易被混淆，确实，从实时上来看，主数据管理系统和 ODS 系统存储的都是实时数据， 但是二者存储的数据容是全然不同的， 主数据管理系统中不存储交易数据， 比方银行客户的交易流水信息是不应该放在主数据管理系统中进展管理的，这与MDM 与 ODS 的一个很大区别。举一个航空公司的例子，比方某个客户在电子商务上定了一机票，产生一个订

15、单，然后他又通过呼叫中心要求改签， 这个场景中， 两个系统之间要实现客户信息和订单信息的共享，其中客户信息共享通过MDM 系统来实现，而订单信息那么需要采用 ODS 或其它手段进展共享，我们是不推荐把此类信息交由 MDM 系统来管理 的。回页首主数据管理解决案介绍目前业界比拟常见的主数据管理解决案主要可以分为三类：? 第一是依托专业套装软件来实现主数据管理，这类案是作为套装软件的一局部，主要是为套装软件的其它模块提供效劳的，因此，通常功能都缺乏完善性。? 还有一类是侧重于分析型应用的主数据管理，这类案在数据实时同步以及面向交易型应用时通常缺乏整体案的完整性。? 再有一类就是专注于主数据管理的中

16、立的、 完整的解决案， 这一类应用独立于套装软件，不仅具有整体架构的完整性和先进性，从功能上讲往往也最为完善， 除了具有比拟完整的数据模型 (Data Model) 之外，还会提供广泛的集成性，具备先进的机制实现数据同步，并且可以对外提供多种预置的主数据效劳被外部交易系统调用， 从而使系统具有很强的实时操作性，同时还强调主数据管理、主数据质量控制以及主数据维护的手段和规性。企业主数据管理系统逻辑架构一个完整的主数据管理解决案的逻辑架构应如下列图所示：图4. 主 数 据 管 理 系 统 逻 辑 架 构SrteENlParticipantsBrtsrrisl ElataProudersPartci

17、panteChcreorgphyLudfBvteh ETLLQB g%Partner5皿；j| 即 Qf Eeqmqn Seruics证, F&ii. Connecthnty and trfteroperabiliiyrra-nfijor 1 Sals a ihfiSjwrfcmwtwJl-M-WrfwcLOB 5印noneSelf ServiDechvsba Harfrw h !n,13F1金人最讥1二显_1f -Content*：M ana gsmant iServices二： 二%Unst ruriu rnCkh力，一U-IK-EIFwuraiwJData Qualityaster D

18、ata.Mnst w口前m 丁性11M口1111. j1 一月najrnentIILILrEfimJ 修 .工lUf*oy ol* Man agtjiTKnt场景1：初始数据加载：源数据从外部业务系统及EDW系统过批处理式拷贝到磁带；数据被加载到 Staging DB ,进展数据质量分析；Data Quality Management Services对数据进展清洗、匹配、标准化等；ETL Transform and Load services对合格数据进展转换并准备好加载数据；Master Data Interface Services 接收批处理更新请求，调用 Lifecycle Mana

19、gement Update Service进展数据的批量更新；Lifecycle Management Update Service 调用 Hierarchy & Relationship Management Services和 Base Services更新主数据库。图6.场景 2- 主数据库更新，然后同步到各业务系统Ml fvq merit 1皿匕场景2:主数据库更新，然后同步到各业务系统某业务系统发起一个创立主数据的交易，该业务系统将交易数据以消息的形式发送到消 息队列；MDM Interface Services捕获该消息，进展消息解析，并调用 Security and Privac

20、y Services进展权限验证；MDM Interface Services 调用 Lifecycle Mgmt. Update Service ；Lifecycle Mgmt. Update Service 再调用 Data Quality Management Services 进展数据 的清洗和标准化；Update Service 调用Search Services发现该主数据已经存在，确认这是对已有主数据的更新操作；Update Service通过调用外部系统对数据进展扩大；Update Service 在更新主数据库之前调用Event Management Services ；Ev

21、ent Management Services确认是否需要涉及数据管控面的处理；Update Service 调用 Hierarchy & Relationship Management Services并且更新主数据库；Audit Logging Services 纪录相应交易日志和历史数据；MDM Lifecycle Management Service 调用 MDM Interface Services 返回更新处理请 求；源业务系统接收到处理请求之后，利用MDM 系统发回来的数据对本地的应用系统数据库进展更新操作；其他所有需要主动被更新的相关的业务系统都会接收到更新后的最新数据。回页首

22、IBM主数据管理解决案IBM 的主数据管理解决案InfoSphere Master Data Management 是 旧M 信息管理大家族的一员。图7.旧MInfoSphere MDM Server 产 品 构 成IBM Master Data Management Server口vtiii tjoverrancRulas of y abilityIntecrityMdetains slne reccrd如上图所示， 旧M MDM Server 包含：? Knowledge（知识层）：知识层包括当事 （人员和组织 卜角色、地址位置、当事人属性 统计学信息、关系、财务简档、多渠道集成、协议和产

23、品、事件等。Action 交互层：MDM Server本身就是按照 SOA的体系构造设计的，它提供 700多个开 箱既有的效劳接口，这些效劳可划分为多个主题围，如下列图所示： 图 8. MDM Server Business Services 其中主要包括： o 当事人口统计学效劳： o 角色：一个当事可以扮演一个或多个角色，如XX角色效劳用于管理当事在一个或多个XX中扮演的多个角色，折扣或索赔角色效劳用于维护当事在一个或 多个折扣或索赔中扮演的角色的信息。o 关系效劳：维护当事对当事关系，当事对当事关系不仅可以存在于两个独立的当事之间（例如甲和乙是配偶 ），也可以存在于双在某个XX中扮演的角

24、色围之（例如甲是乙遗嘱的执行人）。o 位置效劳：维护关于位置的数据，如地址和联系式。o 客户效劳和销售效劳：包含管理多渠道集成所需要的客户效劳与销售信息的 综合业务效劳。例如：隐私效劳用于维护数据管理与请求的默认隐私偏好以及 客户声明的隐私偏好；偏好效劳用于管理复杂的客户效劳偏好（比方，特定联系法和特定产品的联系偏好）。o 协议和产品效劳：XX或合同效劳用于维护某个 XX或合同的详细信息，这 里合同定义为一个或多个当事与公司的合法协议。o 数据维护效劳：MDM Server提供重复嫌疑管理效劳，进展当事记录的合并等。o 当事财务简档：比方收入来源信息、财务 XX信息等。o 当事识别效劳：为每个

25、客户记录创立一个唯一客户ID,并且维护对其它系统的穿插引用。o 历史纪录和审核效劳：包含检索对象的历史审核数据的效劳。? Integrity（完整性层）：完整性效劳用于管理数据质量和维护客户数据的单一版本，包括疑似处理、重复处理、数据检查、标准化等。? Intellegence(智能层)：包括事件管理、业务处理规那么、数据平安性。? Data Governance(数据管控层)：管理数据实体间的关系(Relationship),分组(Group),层次(Hierarchy),以及数据生命期等。?Service Inteface(接口层)：MDM Server 支持多个实时和批处理接口，其中实时

26、接口包括 XML 接口、Web Services 接口、消息接口、 Java 对象接口、 COBOL 和 CICS 接口等。 此外，还支持用户自定义接口。使用旧M全套解决案的主数据管理案例以下是一个使用全套旧M软件解决案的案例，这是一个典型的客户主数据管理的应用场景，其中使用的产品包括： WebSphere Portal Server , WebSphere MDM Server , WebSphere Enterprise Services Bus, WebSphere QualityStage, DB2 等。图9.主 数 据 管 理 应 用 案 例LMUqls.二0二,|2二口 W随丽艮网

27、M的I而力一iTTflI HJU：吸降：I Pra fewer*w；ru-aiifl tirvif周3 修W (1时q腑守ikfgi Pad即新FIf证而冷n；1l .H ?, . r. a, u图9描述了一个主数据管理应用的端到端流程:业务系统通过自己的用户界面创立一个新的用户，并且把数据写入了其应用系统数据库 1该业务系统向 MQ发送一条XML消息；消息中包含了客户根本信息和策略信息；MDM Server 接收到该 MQ 消息，对此消息进展处理；MDM Server 通过与 QualityStage 的接口调用 WebSphere QualityStage的效劳，进展客户XX和联系式的清洗

28、和标准化；WebSphere QualityStage 对客户XX和联系式的清洗和标准化；WebSphere QualityStage 返回标准化了的客户数据；MDM Server接收到标准化了的客户XX和地址，查询主数据库获取候选XX,调用QualityStage 的疑似匹配效劳；QualityStage进展疑似处理；QualityStage将打分结果返回给MDM Server ,结果说明这是一个新客户；MDM Server向某外部系统发出Web Services请求，进展数据扩大；外部系统将结果返回MDM Server ；MDM Server 分配一个唯一的PartyID ,并且将客户主数

29、据写入MDM Server DB ；根据客户 Profile , MDM Server 发现该客户是新推出的一项新业务的目标客户；MDM Server 向 MQ 产生一条 XML/JMS 消息；WebSphere ESB接收到XML消息并且将其转换为市场促销系统所需要的消息格式；市场促销系统接收到该消息，进展相应的业务处理；MDM Server 产生XML交易响应信息给源业务系统；源业务系统接收到响应信息，对其应用系统数据库进展更新；MDM Server又产生一个关于该新增客户的完整信息，并且发送到MQ ,利用MQ 的Pub/Sub机制将数据通知到各个相关的业务系统；各个业务系统接收到新增的客

30、户信息，并且更新自身的应用系统数据库。回页首客户主数据系统实施法论客户主数据工程的本质是一个系统间针对客户信息的整合工程,实施、双向同步、多渠道访问、全企业采用等4个阶段,根据以往的经历, 如下列图所示：大致分成根底10.基础实施双向同步学渠道访问全企业采纳根底实力阶段：? 安装MDM ,实现 ECIF的根底架构? 完成主数据建模? MDM 初始数据加载：根据期望的实施法和策略，将数据从各个业务系统中抽取出来，经过清洗、转换、标准化之后加载到主数据存储库中，在这个阶段主要用到的是ETL的相关技术和工具。? 使MDM 的700多个业务效劳能被其他系统实时连接和使用。根底实施阶段为客户数据集成搭建

31、了根底框架，为企业提供了转向以客户为中心的能力和价值。后续的阶段主要是在此根底上推动全企业更多的应用和系统来使用这些价值，带来更多的业务增长。所以第一阶段的根底实施对企业来说是至关重要的，也是客户主数据管理工程能否带来业务价值的关键。双向同步阶段：? 通过实时或批处理式，帮助逐步实现业务系统和MDM 系统的双向数据更新和同步。这个阶段阶段主要用到的是EAI/SOA的相关技术和工具? 多渠道访问阶段? 整合WCC与已有的渠道或新的前台系统，实现多渠道访问。? 添加新的客户数据属性和客户为中心的业务流程。全企业采用阶段：? MDM 成为企业唯一的记录客户信息的来源，促进对客户的洞察力和了解。? 促

32、进全企业整合，支持端到端的业务流程。回页首小结本文首先系统地介绍了主数据管理的概念，主数据管理系统和数据仓库、ODS操作型数据存储之间的区别，并且结合航空公司的需求，给出了航空业客户主数据的简单模型；在理解了主数据管理的根本概念之后，给出了主数据管理解决案的逻辑框架以及旧M的主数据管理解决案；最后跟大家分享了主数据管理工程实施的路径和法。参考资料学习Information Management 的知识。? Information Management 专区: 在这里可以学到更多关于还可以找到技术文档、how-to文章、培训、下载、产品信息等。? 如需了解有关 IBM Master Data M

33、anagement 和 IBM InfoSphere Master Data Management Server的更多信息 请访问 InfoSphere 产品专题或者访问 InfoSphere Master Data Management Server产品?通过 EM InfoSphere Master Data Management Server商业价值概述,了解 MDM 商业价值的详细信息。?通过 IBM InfoSphere Master Data Management Server技术概述,了解 MDM 技术特性等详细信息。?通过 MDM for Operations and Anal

34、ytics , 了解 MDM Operations和 Analytics 的详细信息。?通过 Justifying and Implementing Master Data Management , 了 解 MDM Justifying 和Implementing 的详细信息。?通过 Master Data Management and Customer Data Integration 、 了解主数据和客户数据集成的详细信息。?通过MDM Server 信息中心,了解MDM 的详细信息。?通过 EM 红皮书：Rapid Deployment Package for MDM , 了解 MDM

35、快速部署的详细信息。? 随时关注developerWorks 技术活动和网络播送。?技术书店：浏览关于这些主题和其他技术主题的图书。获得产品和技术?用可直接从 developerWorks 下载的旧M试用软件构建您的下一个开发工程。讨论?参与 developerWorks blogs 并参加 developerWorks 社区。关于作者娄丽军，旧M公司软件架构师，1998年参加 旧M公司软件部，多年来一直从事旧M通讯及业务整合中间件(WebSphere Business Integration 家族)产品的技术支持工作，是软件部从事该领域技术支持时间最长 的工程师之一，拥有 WebSphere Business Integration 相关的产品经历，这些产品包括WebSphere MQ 家族的所有产品：MQSeries , MQ Integrator , MQ Workflow 以及 CrossWorlds 等，并具有很多大型工程的支持经历，曾参与税务总局，人民银行清算系统、华夏银行电子联行系统、中国联通计费系统、海关与 税务总局互连系统，以及公安部、铁道部、实业银行、电信等重要客户的有关工程的技术支持。