智慧物业方案

《智慧物业方案》由会员分享，可在线阅读，更多相关《智慧物业方案（111页珍藏版）》请在装配图网上搜索。

1、湖南省物业服务行业移动信息综合系统建 设 方 案长沙协辉房地产咨询有限公司2015年3月26日105目 录一、建设背景1(一)现状与问题1(二)需求分析11、总体需求12、服务对象分析33、运行支撑环境分析34、系统功能分析=5(三)必要性与可行性分析=5二、项目概况6(一)建设目标61、一个数据中心62、一个服务平台63、三个移动应用APP64、一系列标准规范7(二)建设原则71、顶层规划，协同推进72、应用导向，创新驱动83、制定标准，安全发展9(三)建设内容=9三、总体设计方案10(一)指导思想10(二)设计原则10(三)技术路线111、遵循国家标准扩展完善形成一套标准规范体系112、基

2、于数据仓库技术实现数据的管理113、采用SOA技术搭建数据服务网114、采用先进的云平台技术架构建设运行支撑环境12(四)架构设计121、总体架构=122、技术架构=123、数据架构134、典型部署架构=14(五)应用模式=141、概述142、工具应用模式14(六)安全与性能141、云平台基础设施142、智慧服务平台153、数据库操作系统=154、移动应用APP15(七)技术标准规范体系建设151、数据服务标准建设152、管理运行机制建设16(八)关键技术及创新171、关键技术172、创新点=19四、物业联盟数据中心建设方案20(一)数据准备201、数据收集202、数据整理20(二)数据中心结

3、构设计231、体系结构设计=232、逻辑模型设计=253、物理模型设计=26(三)数据入库261、入库流程262、数据提取273、数据质检284、数据清洗295、挖掘分析29(四)数据库更新=30(五)数据备份与恢复301、达梦数据库备份与恢复策略312、其他商用DBMS的备份与恢复策略35(六)数据访问接口371、数据采集接口372、服务访问接口38(七)相关工具401、数据融合工具402、挖掘分析工具=45五、物业智慧服务平台建设方案46(一)平台总体框架=46(二)智慧物业门户网471、物业企业信用472、物业服务483、增值服务484、周边商户485、团购活动486、用户注册48(三)

4、运营管理系统481、资源目录服务492、资源运营管理493、系统设置50(四)服务管理系统501、数据源管理502、服务发布与管理513、服务监控管理514、数据共享服务525、数据交换服务526、日志管理52六、物业智能移动终端建设方案54(一)概述=54(二)物业居民APP54(三)物业服务APP55(四)物业商户APP55(五)微信开发55七、软硬件支撑软件选型方案56(一)云平台=56(二)数据库系统56(三)应用中间件64八、项目管理与组织实施方案84(一)组织机构84(二)公司人员投入85(三)人力资源管理方案90(四)风险管理方案91(五)沟通管理方案92(六)进度计划=94(七

5、)进度管理方案=94九、培训与质保方案95(一)培训方案951、培训方法952、培训内容973、反馈与跟踪98(二)质保方案981、故障响应982、应急处理方案100湖南省物业服务行业移动信息综合系统 建设方案一、 建设背景(一) 现状与问题上世纪80年代以来至今，物业服务在我国已历经了30多年的发展，深入到社会的各个阶层。目前，发达地区如深圳、北京等地的物业服务行业正谋求着行业转型，催生出多业并举、物业联盟电子商务等多种形式，而其他绝大部分省市的物业服务行业，还仅仅停留在以收取物业服务费为主业的原始模式。物业服务企业与业主之间的联系紧密度、信任度，有着其他行业无可比拟的优势，一方面，业主的绝

6、大部分需求，都可以转化为物业企业的经营方向，另一方面，物业服务的行业优势和抱残守缺的经营模式，势必引来资本的觊觎。同时，物业企业提供的服务质量参差不齐，与业主纠纷不断的现象也相当普遍，这些都日益成为制约物业服务行业发展的关键性因素。(二) 需求分析1、 总体需求全国正在火热发展的智慧城市，需要各个智慧行业的支撑，更需要基于民生服务的智慧社区的大力发展。物业服务行业移动信息综合系统正是智慧物业的实现。“智慧物业”正是推动社会转型、政府管理转型、民生服务升级，构筑“智慧城市”建设的基础。1) 节约型社会转型，构建“绿色”云平台物业信息资源共享是构建节约型社会的需要，能带来良好的经济效益。首先，信息

7、资源共享能实现公共数据的统一采集、统一加工、统一维护和共同使用，从而能降低信息资源重复采集、重复存放等带来的成本；其次，同一数据的单次采集，共同使用使得由于数据不一致带来的管理漏洞所造成的损失减少；最后，信息资源共享能带动信息基础设施、信息系统的整合，构建“绿色”云平台，使得服务器等设备通过云化后，具备可伸缩、按需分配的资源平台，从而节约社会资源。2) 民生服务升级，提供“一站式”服务物业信息资源共享是市民提供一体化电子服务的需要，信息资源共享能带来良好的社会效益。智慧物业的重要目标之一就是为市民提供“一站式”的电子服务。信息资源共享能够为建立“一体化”的民生服务打下坚实的基础，以为市民提供便

8、捷、优质、无缝隙的各种服务，从而有效地提高为市民服务的办事效率。3) 知识挖掘与应用，构筑“智慧物业”基础物业信息资源共享是行业协助政府正确决策、整体规划的需要，能有效提高政府的决策水平。首先，信息资源共享能为政府做出快速、有效的决策提供充分的、集成的信息储备；其次，信息资源共享能为政府决策支持系统的建立提供基础框架，为知识挖掘和知识管理打下坚实基础。2、 服务对象分析系统的用户分三类：居民、物业服务单位、商户。1) 居民居民是系统的主要服务对象，是提升民生服务的主要对象。居民可通过系统提供的智慧服务平台，提出各种服务请求，享受各种信息化服务、以及线上到线下的服务。2) 物业服务单位包括全省的

9、物业服务单位。是通过平台为居民用户提供各种服务的主要对象。物业服务单位的信用信息通过平台发布，接收居民用户的监督。物业服务单位可单独为各自服务的社区提供服务，也可通过物业联盟组合共同为跨区域的社区提供更大范围的服务。3) 商户商户包括各社区周围的商户，以及其他商户。含购物、美食、文化、休闲、教育、银行以及其他生活服务等类型。周边商户的商品及服务信息通过平台发布，服务的质量接受居民以及物业服务单位的评价与监督。远处大型商户可由物业联盟组织团购等活动，为居民提供服务。3、 运行支撑环境分析要求基于当前成熟技术，搭建稳定可靠安全的外网云平台。应用环境将由公司提供，运行基础由硬件服务器和虚拟化软件构成

10、。同时，至关重要的是要保证数据的安全性，要积极采取各种技术手段，一方面注重数据加载的安全性能检测，另一方面保证平台的正常运转。外网云平台应并建立完备的安全管理措施，具备漏洞扫描、入侵检测、数据包过滤、防病毒、病毒查杀、身份认证、数据加密和主机监控等能力。同时，具备典型应用所需要的物联感知设备以及实时接入的网络条件，并建立完备的安全管理措施，具有基于认证的身份管理、基于权限的用户管理、基于角色的功能管理。除防火墙、网关、监控等常规安全设施以外，应在公有环境和私有环境之间布设通过国家安全认证的单向网闸，确保信息安全。服务器设备能够支持海量信息存储，预留扩展空间，运行稳健、安全可靠。存储备份设备具有

11、数据的安全高效存储备份能力，并预留扩展空间。外围设备根据需要配置刻盘机、磁带机等，应满足数据输入和成果输出的要求。软件环境根据需要配置高可信操作系统、成熟稳定的各种软件。外网云平台运行在复杂的网络环境上，对网络结构安全、访问控制、安全审计、边界完整性检查、入侵防范、恶意代码防范、网络设备防护，按照国家有关安全保密的标准、法律法规和文件精神要求，采用分域分级防护策略，从物理安全、运行安全、信息安全保密和安全管理四个层面进行计算机信息系统分级保护和等级保护建设，实现全网统一的安全保密监控与管理。4、 系统功能分析=系统要求能够满足以上用户对于智慧物业线上线下服务的需要。1) 信用、商品、服务数据管

12、理与更新要求能够对物业服务企业及从业人员的信用数据公开发布并及时更新，能对周围商户的商品及服务公开发布并定时更新。并能如实公开发布居民用户对物业服务单位及商户服务的评价。2) 商品、服务的元数据与目录管理要求建立目录和元数据为用户提供快速查询、数据导航等服务。元数据与目录服务应支持ISO相关标准，支持数据集名称、数据集介绍、链接、发布单位、数据集信息（类目、关键词/标签、唯一标识码）、创建时间、发布时间、更新频率、范围（时间与地理）、数据历史等信息的管理、发现和访问。要求能够按照数据公开资源标准体系组织数据资源服务，并且能够查找特定数据的各种描述信息，服务提供者、发布时间、数据范围、精度、生产

13、时间等。(三) 必要性与可行性分析=。二、 项目概况(一) 建设目标“湖南省物业服务行业移动信息综合系统”是依据湖南省信用信息管理办法（省政府令第202号）要求，以全省物业服务行业企业及其执（从）业人员的日常信息为基础，通过网络与移动终端相结合，进行信用信息申报、征集、评价、披露和使用，开展行业自律，以达到守信激励、失信惩戒的目的，并对物业服务项目前期招（投）标、人才信息进行资源共享、物业服务企业内部管理实现信息化的，覆盖全省3000多家物业服务企业、10000多个物业服务项目、数千万业主及20多万名物业服务人员的行业综合信用信息系统。1、 一个数据中心涵盖全省3000多家物业服务单位、20多

14、万名物业服务人员、10000多个物业服务项目、以及项目周围各类商户（购物、美食、教育、休闲、医疗、金融等）的服务内容。2、 一个服务平台以资源目录的方式展现数据中心的信息、数据，为各类用户提供统一的访问入口。3、 三个移动应用APP为居民、物业服务单位、商户分别提供可随时随地访问服务平台的移动入口。4、 一系列标准规范包括数据标准、服务标准，以及数据采集、系统安全运营的各种管理规范。(二) 建设原则湖南省物业服务行业移动信息综合系统的发展，需要从客观实际出发，适应湖南省改革开放和经济社会发展的需求，转变行业管理职能，提高服务效果与效率。1、 顶层规划，协同推进系统建设必须在省房地产业协会及主管

15、部门的指导下制定总体发展规划、进行统一的安排部署，避免建设的重复性和盲目性。充分发挥主管部门、协会、公司的能动性和积极性，分类指导、分层实施，有条不紊地推进。系统建设将秉承先实施后推进原则，在目前各物业服务企业信息公开的基础上先行组建，后期以供给与需求即商户和居民两个角度为核心，既要求对各商户的商品、服务信息公开程度进行持续地跟踪，同时要求广泛搜集居民需求以提升数据使用效率。在推进力度上，按照全面兼顾、重点优先原则进行处理，针对有良好的数据开放基础和广泛用户需求的要进行重点优先实施，并建立数据开放示范点，以发挥模范带动作用。2、 应用导向，创新驱动系统建设要与服务职能转变紧密联系起来，以居民的

16、要求为内容，以市场需求为导向，加强信用及商户数据开放，不断探索创新商业模式，培育和挖掘满足市场特性的新业态、新模式，支撑和促进经济社会发展。做好用户需求调研，采取技术手段提升用户的感观体验、交互体验和情感体验。要以用户为中心，置身用户应用环境的变化，通过研发人员与用户的互动挖掘需求，通过用户参与创意提出到技术研发与验证的全过程，发现用户的现实与潜在需求，通过各种创新的技术与产品，推动科技创新。建立用户参与机制，坚持以人为本和以用户为中心，遵循分享、定制、交流和个性化等原则。用户通过分享机制可将网络链接共享到相应的社会网络社区，从而不仅扩展资源利用的用户群，也扩大了智慧物业平台的知名度和影响力。

17、用户通过关键词兴趣订阅、热门关注等个性化数据定制来加深用户对网站的品牌黏性。交流互动机制一般来说包括两个方面： 一是用户之间的交流与互动，如用户评论和打分； 二是用户与机构、平台之间的交流与互动，平台、机构可以在网站上发布数据或调查获取公众反馈和建议，用户可以通过交流模块提出需求和建议。建立创新应用审核机制，结合用户需求，适当引导应用创新发展方向，并制定出相应的政策来提升居民、商户的参与积极性，如定期不定期开展应用大奖活动等。3、 制定标准，安全发展制定统一的数据标准规范，并大力推进标准规范的贯彻和落实。建立适合地区经济发展的地方性元数据规范体系，惟有建立好元数据规范体系，才能够使平台运行具备

18、通用语言。元数据规范体系应包括元数据标准库建设和各数据集使用规范，新增数据集要严格按照元数据规范体系执行。要明确各数据集的使用规范，如各数据集除了数据本身之外还包括指标解释、监测方法、计算方法等，便于用户理解和利用。正确处理好发展与信息安全之间的关系，综合平衡建设成本和效益，达到建设网络与信息安全同步进行，建立并完善相关的信息安全保障体系。信息安全保障体系的建设，必须科学的规划，以用户身份认证为基础，信息安全保密为核心，网络边界保护和信息安全管理为辅助，建立全面有机的安全整体，从而建立真正有效的、能够为信息化建设提供安全保障的平台。(三) 建设内容=。三、 总体设计方案(一) 指导思想以科学发

19、展观为指导，以科技创新为支撑，围绕增强行业服务能力、挖掘信息消费潜力，提高信息资源产业的社会效益和经济效益，建立促进信息消费持续稳定增长的长效机制，完善信息资源开发利用的保障环境，推动信息资源的优化配置，为经济平稳较快发展和民生改善发挥更大作用。(二) 设计原则（1）统筹协调。分类指导，分步推进，按照全省统一的标准规范，开展数据采集、整理等工作，做到数据更新及时、质量可靠、可用性强，促进不同区域的信息资源开发利用工作协调发展，提高应用效益。（2）需求导向。重视解决实际问题，主动对接商户和居民的迫切需求，重点处理对改善民生、促进产业发展具有显著成效的信息资源，以利用促开发，逐步提高开放的广度和深

20、度，实现社会效益和经济效益的统一。（3）开放创新。坚持观念创新、制度创新、管理创新和技术创新，建立健全的标准和管理体系，引导和鼓励各类商户对信息资源进行增值加工。（4）确保安全。正确处理加快建设与保障安全的关系，建立健全信息安全保障体系，综合运用法律、经济和技术手段，确保工作安全运行，维护国家安全和社会稳定。(三) 技术路线1、 遵循国家标准扩展完善形成一套标准规范体系在遵照国家标准、部门标准、行业标准、地方标准等相关标准的前提下，采用直接引用和自行制定相结合的办法提供一套符合湖南省智慧物业项目建设实际情况的标准、规范和切实可行的管理办法，用以保障顺利建设，得以持续发展打下基础。2、 基于数据

21、仓库技术实现数据的管理采用数据仓库、数据整合、联机分析、数据挖掘等大数据核心技术，整合集中各单位日常产生的各种类型的数据，以数据仓库为数据集中的载体，利用在线数据分析、数理统计、快速、高效和灵活的查询、报表等技术和方法为用户提供全方位应用。 3、 采用SOA技术搭建数据服务网门户采用基于SOA和J2EE体系设计理念，便于实现跨平台与互操作，利用Web Services方法实现一种松散耦合的异构式环境的集成，构建面向服务的、融共享服务提供方、使用方和管理方为一体的门户网站框架体系结构，实现基于统一注册的服务组织模式与运行管理机制。4、 采用先进的云平台技术架构建设运行支撑环境建立基础架构虚拟化与

22、对应管理平台，向上利用云平台提供Iaas服务。利用当前云计算技术部署整体系统，采用“分期投入，逐步扩展，保证平台应用的完整性和硬件投资的有效性”原则，建立基于云平台的运行支持环境，包括网络软硬件设备、支撑软件和安全保障体系。采用互联网、移动互联网云端一体化的网络技术、统一通信技术和云计算技术，将离散在各单位、商户的公开信息资源通过门户网站平台整合为统一的物业服务资源云，可以更有效地实现“云模式”下的一体化行业服务能力。(四) 架构设计1、 总体架构=湖南省物业服务行业移动信息综合系统的研发主要包括三部分：物业联盟数据中心、物业智慧服务平台、物业智能移动终端。外部数据是为系统提供数据支撑的，数据

23、融合工具是将外部数据融合到物业联盟数据中心的集成工具。总体架构图如下：。2、 技术架构=3、 数据架构数据中心涉及数据量庞大、数据种类多、多时态并存。根据数据来源和数据结构特性，数据中心的核心框架由3部分组成：ODS、数据仓库（DW）、数据集市（DM），在核心框架的支撑下，分不同类型、主题建设，有利于数据的使用与维护更新。数据架构图如下：物业联盟数据中心以元数据为基础统一构建，以数据仓库为存贮主体，以数据集市为服务出口。数据来源于数据融合工具对外部数据的融合，经过清洗、整理，为物业智慧服务平台提供所需的数据。ODS是数据进入仓库前的一个临时存贮区域。4、 典型部署架构=(五) 应用模式=1、

24、概述湖南省物业服务行业移动信息综合系统包含数据中心、服务平台、移动终端，服务对象有居民、物业服务企业、商户、及公司内的运营管理人员。系统通过不同平台为不同用户提供不同的应用与体验模式。2、 工具应用模式运营管理人员可通过使用数据融合工具、挖掘分析工具，处理、分析数据。使用的系统为基于Java的应用程序。(六) 安全与性能从软件和硬件层面考虑，重点保证平台安全需要，可采用全国产、具有自主知识产权的软硬件产品搭建。1、 云平台基础设施采用云架构基础设施，提供云计算中心操作系统，满足30台虚拟机服务器同时运行的性能需求，单个虚拟机服务器资源需满足4核心CPU，8GB内存的计算需要。存储与服务器采用同

25、一品牌，整体存储容量至少满足7TB需求并支持扩展至300TB，并能保证云平台7*24小时无故障运行。2、 智慧服务平台采用J2EE体系，java语言开发，系统扩展性强，支持集群部署，支持负载均衡，初始支持1000个并发，高峰访问速度3S，可简单通过增加集群节点扩充并发量。3、 数据库操作系统=。4、 移动应用APP手机版支持IOS和Android两个版本，系统交互达到业界主流水平。采用原生开发，提高运行性能。(七) 技术标准规范体系建设1、 数据服务标准建设建设标准体系，用来指导系统建设的标准化工作。标准与规范体系主要包括公开数据的内容、公开数据的标准、数据报送标准、数据更新方式、有关数据管理

26、的考核标准、数据服务标准等。公开数据标准与规范体系是在参考国家标准、部门标准、行业标准、地方标准以及国际标准，采用直接引用和自行制定相结合的办法提供一套可供系统建设的标准、规范和切实可行的管理办法，用以保障框架平台顺利建设和共享环境的形成，为整个湖南省智慧物业服务网的建设打下基础。根据项目建设内容，需要制定如下标准：1) 湖南省物业公开数据标准规范主要包括公开数据的分类标准、标识符编码规范、元数据编码规范、目录编制指南、目录体系建设总则与技术框架等。2) 湖南省物业公开数据用户服务标准用户服务标准即要求重视用户意见和建议，对用户提出的需求在规定时间内予以积极面对和解决，区分各居民、物业企业、商

27、户的用户需求，对于同一类别的用户，除了根据服务提供方式不同外，要求无差异对待，让用户享受优质的服务。3) 智慧物业数据采集与更新规程用于规范数据采集更新，即以用户为中心，以元数据标准为核心，从制度和技术上保障数据更新的及时、有效。制定数据交换标准规范、数据建库标准规范、数据维护与更新标准规范以及数据保密处理标准规范等。2、 管理运行机制建设主要包括管理办法、运行机制、数据检查发布工作流程等。1) 建立智慧物业公开数据的管理机制建立健全信息资源共享的管理机制，确定公开数据的组织保障机制、社会评议制度、监督检查制度、考核评估制度等。2) 建立公开数据的业务工作机制为了促进业务工作的顺利开展，实现信

28、息资源共享的全流程管理，主要包括公开数据的采集、建设、组织、使用、保存等全生命周期的工作内容。3) 建立数据需求信息反馈机制信息的反馈意味着主动挖掘用户的需求信息，逐步完善应对市场需求变化的信息链。只有将反馈的信息加工并掌握后，才能产生新的信息为物业企业、商户单位的决策提供可靠依据。(八) 关键技术及创新1、 关键技术1) 基于Flex插件技术的界面配置化应用通过简单配置、界面布局“拖拉”等方式、快速配置前端界面的样式与展示能力。采用插件技术，可实现零编码，快速构建web端应用。配置化支持五大类别的界面布局与元素插件，提供“拖拉”方式定制；提供与时空信息结合，支持空间地图、饼图、柱图、线性等超

29、过十种专题展示能力；可根据样式自定义、数据源自定义的方式，提供平面统计、文本、表单、视频等展示能力；使基于云平台以及服务总线，快速构建专题应用成为可能。2) 非结构化大数据与结构化数据混合存储与快速检索大数据的推进与实施必然伴随着原有结构化数据和新型的非结构化数据的一体化存储与管理问题，同时这也是充分利用数据，构建新型大数据服务业态的要求。作为技术攻关的关键要求，应当解决非结构化大数据以及结构化数据的存储使用的问题，并能在适当的场合和条件下进行有效融合，在智慧物业的建设中是行之有效提升数据价值的关键所在。3) 基于云计算技术构建一体化服务管理模式基于云计算技术构建云资源、任务、数据、运维与安全

30、一体化服务管理体系，解决云平台服务质量和平台性能的关键问题。其核心包括：云服务资源管理，研究物理机、虚拟机与虚拟集群的按需管理和分区隔离机制；云任务管理，研究云计算任务的分类、高效调度、负载平衡、功耗管理与容错等；云数据管理，研究大规模结构化、非结构化和多媒体数据的建模、组织、存储、操纵、检索、备份和保护以及数据服务技术；运维分析与系统测评，研究云计算负载刻画、云任务运行监控与云系统评测的度量方法和基准程序集合；云安全及隐私保护，研究支持不同用户的功能、性能和故障隔离，支持用户身份和用户数据的隐私保护，提供政府监督管接口等。4) 超量信息可视化分析、交互与决策辅助技术信息可视化是一个跨学科领域

31、，旨在研究大规模非数值型信息资源的视觉呈现。在信息海洋（超量信息。超量包含三层意思：一指大量数据、二指数据维度多、三指信息关联复杂）中，信息越多反而越难以找到有用信息。研究创建以数据可视化、信息图形、知识可视化、科学可视化以及视觉设计方面的直观方式传达抽象信息的手段和方法。从大数据分析投资中获得信息的价值关键，将庞大而复杂的数据集变成直观的交互式图像、图像，显著提升行业专家分析能力、洞察事件发展趋势，并有效保证专家决策科学性和实用性。2、 创新点=。四、 物业联盟数据中心建设方案(一) 数据准备1、 数据收集1) 采集原则系统数据的采集应遵循以下原则：（1）以需求为导向。数据的采集应当突出应用

32、导向，主动对接企业和居民的迫切需求，重点采集对于改善民生、促进产业发展具有显著成效的，再稳步推进。（2）真实性原则。应当及时、准确地采集企业及商品、服务信息。2) 采集范围物业企业及从业人员的信用数据、商户商品及服务数据、社区居民数据等。2、 数据整理1) 元数据标准元数据（Metadata）是关于数据的数据，它用来描述具体的资源对象，以便能对资源对象进行定位、检索和管理。元数据通过对信息资源对象进行结构化的描述，能够集成整合各类复杂繁多的信息，帮助最终用户理解信息的内容、质量等。在对海量信息进行组织、检索和发现方面，元数据起着十分重要的作用。制定元数据标准时，应该选择元素尽量简单、可扩展性强

33、、应用广泛和便于检索的元数据标准体系。元数据标准是描述某类资源的具体对象时所有规则的集合，一般包括了完整描述一个具体对象时所需要的数据项集合、各数据项语义定义、著录规则和计算机应用时的语法规定等。数据集的元数据主要由数据集名称、数据集介绍、链接、所属单位等构成。如表所示：元数据名称定义数据集名称(Title)赋予资源的名称。创建者(Creator)创建资源内容的主要责任者主题(subject and Keywords)资源内容的主题描述描述(Description)资源内容的解释。出版者(Publisher)使资源可获得的责任实体其他责任者(Contributor)对资源内容做出贡献的其他实体

34、。日期(Date)与资源生命周期中一个事件相关的时间。资源类型(Resource Type)资源内容的特征或类型格式(format)资源的物理或数字表现形式资源标识符(Resource Identifier)在特定的范围内给予资源的一个明确的标识来源(Source)对当前资源来源的参照语种(Language)描述资源知识内容的语种关联(Relation)对相关资源的参照覆盖范围(Coverage)资源内容所涉及的外延或范围权限(rights)有关资源本身所有的或被赋予的权限信息2) 数据更新标准以元数据标准为核心，从制度和技术上保障各类数据更新的及时、有效，制度上要对各数据集提供机构进行绩效考

35、核。a) 更新内容数据库中已发生变化并符合更新条件的所有数据应及时更新。按数据库表现主题，更新内容主要包括信用数据、商品及服务数据等。各类数据库更新后须更新与其对应的元数据。b) 更新方法根据不同的环境、不同的数据库类型等实际情况，制定可行的更新方法。各类元数据采用其原来的元数据建立时采用的方法更新。未建立元数据的，依照相关标准建立元数据。c) 质量控制1、质量控制依据有关法律法规、国家标准、行业标准等，制定数据质量控制与保障措施，并在数据库更新的各个阶段和环节严格执行。更新设计书应依据充分、格式规范，并经主管部门审批认可。利用的资料和数据源应符合更新设计书的要求。更新过程中采用的技术方法应符

36、合更新设计书的要求。2、质量考核要求需遵循相关规定要求，内容完整，符合逻辑。要求文档齐全，编制规范，内容完整。符合更新设计中规定的其他质量要求。d) 更新成果更新数据库包括已更新的数据及其元数据等。其它成果包括数据库更新需提交的技术文档（如数据更新设计书、实施方案和详细技术方案等）、各类资料（采用的标准、数据分析资料等），以及验收资料等归档成果。(二) 数据中心结构设计1、 体系结构设计=数据中心涉及数据量庞大、数据种类多、多时态并存。根据数据来源和数据结构特性，数据库的核心框架由3部分组成：ODS、数据仓库（DW）、数据集市（DM），在核心框架的支撑下，分不同类型、主题建设，有利于数据的使用

37、与维护更新。1) ODS外部系统数据在被转换、加载入数据仓库前都将存储在操作型数据存储（Operating Data Store，ODS）中。ODS按功能分为数据缓冲区和统一信息视图区两个区域。ODS缓冲区是一段临时存储区，存放由外部系统提供的数据。不同数据库平台（包括文本文件类型）的数据到达缓冲区后，应保持与原系统上的一致，方便进行数据整合和处理。缓冲区存储的数据基本上与外部系统保持一致。缓冲区存储的数据被处理后，不会被保留。ODS是数据仓库架构中重要的功能区域，除了作为数据在进入数据仓库区域前的缓冲区外，它集成了来自外部系统数据库的各类业务数据，并通过对数据整合形成一致的企业数据集成视图，

38、有利于数据使用者更好地通观全局，这一区域被称作ODS的统一信息视图区。统一信息视图区内近实时的集成数据，使得最终用户能够快速查询近期的细节数据；此外，此区域还能够以更高的性能生成操作型报表。2) 数据仓库(DW)数据仓库（Data WareHouse,DW）是专门针对企业数据整合和数据历史存储需求而组织的集中化、一体化的数据存储区域。数据仓库由覆盖多个主题域的企业信息组成，这些信息主要是低级别、细粒度数据，同时可以根据数据分析需求建立一定粒度的汇总数据。它们按照一定频率定期更新，主要用于为数据集市提供整合后的、高质量的数据。数据仓库一般很少直接面向最终用户，数据仓库侧重于数据的存储和整合，通常

39、采用轻量级索引。数据仓库区内的数据按照主题存放，数据粒度与ODS缓冲区一致或粗于缓冲区，这些数据主要是企业级数据与历史信息，数据在线存储的周期一般较长。数据仓库区的数据是由ODS缓冲区的数据按照数据仓库模型的要求进行整合后形成的。3) 数据集市(DM)数据集市（Data Mart，DM）是一组特定的、针对某个主题域、部门或用户分类的数据集合。这些数据需要针对用户的快速访问和数据输出进行优化，优化的方式可以通过对数据结构进行汇总和索引。通过数据集市可以保障数据仓库的高可用性、可扩展性和高性能。需要注意的是，数据集市的建立完全由业务需求驱动，因此当业务部门产生新的数据分析或应用需求时，建立数据集市

40、。数据集市的建立可以采用两种形式：逻辑集市（视图方式）和物理集市。其中逻辑集市具有开发周期稍短，易扩展，节省存储空间的优点，其缺点是性能较低，而通过物理集市往往可以获得较高的性能，但其开发设计周期相对较长、扩展性低、对于存储空间要求较高。2、 逻辑模型设计=1) 总体逻辑结构。2) 星型模式构建。3、 物理模型设计=。(三) 数据入库 数据入库是数据库建设的一个重要环节，起着举足轻重的作用。合理有效科学的数据入库可以保证源数据的质量，保证系统功能得到正确和充分的发挥。数据入库，指在信息系统的建设前期即数据准备时期，将信息系统所必需的各类数据由客户经过修测维护后转入到符合信息系统要求的数据库中。

41、1、 入库流程通过编写数据融合工具脚本，将数据源的数据提取到数据库的属性表中，数据质检工具检查属性表中的数据集是否符合数据规范，对符合规范的数据入到ODS中。根据数据分析人员的建模要求，对ODS中的数据做数据清洗，再入到DW中。最后根据实际项目需要对DW数据做挖掘分析，得到的结果入到DM。这是整个数据库的入库流程。2、 数据提取数据提取是通过融合工具将数据源的数据提取到数据库的过程。数据融合工具提供了转换流程设计器用来编辑转换流程，然后在通过作业设计器指定转换流程顺序，最后执行作业脚本来执行转换。1) 转换流程设计转换流程设计器提供了图形化转换定制功能，它包括数据输入、输出、转换这三大类。输入

42、就是数据源的读取，输出就是数据集的写入，转换就是在输入和输出间做的字段转换。2) 作业流程设计作业设计器同样提供了图形化流程定制功能。通过作业设计器，可以规划作业步骤，定制步骤间的依赖关系，使得整个作业定制过程更简洁、清晰。它最大的好处是支持作业的重复执行以及定时执行，让作业任务化。3) 执行脚本通过转换流程设计器设计的一个脚本，它保存的文件是一个转换脚本，文件后缀是*.ktr。通过作业流程设计器设计的一个脚本，它保存的文件是一个作业转换脚本，文件后缀是*.kjb。数据融合工具提供了三个命令文件，分别为Spoon.bat、Kitchen.bat、Pan.bat。Spoon.bat是数据融合工具

43、的启动脚本，它负责脚本文件的设计；Kitchen.bat是作业文件的执行脚本，它负责执行作业文件；Pan.bat是转换文件的执行脚本，它负责执行转换文件。3、 数据质检数据中心内的数据大多在不同的时间从不同的渠道获取，虽然在数据融合工具中对入库的数据进行了清洗、转换，但仍然有可能存在部分错误或者相互矛盾的数据。数据质检工具就是用来对数据中心内数据的正确性进行检查。数据质检中预设了若干检查规则，质检人员可以根据数据的实际情况选择检查规则对数据进行检查，并对问题数据进行编辑处理。为满足业务需求，支持通过二次开发的方式对检查规则进行扩展。4、 数据清洗数据清洗是过滤那些不符合要求的数据。不符合要求的

44、数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗的工具是数据融合工具，通过转换流程设计器设计一个数据清洗脚本，然后执行该脚本，这就是数据清洗的流程。5、 挖掘分析基于数据中心所存储的多主题的海量数据，使用数据挖掘模块提取隐含在其中的、未知但又是潜在有用的信息和知识。数据挖掘工具在进行挖掘分析前需要通过数据融合工具将分析的数据提取到临时分析区，基于临时分析区内的数据选择适合的分析模型进行处理。分析得到的结果可以在数据挖掘工具中直观地展现出来，也可以为经过验证的分析模型定制开发服务，进行发布，对外提供分类、预测等功能。数据挖掘工具内部的主要流程如下图所示：(四) 数据库更新=。(五

45、) 数据备份与恢复随着数据库管理系统（Database Management System,DBMS）在当代的广泛应用，它在社会中的地位日益重要。但DBMS可能会由于一些不可预知的软硬件故障而影响事务的正确运行，造成数据库中的数据丢失甚至破坏数据库，为系统带来难以挽回的损失，大大降低了系统的可靠性和可用性。DBMS的备份与恢复部分正是要解决这些问题。因此，为保证DBMS的稳定性和可用性，向用户提供完善的安全的、可靠的备份和恢复功能，已成为DBMS一个必不可少的部分，也是DBMS性能的一个重要指标。在DBMS中，以下情况可能造成数据的丢失或系统的崩溃：系统硬件故障；DBMS相关软件瘫痪；黑客攻击

46、或者病毒；人为误操作；应用程序中不可预见的BUG。1、 达梦数据库备份与恢复策略设计备份与恢复子系统时,要考虑到解决三类典型故障和实现联机备份,考虑到与达梦的整体结构相适应，以及恢复时或联机备份时对系统性能的影响不能太大。在综合考虑下，设计出一个备份与恢复子系统，它将具有多种备份方式和采用基于REDO日志、回滚段和操作一致性检查点的恢复技术。由于日志和备份与恢复有密切联系，故下面将先给出日志的基本策略，再在此基础上给出恢复的策略和备份的策略，以实现子系统的设计目标和要求。1) 日志的基本策略日志采用的方式对于备份与恢复有着重要的影响。在于系统中，日志将采用的几个基本策略。1.写日志优先原则（W

47、rite-Ahead LOG，WAL）WAL是确保系统恢复时所有日志记录都可用的最主要原则，也是保持一致性的重要规则。它保证了所有写盘了的数据库修改，在日志记录中都有记载。但当缓冲区采用NO_ATOMIC、STEAL、MP_FORCE策略的情况下，它不能保证提交了的事务的日志一定都写入日志文件中了(可能其日志和修改的数据块都还在缓冲区中)。2.提交时强制写日志规则(Force at Commit Rule，FCR)FCR规则使得事务提交时,它的相应的日志信息就刷新到磁盘上了，而不是还在日志缓冲区，它弥补了WAL的缺陷。它和WAL原则共同确保了REDO文件中的日志信息是完整的。3.逻辑日志和物理

48、日志相混合的方式日志可以采用物理日志方式，也可以采用逻辑日志方式，或者二者混合的方式。逻辑日志可以有效的减小记录的日志量，但纯粹的逻辑日志将使得恢复系统的设计十分复杂。在综合考虑下，将采用逻辑日志和物理日志相混合的方式，充分利用它们各自的优势。4.UNDO/REDO日志方式REDO日志记录了事务的所有更新的后映像(AI)，UNDO日志记录了正在进行事务的更新的前映像(BI)。事务的修改前后信息都被记录到日志中，为故障后的恢复提供了充足信息。鉴于影子分页对并发事务的支持比较困难，而UNDO/REDO日志方式使得缓冲区中的一块对应数据库的一块，这样更新和提交会更快。对比NOUNDO/REDO和UN

49、DO/NOREDO算法UNDO/REDO算法灵活性强，且能解决各种数据库故障，具有更大的优势。5.多重日志和循环日志方式要防止介质故障,必须采用多重REDO日志。为了日志归档，需采用循环目志2) 恢复采用的策略在日志的基本策略的基础上，子系统在恢复时采用了几个重要策略。1.应用REDO日志重复历史（Repeat History）它表示重做REDO日志文件中恢复点开始之后的所有REDO日志记录，不是仅仅重做已提交事务的日志。重复历史的策略使重做过程的处理十分简单，不用区分是提交事务的日志还是未成功提交的事务的日志。重做时重复历史的策略的保证了已提交事务的永久性和原子性，但同时也写入了来提交事务对

50、数据库的修改，数据库仍来处于一致状态下，需进一步处理。2.应用回滚段回滚事务将UNDO日志记录在回滚段中，不同于将其记录在单独的UNDO曰志文件或与REDO旦志混合的日志文件中。由于UNDO志是用予事务回滚,而事务内部故障出现的概率远大于其他类型故障，故把回滚信息存储在数据库内部的对象（回滚段）中，可以明显地提高故障恢复的效率。利用回滚段中的UNDO日志对采提交事务进行回滚，使得未提交事务对数据库的修改被复原，等效于未提交事务对数据库的修改末作永久记录，这保证了未提交事务的原子性，满足了事务恢复的要求。REDO日志记录在REDO日志文件中,UNDO日志记录在回滚段中，对回滚数据库中的回滚段的修

51、改也要记录REDO日志，这样在系统恢复中重做时重复历史，也把回滚段恢复到崩溃时的状态，为取消崩溃时的未提交事务奠定了基础。通过应用REDO日志重复历史，再应用回滚段回滚，使得数据库中存储的都是提交事务的修改，未提交事务的修改都被取消，保证了事务的原子性永久经，使数据库处于一致性状态,满足了系统恢复的要求。3.应用操作一致性检查点缩短系统恢复时间定期产生的操作一致性检查点为系统恢复提供了一个最近恢复点，使得回溯日志的距离不会太长，减少了进行重做操作的REDO日志，故缩短了恢复的时间。3) 备份采用的策略备份机制要保证不论系统停机与否都能根据需要获取数据库的后备副本，防止故障带来的数据损失。子系统

52、将提供两种基本的备份方式，即脱机备份和联机。在此基础上，进一步提供了完全备份和增量备份的方式。子系统的备份采用的是多中备份方式，满足不同需要的策略。1.应用联机备份以满足系统的高可用性子系统将提供联机备份方式以满足在不停机的情况下仍然能够备份的要求为实现724的服务奠定良好的基础。2.应用脱机备份以满足快速简单，适用面广的要求子系统将提供脱机备份，这种备份方式要求系统停止服务，但简单、适用面广。3.应用完全备份对系统所有数据备份子系统将提供完全备份，使得备份的信息是独立的，恢复时不需要其他文件，但它的备份数据量大时间长。4.应用增量备份以减少备份的数据量子系统将提供增量备份方式，在一个基准备份

53、基础上进行备份，它减少备份量，缩短了备份时间。2、 其他商用DBMS的备份与恢复策略数据库系统故障恢复的基本原理可以用一个词来概括，即冗余。通常采用的恢复策略是：建立副本、日志、检查点、差分文件、提交事务等。最常用的两种手段为：转储和日志。转储的结果是产生后备副本。以下将要介绍一下国内外商用的备份与恢复策略，主要是Oracle、SQL Server。1) Oracle备份与恢复策略Oracle主要采用REDO日志和回滚段的技术。它采用日志文件及回滚段（即保存事务回滚信息的数据库对象)的形式保存日志信息。当某事务修改一个数据块时，修改前的数据信息(称为前映像)被存储到回滚段中。回滚段的信息用于保

54、持读一致性并用于事务回滚和事务恢复。由于事务内部故障出现的概率大子其他类型故障，把回滚信息存储在数据库内部的对象(回滚段)中可以明显地提高故障恢复的效率。事务提交前都会将相应的日志信息写盘，这确保了日志信息是完整的。为了提高效率，在事务提交之后并不马上将提交的数据写盘。Oracle根据重做日志文件中保存的已提交的更新操作信息对数据库进行重做使之恢复到一致的状态，并采用检查点机制确定重做的开始点。对可能发生的故障，Oracle数据库使用数据库后备副本、同志、回滚段和控制文件这几种结构来保护数据。其备份与恢复技术主要包括有:脱机冷备份及其恢复、逻辑备份及其恢复、联机热备份及其恢复等。2) SQL

55、SERVER的恢复策略SQL SERVER利用事务日志，设置检查点，磁盘镜像等机制进行故障恢复。在SQL SERVER数据库中，有关数据库的所有修改被自动地记录在名为SYSLOGS(事务日志)的系统表中，每个数据库都有自己专用SYSLOGS，当发生故障时系统能利用SYSLOGS自动恢复。SQL SERVER采用提前写日志的方法实现系统的自动恢复。对数据库进行任何修改时,SQL SERVER首先把这种修改记入日志，需要恢复时，系统通过SYSLOGS回滚到数据修改前的状态。SQL SERVER的检查点机制强制地把在CACHE中修改过的页面（无论是数据页还是日志页）写入磁盘，使CAHCE和磁盘保持同

56、步。SQL SERVER磁盘镜像是通过建立数据库镜像设备实现数据库设备的动态复制,即把所有写到主设备的内容也同时写到另一个独立的镜像设备上。SQL SERVER每次被重新启动时都自动开始执行系统恢复进程。该进程首先为每个数据库搜索其事务日志(SYSLOGS表)，然后检查每个数据库的SYSLOGS以决定应对那些事务进行回滚和前滚操作，并负责把所有的未完成的事务回滚（UNDO），把所有已提交的事务还未记入数据库的修改重做（REDO），最后在SYSLOGS中记下一个检查点登记项,保证数据的正确性。当数据库的物理存储介质发生故障，并具有数据库的后备副本，可进行人工恢复。(六) 数据访问接口数据中心接口

57、分为内部接口和外部接口两种，内部接口是面向数据层的统一接口，数据层通过内部访问接口将各种外部数据导入到数据中心；外部接口是面向平台层和应用层的统一接口，上层用户无需关心数据库操作的每一步骤，不必进行准备、定义、绑定参数、取结果等操作，只需要将操作的语句交给统一的调用接口模块，由该模块实现数据库的操作细节，用户只需要取回操作接口即可。1、 数据采集接口各系统利用建立的数据交换平台与内外网交换平台等技术手段，通过FTP接口、数据推送接口、Webservice服务等方式，提供了可供公开访问的资源。如：行业业务系统与行业网站提供的专题数据、社会公共服务与民生服务、物联网、社交网络等公开数据资源。数据采

58、集接口则可直接访问数据接口，按需采集数据资源。支持采集的数据以文件方式保存，支持的数据类型包含文本、图片、表单、音视频、流媒体等各类数据。具体的数据集接口如下表所示：接口名称数据类型接口描述备注文本数据访问接口CSV文件Excel文件XML文件XLS文件DBF文件DOC文件DOCX文件文本文件邮件文件支持文本信息的采集外部接口多媒体数据访问接口图像音频视频流媒体支持多媒体信息的采集外部接口服务数据访问接口GML文本JSON文本XML文本支持Webservice服务的采集外部接口数据库访问接口达梦数据库Access数据库Oracle数据库MongoDB数据库MySql数据库MDB数据库支持数据库

59、信息的采集内部接口2、 服务访问接口数据中心提供给平台应用的访问接口如下表：接口名称接口类型接口描述备注资源目录服务HTTP服务调用接口（1）获取服务能力元数据 （2）服务调用外部接口数据共享服务资源下载服务异构数据访问文件(FTP)读取数据层文件目录中的数据文件外部接口数据集市读取数据层数据库（1）读取数据库元表（2）解译实体数据表数据外部接口外部服务注册URL外部数据服务注册到资源管理平台的服务总线外部接口用户权限管理HTTP（1）编辑用户信息（2）编辑用户访问服务权限（3）编辑用户下载数据/APP权限（4）编辑用户发布APP权限外部接口资源发布管理HTTP（1）发布/编辑对APP的描述

60、（2）发布编辑对APP或数据资源的评论外部接口HTTP（1）查询APP资源与下载量（2）查询对APP或数据资源评论外部接口HTTP（1）删除发布的APP资源信息（2）删除对APP或数据资源的评论内部接口计费管理HTTP第三方支付系统接口外部接口内部服务注册URL平台内部发布的数据注册到服务总线内部接口服务监控TCP/IP监控运行在平台内的应用服务状态内部接口日志管理TCP/IP监控对平台资源操作与平台运行中发生的事件内部接口(七) 相关工具1、 数据融合工具数据融合工具主要负责将分散的、异构数据源中的数据如关系数据、数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市

61、中，成为联机分析处理、数据挖掘的基础。1) 逻辑架构数据融合设计工具按照功能可以划分成转换流程设计器、作业设计器、集群配置三个部分，逻辑架构如下图： 转换流程设计器。转换流程设计器是以图形化的界面为介质，通过设计器提供的图形化设计功能，完成对数据清洗转换策略及数据转换关系等处理过程进行定制，最终形成完整的转换流程模型。作业设计器。作业设计器同样提供了图形化流程定制功能。通过作业设计器，可以规划作业步骤，定制步骤间的依赖关系，使得整个作业定制过程更简洁、清晰。集群配置。集群配置主要是对作业的执行环境进行预先定制，包括作业执行环境中的节点配置以及定义主、从节点的关系等。通过对集群环境的定制，为作业的分布式执行提供了支持，使得数据转换过程中，能够支持多作业调度和并发执行,以提高数据融合时的处理效率。2) 工作流程数据融合设计工具除了提供上述的界面交互功能外，还提供了包括数据源组件、作业组件及转换组件三个部分的扩展能力。在必要时，可通过二次开发接口定制、注册自定义组件，从而扩展数据融合平台的能力，满足具体的数据融合需求。数据融合设计工具内部的主要流程如下图