大数据平台建设方案word版本

《大数据平台建设方案word版本》由会员分享，可在线阅读，更多相关《大数据平台建设方案word版本（17页珍藏版）》请在装配图网上搜索。

1、大数据平台建设方案（项目需求与技术方案）一、项目背景“十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设 模 式发生根本性转变 , 一场以云计算、大数据、物联网、移动应用等 技术为 核心的“新 IT ”浪潮风起云涌，信息化应用进入一个“新常 态”。* （某政府部门）为积极应对“互联网 +”和大数据时代的机遇 和挑战，适 应全省经济社会发展与改革要求，大数据平台应运而 生。大数据平台整合省社会经济发展资源，打造集数据采集、数据 处理、 监测管理、预测预警、应急指挥、可视化平台于一体的大数 据平台，以信 息化提升数据化管理与服务能力，及时准确掌握社会 经济发展情况，做到 “用数据说话、用数据

2、管理、用数据决策、用数 据创新”，牢牢把握社会 经济发展主动权和话语权。二、建设目标大数据平台是顺应目前信息化技术水平发展、服务政府职能改 革的架 构平台。它的主要目标是强化经济运行监测分析，实现企业 信用社会化监 督，建立规范化共建共享投资项目管理体系，推进政 务数据共享和业务协 同，为决策提供及时、准确、可靠的信息依 据，提高政务工作的前瞻性和 针对性，加大宏观调控力度，促进经 济持续健康发展。1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务 信息 系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体 化数据库， 为平台打下坚实稳固的数据基础。2、梳理各相关系统数据资源的关联性，

3、编制数据资源目录，建 立信息资源交换管理标准体系，在业务可行性的基础上，实现数据 信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。3、在大数据分析监测基础上，为政府把握经济发展趋势、预见 经济 发展潜在问题、辅助经济决策提供基础支撑。三、建设原则大数据平台以信息资源整合为重点，以大数据应用为核心，坚 持“统 筹规划、分步实施，整合资源、协同共享，突出重点、注重实 效，深化应 用、创新驱动”的原则，全面提升信息化建设水平，促进 全省经济持续健 康发展。1 、统筹规划、分步实施。 结合我省经济发展与改革领域实际 需 求，明确总体目标和阶段性任务，科学规划建设项目。先期完成 大数据平 台的

4、整体架构建设，后期分步完成业务系统的整合及相互 间数据共享问 题。2 、整合资源、协同共享。 对信息资源统一梳理，建立经济发 展与 改革信息标准资源库和数据规范，逐步消灭“信息孤岛”，加 快推进数据资源整合，建设共享共用的大数据中心，实现业务协 同。3 、突出重点、注重实效。 以用户为中心，以需求为导向，以 服务 为目的，突出重点，注重实效，加强平台可用性和易用性。4 、深化应用、创新驱动。 深入了解用户需求，密切跟踪信息 技术 发展趋势，不断深化应用、拓展新技术在应用中的广度和深 度，促进跨界 融合，丰富管理和服务手段。四、建设方案为了保证项目的顺利进行和建设目标的可行性，我们采取如下 几种

5、建 设方案。1 、数据采集方案。我们统一信息资源标准规范，建立多维度数据库，拓宽数 据来 源，通过不同的方式汇聚数据，增强分析力度，提高监测 预警的准确 性和时效性。1、预留接口，支持其它系统各种数据的上传导入处理。将 现存 有关经济运行业务系统中的历史数据和时效数据，通过上 传数据文件 至服务器、分析提取有效数据导入服务器数据库等 方式采集起来，在 本平台上复用。2、支持外接数据的上传导入处理。可以将企业单位或定点 监测 机构的数据通过同样的方式采集起来，在本平台上复用。3、支持非结构化数据，即搜索引擎数据、社交媒体数据、 地理空间数据和音视频数据等等。2 、数据分析方案。大数据之大并不是难

6、点所在，其真正难以对付的挑战来自 于数据类型多样、要求及时响应和数据的不确定性，而我们所 面临的也正是如此。我们采用批量数据处理系统，借助于深度学习、知识计算 和可视 化等大数据分析技术，通过对数据的批量处理挖掘其中 的价值来支持 决策和发现新的洞察。3 、业务整合方案在对社会发展相关业务子系统充分调研基础上，结合项目需求，可对其进行整合或嵌入处理（本方案整合公共信用信息 服务平 台、投资项目信息管理平台等）。1、整合处理。将原有数据通过上传或导入方式进行采集， 原有 功能模块整合到本平台中，合二为一，完美的将数据汇聚 起来。缺点 是耗时较长。2、嵌入处理。以单点登录的方式将原有系统链接嵌入到

7、本 平台中，作为子系统单独存在。缺点在于数据共享难以实现。五、建设内容1 、宏观经济监测预测及可视化平台政府信息化的最终目标是提高政府的决策水平，其中经济 决策是核心内容。为了提高宏观调控决策水平，我们必须从依 靠传统统计数据向依靠互联网非统计数据转变，从监测预测宏 观经济总量向监测预测宏观经济先行指标转变，从中长期监测 预测向实时监测预测转变。客户机.丿监滝产系统丿统计分折子聚疣、j信息第干采我丿侵丧堂IW予臺纯數郴:旷缶机MAiitll M再户纵、）前銅仆也子条峨&J库 层舟八界血粳/f宏观经济监测预测及可视化平台围绕网络搜索、社交媒 体、电子商 务、终端定位和业务交易等五个方面全面整合互

8、联 网相关数据资源，建设 以“容量大、形式多、分类细、响应快”为 目标的宏观经济监测预测数据 库，构建基于互联网数据的宏观 经济非统计指标监测预测应用平台。围绕重点产业活跃度、区域经济关联度、宏观经济走向社 会预期、社 会消费热点、大宗商品供求及价格走势、全国就业 形势、外贸订单变化趋 势等方面，构建大数据宏观经济先行指 标和现时预测指标库，研究能客 观、准确反映我省宏观经济运 行状况的指标体系，编制“山东指数” 在健全完善监测预警数据库的基础上，充分运用大数据技 术和理 念，加强数据挖掘力度，强化定量分析，建立宏观经济 分析系列模型，切 实提高预测分析的前瞻性、准确性和可靠 性。引擎，三积极

9、拓宽信息发布渠道，建立可视化平台，采用 Un ity3D维界面高度仿真，所见即所得。平台针对多源易构的 海量数据，通过数据处理、存储管理、可视化交互分析等技 术，实现图形化数据查询、可视化 关联分析、证据链和情报线 索发掘等功能。利用预测信号灯系统，形象地 刻画出宏观经济 总体运行状况，分析经济波动原因，及时了解各地区经济 发展 的不平衡性，准确判断和测定经济景气循环运行状态，提高宏 观经 济决策水平。2 、企业信用监测预警服务平台企业信用危机不仅给社会带来严重危害，也是关系到企业自 身生死 存亡的重大事件，它是中国企业乃至中国市场经济发展的 巨大障碍。因 此，建立企业信用危机的预警机制和管理

10、机制，对 企业信用危机进行有效 的预警及管理是十分重要的。企业信用监测预警服务平台，全面整合社会信用监管信息和 社会公众反映信息，通过整理归类与加工，将这些信用危机信息 转化为可以量化的指标体系，按照失信行为的严重程度和影响范 围划分三个预警级别，分别向企业自身、金融机构、其他政府部 门及全社会进行通报。纳入企业信用预警体系的企业信息包括侵犯消费者权益且不 履行相 关义务的信息、消费者投诉未及时处理信息、行政处罚逾 期未执行信息、 查无下落企业信息等 23 种信息。可以动态配置 预警信息项目和相应预警 等级，增强监测预警的全面性和灵活 性。企业信用监测预警服务平台以信息技术为支撑，以信用监管

11、为手段，全面提高信用监管信息共享程度，及时预警影响社会交 易安全和社会 公共安全的不良信用信息，遵循“对外警示社会和 企业；对内明确重点， 积极采取应对措施”的原则，强化企业信 用监管防范机制，有力推进“信 用保税区”建设，加强企业信用监 督管理的主动性、前瞻性，更好地服务 经济发展，减少交易风 险，促进企业信用监管到位，实现企业信用的社会 化监督。化监督。3 、投资项目信息管理平台建设投资项目（特别是一些大型项目）具有管理上的复杂性 特点，主 要是建设周期长、参建方多。投资项目信息管理平台的建立和应用，可有效解决投资建设项目管理动态过程的信息分 析、信息构 建，达到各参建方信息共享的目的置点

12、議 设JL A1hi1. 一r-.N UB w MlL 4 4冷9牟*践目昶堆f復F蠻缶下述頊R崖盘性岚坎计并析投资项目信息管理平台，项目蠶踐童為审靡耳B4Lt 彌(I息f 抵鹿！；需玫#Ei昜任聊L顶目呂坛北.艺茨金隹版蚁讣舟粧互动交渡一工作平台，真正做好资源共享，为项目的后期评价、领导决策提供支持IB? 5 A管理项目启支持重大项目推介，建立规范的项目审批流程和项目信息库， 动、计划、执行、监控和 收尾的整个生命周期，覆盖进度、质量、成本、资源、风险等项 目管理的 各个要素，构建集成项目、流程、知识的信息化平台。逐步实现与相关部门业务系统的接入，形成全覆盖的投资项 目管理统服务。围绕设计、

13、招标、监理、质量、安全、 进度、施工、资金、变更、 合同管理“十大环节”，建立起对投资 项目进行事前计划、事中控制、事 后评估、全程管理的有效管控 模式，促进投资项目管理体系发挥全方位、 全过程的计划、组 织、协调与控制作用。投资项目信息管理平台，以现代项目管理方法论为基础；以 项目管理 为主线，全面组织、全程贯穿各个业务环节；以项目计 划为依据，科学协 调各个部门的工作；以成本、进度、质量为最 终控制目标；以完整、及时、 准确的项目信息和科学的分析模型 为项目管理、决策提供依据；遵循“以 计划为龙头，以合同为中 心，以投资控制为目的”的现代项目管理理念， 构建高效、实用 的项目协同管理综合平

14、台。4 、政务数据共享交换平台政务数据共享交换平台是各个平台中的基础性和综合性平 台，是解决“信息孤岛”、实现数据互连互通的基础设施，有利于 提高各类信息资源整合共享，以及信息资源的综合利用。建设政务数据共享交换平台的首要目标就是要创造一个信息 交资瘡订屁齐、匕土、 攵奁去见.町示宦3换、信息共享的方式和环境，按照统一标准和规范，建立信息 资源 整合机制，规范数据采集口径、采集方式，规范数据的服务 方式， 建立统一的资源信息整合与交换机制。我们按照统一、集约、高效的数据开发利用理念，通过研究 建立多级 交换管理体系，形成政务信息资源物理分散、逻辑集中 的信息共享模式，通过以应用为抓手，进一步打

15、通数据流，满足 政府部门多方位、多层次的 数据需求，为跨地域、跨部门、跨平 台不同应用系统、不同数据库之间的 互连互通提供包含提取、转 换、传输和加密等操作的数据交换服务。通过 分布式部署和集中 式管理架构，有效解决各节点间数据的及时、高效上传 下达，在 安全、快捷、方便的进行信息交换的同时精准的保证数据的一致 性和准确性。政务数据共享交换平台的全局目标是建立“一个系统”，解决 “两个 问题”，支持“三个应用”，面向“四个服务”。建立“一个系 统”，即 建立一个可扩展、可集成、有统一数据模型、可交换和 安全可靠的分布式 系统，对各类政务资源进行组织和管理。解决“两个问题”，即解决政务信息资源的

16、发现与定位问题，解决政务 信息 资源规划与整理问题。支持“三个应用”，即支持信息集成整 合应用、各 业务部门办公应用和政府职能决策应用。面向“四个 服务”，即面向政务 协作、宏观决策、市场监管和社会管理服 务。六、技术支持与平台性能1 、系统架构结合该项目以大数据平台为核心，多业务子系统并存的业 务需 求，以及存在不同种类操作系统、应用软件、系统软件的 现状，我们 采用面向服务的体系结构，即 SOA 架构。SOA 是 一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接 口是采用中立的方式进行定义的，它独立于实现服务的硬件平 台、操作系统 和编程

17、语言。这使得构建在这样系统中的服务可 以以一种统一和通用 的方式进行交互。它的本质是实现服务和 技术的完全分离，从而最大 程度上实现服务的集成和重组。SOA 实施是以业务服务为导向的，业务服务独立于技术之 上， 技术处于从属地位，采用 SOA 架构的主要优势有：1、SOA 与平台无关，减少了业务应用及业务子系统整合的 限 制。2、SOA 具有低耦合的特点，各个业务子系统对整个业务系 统的影响较低，在各个系统不断变化情况下，节省的费用会越 来越 多。3、SOA 具有可按模块分阶段进行实施的优势。可以成功一 步再做下一步，将实施造成的冲击减少到最小。SOA 服务交互示意图如下：2 、技术支持1、技

18、术领先的J2EE框架。Java2 平台企业版(Java 2 Platform EnterpriseEdition , J2EE)是一种利用Java2平台来简化且规范应用系统的开发与部署，进而提高可移植性、安全与再用价值。基核 心是一组技术规范与指南，其中包含的各类组件、服务架构及 技术层次，均有共同的标准及规格，让各种依循 J2EE 架构的不 同平台之间，存在良好的兼容性，解决过去企业后端使用的信 息产品彼此之间无法兼容，企业内部或外部难以互通的窘境。基主要的技术规范有 JDBC EJB JSP、 Java Servlet、 XML等。 JDBC 为访问不同数据库提供了统一的路径，使对数据库的

19、 访问具有平台无关性。 EJB 提供了一个框架来开发和实施分布式 商务逻辑，简化了具有可伸缩性和高度复杂的企业级应用程序 的开发。JSP页面由HTML弋码和嵌入其中的Java代码组成，简化了页面的输出，保留了脚本语言易于使用的优点。 Servlet 是 一种小 型Java程序，扩展了 Web服务器的功能。XML提供了一种描述结构 数据的格式，简化了网络中数据交换和表示，使得 代码、数据和表示分 离，作为数据交换的标准格式。2、强大灵活的 SSM 整合框架。SSM 匡架整合，即整合 SpringMVG Spring 和 Mybatis 框 架。其 中 SpringMVC 属于 SpringFar

20、meWork 的后续产品，它提 供了构建 Web 应用程序的全功能 MVC 模块，分离了控制器、模 型对象、过滤器 以及处理程序对象的角色，这种分离让它们更 容易进行定制。 Spring 是 一个轻量级开源框架，它的主要特点 是方便解耦、简化开发、面向切面 (AOP 的编程支持和声明式 事务支持，其主要优点有低侵入式设计、独 立于应用服务器、 允许将一些通用任务如日志等进行集中处理。Mybatis是轻量级ORM!架，它消除了几乎所有的JDBC弋码和参数的手 工设置以 及结果集的检索，使用简单的 XML 或注解用于配置和原始映 射，将接口和 Java 的 POJOS 映射成数据库中的记录。其框架

21、架 构图如 下：Nth/myRcciuestHiandiairEnc iilwnChalnMd*lAndVtaAFRoquestrt. appmg f- iandfe A/appfAQ的晒匚口矶血1时RmuatMappingHandlerAdapter札话 ar*vmwtiAaMxfalAndVAA41 也的MtSM AttJSPIntern 口 IFE wo u rceAteAfesotverM, Con trollerBctOxomI _ *相比于传统SSH整合，SpringMVC相比Struts更轻量级,注解的使用减少开发消耗，数据库操作层采用Mybatis,统一管理 SQL 甚是方便。

22、3 、平台性能1、先进性、开放性。基于B/S结构的Java应用技术和SOA开放式的体系框架，结构化 设计，灵活可拆分，具有灵活的可扩充接口，易于修改 调整、二次开发 和扩充，最大限度降低因上游技术升级带来的 系统实施风险，保证投资 的有效性和延续性。2、可扩展性。由于采用了平台化构建思想，整个系统可做到与底层多种 硬件环境、操作系统、数据库的自由适配，保证系统在软件、 硬件环境 方面的灵活配置以及未来的拓展应用。采用基于SOA思想的模块化设计，可根据需要进行灵活动态的模块扩充，并保证原系统环境不受影响。 系统提供开放的标准接口，可实现与外围业务系统的无缝 集成应 用，灵活扩展系统的业务应用范围。3、稳定性、可靠性。系统采用 B/S 结构应用模式，集中安装部署，客户端零安 装，所以 系统的运行不受任何客户端单点故障的影响。技术框 架的支撑，可以实 现数据库的持久、稳定连接，确保事务处理 的连续和完整，保证业务数 据准确完全。4、其他优势。系魏优势fliAW-能柞简重持竟辛等，査持甘刘昇？办皙灵舌性期用性性标栅安全性乘坟HP桶辭安全韭理机制.保* 京壊的鏗虫四