大数据分析方案

《大数据分析方案》由会员分享，可在线阅读，更多相关《大数据分析方案（7页珍藏版）》请在装配图网上搜索。

1、大数据分析方案张军【摘 要】随着信息化建设在企业内部的不断深化,通过信息化技术不仅增强了企业 的核心竞争力、加速了企业的发展,而且为企业积累了海量的数据信息.为有效利用 企业IT资源在运行中积累的各种数据，让企业从战略角度更准确地遇见未来,从而在 经营模式、管理方式、战略决策给企业带来巨大的变化和创新.提出了一套大数据 分析平台建设方案,从“数据汇人、数据存储、数据分析、数据展示”全过程对数 据进行管理和分析.期刊名称】信息安全与通信保密年(卷),期】2016(000)006【总页数】3页(P105-107) 【关键词】 大数据;分析;事件归并;数据集中【作 者】 张军【作者单位】 中国电子科

2、技集团公司第三十四研究所,广西桂林 541004【正文语种】 中 文【中图分类】 TN915当前全球已进入大数据时代，数据量巨大，增长速度极快，类型丰富，单元价值极小但规模价值很大。根据2012年出版的涂子沛的大数据一书记载1，2010年全球企业一年新增的数据就超过了 7000PB，全球消费者新存储的数据约为6000PB，这相当于十多万个美国国会图书馆的藏书量。最可怕的是，从2010年 至今仍然不停地出现各种各样的新设备、新技术、新机器帮助政府、企业和个人产 生更多的数据。中国工程院院士大数据专家李国杰曾在报告中称:大数据将带来一 场社会变革，特别是公共管理和公共服务领域；有行业报告显示，某国

3、政府通过大 数据技术每年可节省 330 亿英镑2。据 IDC2014 年报告分析中国大数据技术与 服务正在快速的增长，年增长率约 38.6%，预计2017 年的市场规模将达到8.5 亿 美元3。在大数据时代，企业和组织受到大数据的影响越来越大，未来各行各业都无法避免 受其影响。互联网企业正在通过大数据来刻画用户行为喜好特征，实现信息精准推 送，增加用户粘性流量以及业务收入4。企业正在通过大数据来评价鉴别个人的 信用风险，从而调整信用额度来降低企业风险成本或增加业务收入。电信运营商随 着个性化业务不断增减，产生了大量的运营数据，其需要进行分析才能提升业务价 值，但采用传统数据库技术在性能和扩展成

4、本上都严重制约着这一需求。大数据分析平台通过采用数据建模技术、节点管理技术、事件收集和事件归并技术 等先进的技术，解决了传统数据分析平台数据库容量扩展困难、维护成本高、分析 时效性低的问题，实现了不同来源的异构数据的集中挖掘分析与展示。随着信息化建设的不断深入，企业和组织围绕业务要求已经建设了大量的网络设备 安全设备、终端、服务器、业务系统等IT资源。这些IT资源在运行过程中积累了 大量的各种类型的数据，包括网络基础资源运行相关的数据、网络安全相关的数据 业务相关的数据等等4。普遍存在的问题有:a）没有将这些数据集中收集和存储起来，对其进行分析获取其中潜在的价值；b）虽然IT资源产生的部分数据

5、正在被利用，但是数据量越来越大，已有的分析利 用手段越来越低，数据的维护和利用压力正在变大。随着数量的增加，遇到的一些数据分析相关的典型问题如下:1）已建安管平台遭遇瓶颈为解决单个安全设备很难发现的安全问题，需要将安全设备产生的数据结合起来分 析才能发现那些潜在的威胁。虽然安全厂商已经推出了安全管理平台这类产品来解 决安全设备间的信息孤岛问题，但是其在融合新的数据时仍存在瓶颈，主要表现有:a）数据处理过程中的定义不够直观、方便；b）在进行数据分析时，分析规则功能简单，无法对数据构建有效的分析模型；c）般的数据库已无法适应大数据的存储与访问需求。构建在关系型数据库上的安全管理平台已无法适应这种数

6、据增长的需要。2）大量监管数据无法分析具有监管职能的用户为实现对目标结构、网络、信息系统等的安全监管，部署大量 检测类设备和系统积累了大量的监测数据，数据量较大、存储分散、没有集中化的 分析工具，导致面对这些数据无法分析，不能从中发现对被监管对象安全监管有价 值的潜在信息。3）业务数据分析变得困难用户需要对业务数据进行分析，但是业务规模的不断扩大，互联网、物联网等各种 新技术在业务中的不算应用带来业务模式的不断新增，需要分析的业务数据越来越 大，在传统关系型数据库及数据仓库上构建的业务分析系统面临分析容量扩展困难 维护成本高、分析时效性低等诸多问题，企业和组织需要寻找种新的方案解决当 前面临的

7、困境。基于对以上现状及问题的考虑分析，企业和组织进行大数据分析需要走完五个主要 任务，包括:1）能建立大数据存储支撑，实现对需要分析的大数据的存储；2）能完成对分析数据输入，实现从各种不同的系统或设备中收集需要分析的数据， 将数据集中汇入到大数据存储支撑中；3）能完成分析前的数据预处理，实现在数据输入过程中、数据输入后、数据分析前 对数据格式进行统一，数据内容进行补充或修改，数据过滤、归并等；4）能完成快速支撑变化的各种数据分析需求。实现以分析引擎和规则为基础，对大 数据进行实时或历史分析，对企业和组织中不断变化的数据分析需求进行快速支撑；5）能完成分析结果输出，实现对分析结果的多种展示，并能

8、将分析结果按照接口进 行输出。大数据分析平台提供一套完成的数据管理平台架构，从“数据汇入、数据存储、数 据分析、数据展示”全过程对数据进行管理。通过各种采集方式将不同来源且异构 的的数据集中汇入，将预处理后的数据进行分布式存储，基于数据特性建模并引入 分析规则进行数据的挖掘分析，通过多类型方式按需实现界面可视化展示及交互应 用。大数据分析平台包含数据采集层、数据存储层、数据分析层、核心业务层、平台展 示层，如图 1 所示。2.3.1 平台展示层平台展示层记账了各类展现视图，包含集中展示视图、任务展示视图、功能展示视 图。其中集中展示视图将各种信息汇集起来进行综合展示；任务展示视图基于每个 过程

9、生成的任务进行展现；管理展示视图实现对平台配置操作应用的交互展现。2.3.2 核心业务层 提供系统核心功能实现，包括可视化建模管理、组件库管理、任务管理、采集管理、 汇入管理、数据表管理、知识库管理、用户授权管理、平台智能管理等功能。2.3.3 数据分析层数据分析层主要包含过程分析功能和流式分析功能5。 过程分析功能包含统计分析、多维分析、关联分析。统计分析可定量的统计某类数 据信息；多维分析可从一类数据的多个维度进行纵向和横向综合分析给出结果；关 联分析实现对多类型多来源的数据通过场景与规则进行关联分析结果。流式分析功能引用常见流式分析技术，保证数据信息被持续不断完整地处理和保证 数据信息被

10、正确完整地执行，实现大数据持续不断可靠的计算运行。2.3.4 基础架构层 为整个系统提供数据存储的基础支撑，包含分布式存储、分布式计算、数据仓库、 分布式查询、元数据存储。2.3.5 数据采集层通过主动及被动方式采集实时数据，支持数据采集协议获取其它外部数据源信息； 数据采集层对采集到的数据进行归一化过滤、归并及实时分析的处理。平台的多维数据分析功能都是基于多维分析技术来实现。多维分析技术通过对业务 数据的充分理解，首先通过数据索引建模技术完成数据仓库的构建，然后在数据仓 库基础上利用统计、关联、挖掘等分析手段为构建数据分析模型、数据分析任务， 然后通过数据分析任务执行输出分析结果。每个分析模

11、型都被描述为大数据处理与分析系统的一个分析过程。这些分析过程可 以定期执行，用户可以直接可视化的查看这些分析过程分析出的结果。大数据处理与分析系统支持可视化的定义分析过程。伴随着客户对该系统的熟悉和 对数据认识的加深，后续用户可自行添加分析过程。业务分析模型的建设具有以下特点:1）数据源灵活可配；2）异构数据分析；3）可视化过程定义；4）丰富的过程组件；5）变量绑定；6）支持第三方扩展。平台中数据采集层、数据汇聚层设计的所有节点均使用统一的节点技术。该节点技 术采用了微内核架构，将核心功能与业务服务功能进行剥离。该技术可大幅度改善系统的非功能性技术指标，简化系统的整体复杂度，提高系统 运行的稳

12、定性、健壮性、易扩展、易部署、易管理。可通过添加节点的方式扩展系 统的处理能力；可通过添加组件的方式扩展系统的业务能力，保证系统的可扩展性 平台可通过代理收集多类安全事件源产生的日志信息，如安全设备、网络设备、操 作系统以及应用系统等。可支持的日志格式包括syslog、snmp、trap、文件、 ODBC 等多种采集格式。平台的事件归并技术可以根据用户指定的信息特征、字段等信息进行归并，当多个 信息的指定特征、字段的内容一致时，产生一个归并信息。同时用户可以自己指定平台通过使用SQL 92语法标准制订事件过滤条件，使用户直观的定义事件过滤条件，在事件收集、事件监视、报表定制中可以体现其强大的灵

13、活性，满足各种业务平台通过基于状态机的实时关联检测技术使用状态机来抽象和描述攻击的过程和场 景，状态机间的状态转换条件由不同安全事件触发。同时，实施关联分析技术通过 对时间的关联，可以有效地帮助用户过滤事件，在大量事件中提取有用的信息。 大数据分析平台可以使用内置的攻击状态机模型来抽取和描述攻击行为，支持用户 手工建立攻击关联场景，可有效地从大量安全事件中准确识别出真实的安全威胁， 帮助用户快速响应安全问题，不断优化网络的安全状况。基于先进的数据采集技术，获取企业和组织内部不同信息系统中的异构数据，通过 数据过程分析和流式分析实现对异构数据的挖掘和分析，实现对信息的可视化展示， 从而发现有价值

14、的信息，为企业和组织的领导层和相关业务组织结构的运营决策提 供数据支撑。大数据对企业和组织的影响既是一种挑战也是一种机遇，企业和组织想要在大数据 时代保持高效运转、实现创新、取得领先优势，就必须积极应对大数据时代变化趋 势，应对的核心策略就是要在业务中引入大数据分析，发掘企业和组织所拥有的数 据中蕴含的价值。【相关文献】1 涂子沛大数据M.广西:广西师范大学出版社，2012.2 李国杰数据共享-大数据时代国家治理体系现代化的前提C.开放政府数据，北京，中国人民大 学，2014.3 中科智远（北京）科技股份有限公司，2014 - 2015年度中国IDC产业发展研究报告R.2O15年4 月.1920.4 涂子沛数据之巅:大数据革命，历史、现实与未来M.北京:中信出版集团股份有有限公司， 2014.5 阿涅斯瓦兰颠覆大数据分析:基于Storm、Spark等Hadoop替代技术的实时应用M.北京:电 子工业出版社，2015.