云计算环境下大数据及其智能处理技术1

《云计算环境下大数据及其智能处理技术1》由会员分享，可在线阅读，更多相关《云计算环境下大数据及其智能处理技术1（2页珍藏版）》请在装配图网上搜索。

1、云计算环境下大数据及其智能处理技术1、什么是大数据“大数据”“是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。“大数据”首先是指数据体量（volumes）大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别（variety）大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。IBM将大数据归纳未三个标准，即3V:类型（variety）、数量（volume）和速度（velocity）。其中类型

2、（variety）指数据中有结构化、半结构化和非结构化等多种数据形式；数量（volume）指收集和分析的数据量非常大；速度（velocity）指数据处理速度要足够快。大数据对于悲观者而言，意味着数据存储世界的末日，对乐观者而言，这里孕育了巨大的市场机会，庞大的数据就是一个信息金矿，随着技术的进步，其财富价值将很快被我们发现，而且越来越容易。大数据本身是一个现象而不是一种技术，伴随着大数据的采集、传输、处理和应用的相关技术就是大数据处理技术，是系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理技术。2、“大数据”的缘由根据IDC作出的估测

3、，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律），这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量，预计到2020年，全球将总共拥有35亿GB的数据量，相较于2010年，数据量将增长近30倍。这不是简单的数据增多的问题，而是全新的问题。举例来说，在当今全球范围内的工业设备、汽车、电子仪表和装运箱中，都有着无数的数字传感器，这些传感器能测量和交流位置、运动、震动、温度和湿度等数据，甚至还能测量空气中的化学变化。将这些交流传感器与计算智能连接起来，就是目前“物联网”（InternetofThings）或工业互联网”（IndustrialInternet）

4、。在信息获取的问题上取得进步是促进“大数据”趋势发展的重要原因。3、“大数据”的辨正随着物联网和云计算的研究和应用不断深入，对大数据的研究越来越引起广泛的重视，对大大数据及其处理技术产生了很多错误的认识，业界有大量关于何谓大数据及它可以做什么的说法，其中有很多是相互矛盾的，都存在一定的片面性，根据IDC2011年市场研究报告，主要有三个典型的错误说法:1）关系型数据库不能扩展到非常大的数据卷，因此不被认为是大数据的技术；2）无论工作负载有多大，也无论使用场景如何，Hadoop或推而广之，任何Mapreduce的环境）都是大数据的最佳选择；3）基于数据模型的数据库管理系统的时代已经结束了，数据模

5、型必须大数据的方式来建立。结论是新型关系型数据库既可解决结构化和非结构化数据，也可满足大数据的数量和速度要求，相比较而言的Hadoop型解决方案是片面的，不能解决很多的关系型应用环境问题，不一定是最佳选择，大数据管理和处理有更优的解决方案和技术路线。4、“大数据”处理技术大数据时代的超大数据体量和占相当比例的半结构化和非结构化数据的存在，已经超越了传统数据库的管理能力，大数据技术将是IT领域新一代的技术与架构，它将帮助人们存储管理好大数据并从大体量、高复杂的数据中提取价值，相关的技术、产品将不断涌现，将有可能给IT行业开拓一个新的黄金时代。大数据本质也是数据，其关键的技术依然逃不脱:1）大数据

6、存储和管理；2）大数据检索使用（包括数据挖掘和智能分析）。围绕大数据，一批新兴的数据挖掘、数据存储、数据处理与分析技术将不断涌现，让我们处理海量数据更加容易、更加便宜和迅速，成为企业业务经营的好助手，甚至可以改变许多行业的经营方式。1）大数据的商业模式与架构云计算及其分布式结构是重要途径大数据处理技术正在改变目前计算机的运行模式，正在改变着这个世界:它能处理几乎各种类型的海量数据，无论是微博、文章、电子邮件、文档、音频、视频，还是其它形态的数据；它工作的速度非常快速:实际上几乎实时；它具有普及性:因为它所用的都是最普通低成本的硬件，而云计算它将计算任务分布在大量计算机构成的资源池上，使用户能够

7、按需获取计算力、存储空间和信息服务。云计算及其技术给了人们廉价获取巨量计算和存储的能力，云计算分布式架构能够很好地支持大数据存储和处理需求。这样的低成本硬件+低成本软件+低成本运维，更加经济和实用，使得大数据处理和利用成为可能。2）大数据的存储和管理云数据库的必然很多人把NoSQL叫做云数据库，因为其处理数据的模式完全是分布于各种低成本服务器和存储磁盘，因此它可以帮助网页和各种交互性应用快速处理过程中的海量数据。它采用分布式技术结合了一系列技术，可以对海量数据进行实时分析，满足了大数据环境下一部分业务需求。但我说这是错误的，至少是片面的，是无法彻底解决大数据存储管理需求的。云计算对关系型数据库

8、的发展将产生巨大的影响，而绝大多数大型业务系统（如银行、证券交易等）、电子商务系统所使用的数据库还是基于关系型的数据库，随着云计算的大量应用，势必对这些系统的构建产生影响，进而影响整个业务系统及电子商务技术的发展和系统的运行模式。基于关系型数据库服务的云数据库产品将是云数据库的主要发展方向，云数据库（CloudDB）,提供了海量数据的并行处理能力和良好的可伸缩性等特性，提供同时支持在在线分析处理（OLAP）和在线事务处理（OLTP）能力，提供了超强性能的数据库云服务，并成为集群环境和云计算环境的理想平台。它是一个高度可扩展、安全和可容错的软件，客户能通过整合降低IT成本，管理位于多个数据，提高

9、所有应用程序的性能和实时性做出更好的业务决策服务。这样的云数据库要能够满足：A.海量数据处理：对类似搜索引擎和电信运营商级的经营分析系统这样大型的应用而言，需要能够处理PB级的数据，同时应对百万级的流量。B.大规模集群管理：分布式应用可以更加简单地部署、应用和管理。C.低延迟读写速度：快速的响应速度能够极大地提高用户的满意度。D.建设及运营成本：云计算应用的基本要求是希望在硬件成本、软件成本以及人力成本方面都有大幅度的降低。所以云数据库必须采用一些支撑云环境的相关技术，比如数据节点动态伸缩与热插拔、对所有数据提供多个副本的故障检测与转移机制和容错机制、SN（ShareNothing）体系结构、

10、中心管理、节点对等处理实现连通任一工作节点就是连入了整个云系统、与任务追踪、数据压缩技术以节省磁盘空间同时减少磁盘IO时间等。云数据库路线是基于传统数据库不断升级并向云数据库应用靠拢，更好的适应云计算模式，如自动化资源配置管理、虚拟化支持以及高可扩展性等，才能在未来将会发挥不可估量的作用。3）大数据的处理和使用新型商业智能的产生传统针对海量数据的存储处理，通过建立数据中心，建设包括大型数据仓库及其支撑运行的软硬件系统，设备（包括服务器、存储、网络设备等）越来越高档、数据仓库、OLAP及ETL、BI等平台越来越庞大，但这些需要的投资越来越大，而面对数据的增长速度，越来越力不从心，所以基于传统技术

11、的数据中心建设、运营和推广难度越来越大。另外一般能够使用传统的数据库、数据仓库和BI工具能够完成的处理和分析挖掘的数据，还不能称为大数据，这些技术也不能叫大数据处理技术。面对大数据环境，包括数据挖掘在内的商业智能技术正在发生巨大的变化。传统的传统商业智能技术，包括数据挖掘，主要任务舒建立比较复杂的数据仓库模型、数据挖掘模型，来进行分析和处理不太多的数据。也许由于云计算模式、分布式技术和云数据库技术的应用，我们不需要这么复杂的模型，不用考虑复杂的计算算法，就能够处理大数据，对于不断增长的业务数据，用户也可以通过添加低成本服务器甚至是PC机也可以，来处理海量数据记录的扫描、统计、分析、预测。如果商业模式变化了，需要一分为二，那么新商业智能系统也可以很快地、相应地一分为二，继续强力支撑商业智能的需求。所以实际是对传统商业智能的发展和促进，商业智能将出现新的发展机遇，面对风云变幻的市场环境，快速建模，快速部署是新商业智能平台的强力支撑。而不像过去那样艰难前行，难以承受商业运作的变化。