大数据_给我们带来的价值与困扰

《大数据_给我们带来的价值与困扰》由会员分享，可在线阅读，更多相关《大数据_给我们带来的价值与困扰（3页珍藏版）》请在装配图网上搜索。

1、2014 年第 3 期（总第 131 期）广 西 教 育 学 院 学 报 GUANGXI JIAOYUXUEYUAN XUEBAONO.3，2014（Serial NO.131）!“大数据”给我们带来的价值与困扰刘畅1，刘典富2（1齐齐哈尔高等师范专科学校，黑龙江省齐齐哈尔161005； 2北方华安工业集团有限公司，黑龙江省齐齐哈尔161046）摘 要：随着物联网和云技术的不断发展，人们制造和应用的数据量都在不断增大，传 统的数据表示形式已无法满足需求。“大数据”概念的提出和“大数据”技术的尝试让人们看 到了数据的潜在价值，同时也给我们带来诸多的困惑。如何正确对待这个新生事物，它会给我 们的生

2、活带来什么样的改变，以及如何有效利用它，将是我们要长期探索和研究的内容。关键词：大数据；物联网；云技术；结构化数据中图分类号：TN919文献标识码：A文章编号：10069410（2014）03014903随着物联网、云计算等技术的不断深入，数据 级也已经从 TB （1024GB1TB） 级升级为 PB 级（1024TB1PB），并且在不远的未来将升级为 EB级（1024PB1EB）乃至 ZB（1024EB1ZB）级别，直 至 NB 级（1NB2100B），这一切都说明“大数据” 时代正向我们快步走来。在咨询公司麦肯锡的报 告大数据时代到来中首次提出了“大数据”的到 来，报告中称“数据，已经渗透

3、到当今每一个行业 和业务职能领域，成为重要的生产因素。人们对于 海量数据的挖掘和运用，预示着新一波生产率增 长和消费者盈余浪潮的到来。”其实这种“大数据” 早就存在于军事、物理、通讯及环境生态等领域， 近年来随着互联网技术的成熟、信息行业的发展 及云技术的出现而引发越来越多的关注。2012 年 “大数据”已成为 IT 行业的关键词汇，并且被认为 将会给未来的生活、工作以及思维带来重大的变 革。时至今日，大数据已经在教育、医疗、汽车、服 务等行业展现出惊人的能量1。一、大数据的概念“大数据”字面理解为“大量的数据”，然而这里用“大”已经远远不足以形容当今世界中的数据 了。大数据（Big Data

4、）也称为“海量数据”，是指那 些超过传统数据库系统处理能力的数据。主要体 现在以下两个方面：第一、数量上当前的数据库系 统无法在合理的时间内对其进行撷取、管理和处 理；第二、在结构上不再是单纯的结构化数据，更 多的都是半结构化数据，对于数据分析来说要花 费更多的时间。二、大数据的特点与传统的关系型数据相比较，大数据体现出 以下四个方面的特点，我们总结为 4V 特点，即： Volume数量巨大、Velocity速度极快、Va riety类型多样、Value价值无限。首先，数量巨大。那么大数据究竟巨大到什么 程度呢？网上公布一组名为“互联网上一天”的数 据直观的告诉我们：24 小时内，互联网上产生

5、数 据可以刻满 168 亿张 DVD；美国一年内的纸质信 件数量大约在 1500 亿封，而一天全球通过网络发 出的电子邮件就可以达到 2940 亿封，相当于美国 两年的纸质信件数量；网络中一天发出的社区帖收稿日期：2014 年 03 月 19 日广西教育学院学报 2014 年第 3 期子达 200 万个，相当于时代杂志 770 年的文字 总和；卖出的手机为 378 万台，比全球每天出生 的婴儿数量 371 万还多 据国际数据公司 （IDC） 的研究结果表明，2009 年全球产生的数据 量为 08ZB，2010 年 增 长 为 12ZB，2011 年 达 到 182ZB，预计 2020 年，全球

6、数据使用量将是现在 的 44 倍，达到 352ZB2。大数据的起始计数量被 定级为 PB。第二，大数据的处理速度快，对于数据的时效 性要求特别高，这也是大数据区别于传统数据挖 掘的最显著的特征。在当今的网络环境下只有对 数据做出快速的分析和处理才能获取最大的价 值。例如，对于网络销售而言，需要实时的了解当 前的交易情况，及时获取最新的数据，并对数据进 行准确的分析，根据分析结果来指导进货、销售等 决策，如果数据不及时，其分析结果一定不够准 确，从而导致决策失败。第三，数据型类多样化。随着互联网络的不断 发展和物联网研究的不断推进，来自于传感器、社 交网络、金融交易等方面的数据量越来越大，从而

7、导致数据的类型多种多样，传统的结构化数据已 经无法准确的说明事物。数据中除了单一的结构 化数据以外还包含了大量的图形、图像、声音、动 画、影视等非结构化数据。第四，大数据蕴含无限的战略价值。通过对大 数据的分析我们可以了解事物的发展轨迹、预计 其发展趋势、总结其规律，帮助我们做出正确的决 策，优化运作流程。因此，如何在海量的大数据中 提取有用的数据，并对其加以利用是大数据技术 的关键所在。三、大数据的价值前面我们简单谈过大数据蕴含的战略价值， 具体的说大数据的价值将主要体现在两方面：一 方面，它将对全球的经济发展起到巨大的推动作 用；另一方面，在科学研究中大数据的应用也将会 对其产生巨大的影响

8、。在经济方面，据咨询公司麦肯锡预测，如果欧 洲在公共管理上使用大数据将会产生 2500 亿欧 元的收益；美国如果在医疗保健方面应用大数据 产生的效益也将会达到 3000 亿美元；此外，销售 领域应用大数据的话将增加 60的利润，而制造 业应用大数据成本将会减少 50左右3。因此，大 数据的应用也被认为是从工业经济迈向知识经济 150 的第一步，更有人士预言大数据将会成为“第三次 工业革命”的重要战略资源。在科学研究方面，首先，大数据将会最大限度 的拓展人们对自然科学研究能力，为科学发现和 技术发明提供强大的工具。有人认为，科学研究依 靠的不再是几千年的经验、几百年的理论、几十年 的仿真计算，而

9、是对海量数据的探索。其次，大数 据也将促进社会学的发展和研究，形成有效的量 化方法，使社会科学的研究更加科学和精确，催生 “计算社会科学”（Computational Social Science）等 新兴学科4。随着云技术和物联网技术的不断发展，大数 据的重大战略价值越来越受到人们的广泛关注。 作为大数据发展的积极倡导者美国一直认为大数 据对提升国家创新能力起着至关重要的作用，不 仅和其他国家政府一样广泛开放政府拥有的各类 数据，还于 2012 年 3 月份发布了大数据研究计 划，在大数据核心技术研究方面投资两亿美元进 行资助，以推进大数据在科学研究、医疗保健、能 源开发和国家安全等领域的应

10、用。我国在大数据产业方面发展也是机遇众多。 一些企业也早已积极的进行了研究与实践，其中 百度、阿里巴巴等互联网企业走在最前列，它们不 仅注重利用大数据提升自身产品和服务质量，同 时还致力于平台的开放，向更多的中小企业开放 所有的大数据资源，产生新的商业模式。其中，百 度在 2012 年 9 月宣布开放大数据，将大数据与网 络游戏营销结合在一起，为游戏公司带来收益；阿 里巴巴于 2012 年 7 月推出了“聚石塔”，这是一个 以云计算为基础的数据分享平台，通过该平台的 使用天猫和淘宝上的商户不但可以在第一时间获 得数据，而且还可以获得销售效果、买家、物流等 多方面的分析数据，更夸张的是通过该平台

11、商户 还可以及时了解行业的发展趋势。虽然“大数据”这个新兴技术被所有人看好， 但对于它的应用还存在着一些风险和问题，比如： 开放的数据不够丰富、程度相对较低、数据库平台 技术不支持、技术人员业务急需加强、数据安全方 面的法规有待完善等。四、大数据技术面临的问题1、数据的存储问题相对于结构化数据和非结构化数据而言，通 常我们使用的数据大多都是半结构化数据，这种数理化体育学艺术学拾贝 刘 畅，刘典富 “大数据”给我们带来的价值与困扰半结构化数据既不能够利用关系型数据库或面向 对象数据库来表示、存储和处理，也不像图片、声 音、视频等数据那样完全没有结构。最常见的半结 构化数据就是网页型数据 HTML

12、 文档。据统计，目 前互联网上的非结构化数据已占 75以上 5，并 且这种比例关系在不断的加大，所以对于这类数 据的存储与处理已是迫在眉睫。这些非结构化数据和半结构化数据无法像结 构化数据那样用传统的数据库中的二维逻辑表来 表现，所以必须有一种新的非结构化 WEB 数据库 来存储和管理这些数据，并且针对非结构化数据 的特点，要求在这种非结构化数据库中每个字段 长度不能是固定的，并且每个字段的记录又可以 由可重复或不可重复的子字段来构成。与传统的 关系数据库相比，这种 WEB 数据库中的数据长度 不是固定的，支持同一数据中出现重复字段，可以 出现多个子字段以及变长字段，实现了对变长数 据的存储与

13、处理，在同时处理结构化数据和非结 构化数据中表现出传统关系型数据库所不具备的 优势。2、数据的分析问题无论是什么类型数据，对于数据处理来说最 主要的内容都是对数据进行分析，但如何对海量 数据进行分析是目前最大的一个问题。一方面，在 大量数据的选择过程中，如果选取因子过大则会 使数据噪音过大，使一些无关于研究的数据进入 到选择范围内；如果选取因子过小，则一些有价值 的数据会被过滤掉，从而使分析结果不准确。另一 方面，“大数据”要求的实时性对于现有的传统数 据库系统和硬件来说都是极大的挑战，无论在时 间上还是在准确度上大数据都为人们提出了更高 的要求。3、数据的表示形式数据分析是专业人士关心的问题

14、，而对于普 通用户来说更在乎的是数据表示形式。用户已不 再满足于以文本的形式来获取分析和计算结果， 他们更在意的是数据结果的表现形式，要求更加 人性化、形象化，更加具有表现力，并且用户也不 仅只针对于数据结果的准确性，对整个数据分析、统计、计算的过程也更为关注。 4、数据的安全问题 随着网络社会的逐步形成和数据平台开放程度的不断加大，数据资源被放在了一个公共的环 境之下，随之而来便是数据的安全问题。正是因为 这种开放的数据环境，使得一些黑客也更加方便 的窃取网络中的数据。近年来，网络用户信息泄露 事件也是频频发生。2012 年 6 月，挪威 IT 网站报 道，约有 650 万职业交友类网站 L

15、inkedIn 用户的 账户名和密码被泄露；2012 年 7 月，雅虎网络遭 遇黑客攻击 ，45 万个用户账号信息遭到泄露； 2013 年 10 月，Adobe 公司遭遇网络安全入侵，近300 万个用户的信用卡信息和其他数据被窃取。 虽然“大数据”一词很火热，但对于它的研究与探索还只是处于初级阶段，还有许多问题需要 解决，如何有效的利用“大数据”的价值，提升“大 数据”的管理技术和水平也将是我们今后的努力 方向。参考文献：1孟小峰，慈祥大数据管理：概念、技术与挑战J计算机研究与发展，2013，50（01）.2姜峰 2011 年全球数据总量达到 18ZB， 预计到 2020 年将达到 35ZB

16、当“大数据”来敲门（经济聚 焦）ol 人民日 报 ，2012 12 12http：/techxinmincn/2012/12/24/17789537html.3陈明奇，姜禾，张娟等大数据时代的美国 信息网络安全新战略分析 J 信息网络安全， 2012（08）.4 大数据技术大会，http：/specialcsdnnet/bdc2011/indexhtml.5李国杰，大数据研究的科学价值，中国计算机通讯学会，第八卷第九期，2012 年 9 月.作者简介：刘畅（1978），女，黑龙江省齐齐哈尔市人，齐 齐哈尔高等师范专科学校计算机系副教授，主要 从事程序设计教学与研究、物联网技术应用研究。 151