大数据思维特征

《大数据思维特征》由会员分享，可在线阅读，更多相关《大数据思维特征（4页珍藏版）》请在装配图网上搜索。

1、大数据思维特征了解大数据思维的提出，这是理解大数据思维的前提，是把 握大数据思维的基础。然而，要对大数据思维拥有深刻、全面的 把握，还必须进一步揭示大数据思维的特征。在现代科技革命的 背景下，大数据思维在各领域中显示出巨大应用潜力，我们更应 对大数据思维的特征进行讨论，本章就将从整体性与涌现性、多 样性与非线性、相关性与不确定性等三个方面提炼大数据思维的 特征。1整体性与涌现性牛顿以来，机械自然观的思维方式在近代科学研究中流行开 来，机械论自然观在很大程度上指导了科学家的科研活动，这种 机械论自然观在方法论上是还原论的。然而，在现代科技革命的 背景下，机械论自然观的不变性、基本性、直观性、既成

2、性的特 点暴露出了还原论的局限。辩证自然观登上历史舞台以后，在人 与世界关系问题上，采取了将人与世界看作一个整体的态度，具 有整体论的特点。大数据时代，通过数据考察人与世界的关系问 题，世界在大数据维度上呈现出现前所未有的新气象，在大数据 思维的背景下，涌现性成为描述全体数据最合适的词汇。整体性 和涌现性成为大数据思维的首要特征。1.1整体性整体性是相对于系统的部分或者元素讲的，大数据思维要求 人们将所获得的大数据作为一个系统，那么这个系统的首要特征 就是整体性。大数据思维的整体性是指在数据挖掘的过程中，我 们需要重视全体数据的追求和分析，在把握问题的方法上，注重 从整体把握对象。古希腊时期，

3、世界的本原问题就是哲学家们追 问最多的问题之一。亚里士多德说，世界的存在物都由本原组成， 存在物在原初都从本原产生，最后又复归为它。古希腊哲学家针 对世界本原的问题上，经历了从对世界感性直观到对世界超感性 抽象的过程。在大数据时代里，人与世界的关系、思维与存在的 关系通过海量数据紧密联系起来，大数据在某种程度将成为世界 本原的新解读。在大数据时代中，整体性思维是面对问题、解决问题时的首 选。数据量增长迅速的情况下，与以随机样本为核心的小数据思 维形成鲜明对比的是，以全体数据为核心的大数据思维显现出的 巨大能量，即整体性。大数据思维主张进行全体数据的获取和分 析，也就是通过整体思维的方式来把握研

4、究对象。举一个简单的 例子，我国每10年进行一次全国人口普查，两次人口普查的时 间终点，进行一次1%人口抽样调查。新中国成立以后，我国共进 行了六次全阈普查和三次1%人口抽样调查，社会各界投入的人 力、财力成本巨大，以2021年北京市人口普查有关数据为准， 北京市级财政和区县财政投入相加，人口普查总投入超过6亿元 人民币，由此可见全国人口普查所占用的财力将是巨大的。相比 于全国人口普查的全国人口的广泛覆盖和庞大的调查费用，1%人 口抽样调查是一种省时又省力的人口调查方式，但是抽样的结果 往往有一定的误差，在统计学上误差是无法避免的，只可能在一 定条件下降到最低。在大数据时代，我们假设在时间上、

5、技术上 等方面不存在难点，每10年的人口普查将变得比现在的人工入 户普查的方式高效得多，1%人口抽样调查也可以变为人口普查了， 那么1%人口抽样调查甚至可以被全国性的人口普查替代。针对 大数据思维的整体性特征，刊登在学习时报上的两篇文章颇 具代表性。1.2涌现性涌现性通常是系统整体具有的特征，是指在系统中各部分、 各元素单独存在时不具有，但是将它们组合成一个整体后系统所 具有的特征，也被称为“整体涌现性”。在大数据思维的背景下， 新情况在不断地涌现，涌现性也成为大数据思维的重要属性。全 体大数据整体具有的，而小数据单独、部分或者所有小数据所不 具有的属性、特征和功能等可以称为大数据思维的涌现性

6、。也就 是说，当我们把大数据拆分为各个小部分时，大数据所具有的这 些属性、特征和功能等便不可能体现在小数据上或者所有小数据 上。来源一：构材效应。苗东升教授将系统的涌现，归结于系统 的构成上。系统由组分构成，或者由它的元素构成。那么，系统 的涌现性也就来源于这里。整体涌现性的出现在特定的组分和元 素构成的系统中，如果更换了系统中的组分、元素，则原涌现性 就无法出现。来源二：规模效应。系统的规模大小也是影响涌现的基本要 素，涌现性的出现需要足够多的组分或者元素，也就是足够的材 料，没有足够大的系统，是无法出现涌现的。涌现的出现，依赖 于系统在一定程度的复杂性。来源三：结构效应。组分之间的不同结构

7、，以及不同组分间 的相同结构，均会产生不同的涌现性。在整体系统中，组分之间 的相互作用、相互位置不同，产生的作用力就不同。比较特殊的 两个现象是同分异构和物理学超导现象，在组分、元素相同的情 况下会表现出两种不同的涌现特征。来源四：环境效应。系统处于特定环境条件下，就会受到环 境条件的影响和制约，现代科技条件下的系统通常是开放系统， 无法避免的与系统外进行信息交换，在这种条件下也会产生特定 的性质，表现出涌现性特征。2多样性与非线性2.1多样性大数据思维的多样性特征是通过数据种类的不同体现的。关 系数据库中存储的基本是结构化数据，例如整齐的文字、数据或 者同一种类的文件。而非关系数据库的中存储

8、的多源异构数据 （就是前文提到的半结构化数据、非结构化数据），例如不整齐 (杂乱)的图标、表格、网页、视频或者其他类型的异构数据， 成为了大数据思维多样性的主要来源。多样性并不仅存在于大数 据领域，我们人类生活的方方面面均存在多样性，可以说，在社 会、自然甚至宇宙万物都依赖多样性而存在。托夫勒在上世纪80 年代所写的未来学书目第三次浪潮中，就已经提到了人类因 电子计算机发展迅速，信息革命开始，传统的传播工具群体化特 征将不再明显，“传播工具将急剧的非群体化”，传播对象将变得 多样起来。人类社会中，人是社会关系的总和，社会关系是多样 的，不同地区文化是多样的。自然领域中，包括海洋环境、陆地 环境

9、、大气环境，生物多样性的存在让生物圈多姿多彩。事物的 发展变化总离不开多样性，如此看来，大数据思维中存在的多样 性特征不可避免，我们在注意到大数据思维中存在多样性的同时， 应尽可能全方位把握多样的存在，搞清楚多样性在大数据思维中 的具体表现，为我们利用大数据思维奠定基础。2.2非线性进入大数据时代以后，人类认识世界的方式将发生改变，大 数据思维非线性特征将帮助人类在认识世界、考察世界的过程中， 建立非线性观点。非线性(nonlinear)是相对于线性(linear)来 说的，是指方程的解满足叠加定理(superposition principle)的 现象或者系统所具有的特征，非线性是线性的否

10、定。在数学中， 线性是一种具有比例关系的性质，函数表现是成比例的、直线的， 方程的解满足齐次性或者加和性。而非线性是一种没有比例关系 的性质，函数表现是不成比例的、不成直线的。我们在科学研究 中采取的线性思维，可以看作非线性现实的简化。由于世界本身 是非线性的，采取线性思维，就是一种近似思维，这样一来，我 们看到的世界将是不真实的，也脱离了世界的本来面貌。然而， 大数据思维的出现带来了整体思维，这样的思维方式生来就对真 实世界亲近又抱有好感，人类可以利用采集海量大数据的方法， 得到现实世界第一手的数据，通过这些数据来了解我们的世界， 将更加接近真实、接近现实。在这样的意义上，大数据思维在本 质上表现出了非线性特征。