大数据的研究与应用

《大数据的研究与应用》由会员分享，可在线阅读，更多相关《大数据的研究与应用（28页珍藏版）》请在装配图网上搜索。

1、大数据的研究与应用摘要：现如今的21世纪，经济水平在不断的快速发展，大数据已经不是一个陌生的代名词，越来越多的存在于人们的视线中。无论是在人们日常的生活中，还是人们的衣食住行以及工作，都发挥着重大的用途。不了解的人可能觉得大数据只能运用在商业或者政府机构，实际上还适用于我们每一个人。在当今年代，伴随着计算机信息技术的不断发展，已经融入到了各种行业当中。随着网上的信息资源量的不断膨胀增加，此技术给人们带来方便的同时，由于它的复杂性质还是带来了一些用户使用的不方便。大数据的类型具有多样化的特征，能够进行多样化的数据存储以及分析功能，同时还能够捕获大量的信息资源进行存储和分析，这是传统的数据处理技术

2、远远达不到的。本文正是进行研究我国大数据技术的发展现状和面临的挑战，并提出有效的发展策略，以至于可以为中国大数据技术的发展起到借鉴意义。关键词：大数据、价值、数据处理技术、多样化Research and application of big dataAbstract：With the rapid development of the 21st century, people should be quite familiar with the term big data. Big data is also increasingly integrated into our daily lives.

3、 From our food and clothing to work, big data plays a very important role and role. Big data is not only for business and government, but for everyone in our lives. Nowadays, with the rapid development of computer information technology and Internet information technology, computer network technolog

4、y has penetrated into all walks of life. The information resources on the network have exploded, and the use of Internet information technology has brought great convenience to our lives. The complexity of the information on the Internet has also caused great trouble to users. The data types in the

5、era of big data are also more diverse. Traditional data processing techniques are difficult to meet the storage and analysis of diverse data. However, big data technology can effectively solve the problem of acquisition, storage and analysis of massive information. In-depth study of the development

6、status and challenges of Chinas big data technology, and propose a targeted development strategy to provide reference for the development of Chinas big data technology.Key Words ：Big data、Value、Data processing technology、Diversification目录前言1第一章 选题意义21.1选题的背景21.2大数据的发展现状和研究意义21.2.1 大数据的发展现状21.2.2 大数据

7、的研究意义3第二章 数据简介42.1大数据的定义42.2 大数据的内涵42.3 大数据的特征5第三章 大数据技术63.1基础阶段63.2 存储阶段73.3 架构设计阶段83.4 实时计算阶段93.5 数据采集阶段9第四章 大数据的具体应用领域114.1 金融领域114.2 安防领域114.3 能源领域124.4 业务领域134.5 医疗领域144.6 电力行业领域15第五章 基于大数据的大气环境监测165.1 大数据技术在大气环境监测行业中的意义165.2 环境大数据的概念165.3 环境数据的采集与获取175.4 环境数据的存储与处理195.5 环境数据的应用20总结23致 谢24参考文献2

8、5iii前言大数据处理模式，具有便捷而又快捷的特点，这种模式也是本文将要研究的重点。绝大多数的人都赞同一个观点大数据是最好的工作模式来进行大批量的数据处理，这是其他的模式替代不了的，也是毫无疑问的。作为现在最流行的一种技术，大数据不仅能够搜集新的知识以及发现新的机遇，还能够创造出很高的价值空间。普遍认为，大数据的时代到来并不是一个终点，而是一个起点，使得人们会对生活、工作甚至世界的认知度以及理解度增加。现如今的计算机存储的信息增加量的速度比世界经济的发展速度还要快上4倍，同时计算机数据处理能力的进步速度比世界经济的发展速度快上9倍。规模对于信息来说，是比较重要的，之所以大数据时代会如此的厉害，

9、是由于存在着上千亿量的数据项支撑着，其核心是它的预测功能。第一章 选题意义1.1选题的背景在我们的生活当中，以及融入了很多的物联网、社交网络以及云计算等技术。随着当今的计算能力、存储空间以及网络带宽的快速发展，人们在各个行业所累积的数据，都在不断的呈现着增加的趋势。经研究可以发现，互联网搜索引擎能够支撑数十亿次数的网页搜索，几乎每天可以处理上万TB字节的数据，而且全球的通信网的主干网上在一天的时期内就有大约数万TB字节数据不断的传输。就好比，从事于医疗方面的医院和药店等地方，每天都会记载许多的数据。随着当今数据的存储量的升级、大数据的应用不断的广泛以及其本身自有的价值，使我们必须去深入的探究其

10、应用，以至于我们可以更好的受益于这些数据。大数据在本质上其实是一种针对数据技术革命，不仅在国家宏观调控，商业战略决策，服务业务以及管理方式有了重大的影响，甚至在个人的生活起居中带来了一个重大的影响。大数据自身的高价值，也社会经济中的发展，带来了新的高收益的机遇。同时大数据的技术更新，被称之为又一次的“工业革命”。1.2大数据的发展现状和研究意义1.2.1 大数据的发展现状在中国现在的大数据行业的发展还是处于初级阶段，但是其发展空间很大。是因为中国的数据资源量特别广泛，基于这些众多的资源量，可以为中国带来好的机遇以及发展环境。随着中国对信息技术的重视度不断增加，以及数据处理技术的广泛普及，导致我

11、国的数据资源的曲线不断上升。与此同时，由于中国信息产地不断地对大数据处理技术进行研究以及推进，更是为中国的大数据技术的发展推向了一个新的阶段，提供了发展动力。在最近的几年时间，中国的大数据行业产生的产品特征，慢慢的由信息驱动转变为应用模式发展。中国用户具有很大的需求量市场，所以大数据产业的发展前景很好，也正是因为庞大的市场效益，大数据产业才有了生存的动力。大数据行业的发展前景还引起了国外政府的注意力，很多的国家设置了一些有关大数据的政策，并且针对大数据的发展进行了详细的研究。现如今国与国之间的竞争已经不是单单的是军事力量，已经上升到了综合国力之间的斗争。而有关大数据的应用就是其中一个方面，所以

12、，各个国家都必须注重对数据的获取及其控制的研究。美国早就在2012年的时候，奥巴马政府就进行制定了有关大数据研究及其发展的计划，现如今是美国非常重要的信息科技发展部署地。并且美国政府坚信大数据以后肯定会成为一种好比黄金、石油一般重要的资源。不仅是美国，还有一些其他的欧洲国家以及日本，都先后进行了有关大数据研究的计划，并为本身的国家数据行业的发展提供了初期的市场培育。1.2.2 大数据的研究意义1、国家战略意义相比较于自然资源和人力资源，大数据与其一样都是比较重要的战略资源，并且能够体现出一个国家数字主权。在目前的大数据技术当代的时代中，国家的竞争已经上升到了各世界国家大数据的范围、活性和数据的

13、分析及其运用的能力。除去以前的海陆空战斗的模式，现在已经转变为了在网络空间的数据主权竞争。2、科学研究意义在人们经过采用计算机来分析记录周围自然界的发现、人们的社会发展历程以及自然与人的关系的环节中，由于大量的数据产生致使人们在无意识中建立了一种数据自然，不仅如此，人与社会以及宇宙的历史会演变为数据的历史。中科院院士李国杰先生早在之前就说过：“如果大数据产业处于落后的地位，那么将不能处于产业战略的制高点，并且代表着数字主权无险可守，甚至导致国家安全将出现漏洞。”第二章 数据简介2.1大数据的定义大数据通俗来讲，说的是在不能接受的时间范畴之内，通过使用部分软件工作来获取、管理以及处理的数据集合。

14、必须经过新型的处理模式才能够具备更为强大的决策力、洞察力以及流程化优化能力，以及具有增长率高和信息资产的多样化的特征。大数据的实际战略意义并不是存储大量的数据资源，而重点是对数据信息进行专业的处理。有相关报道针对大数据的说法是：大数据的计量范围超过了一些传统的数据库软件的功能。大多数的人觉得大数据其实只是一种简单的概念，实际上并没有一个单独的执行标准来判定数据集合的范围限定在多少。可以发现，时代的变化以及数据处理技术的发展，很多达到大数据规定的数据集合的范围也在不断的上升增加。与此同时，大数据的规模也是根据行业领域及其应用的不同而变得不具有统一性。2.2 大数据的内涵1、根据对象角度，大数据必

15、须要着重关注的是，大数据不是简简单单、没有意义的积累资源，但是也不代表一定存在着直观的有利用性前景。当然，想要在大数据中得到新的有价值性的信息，这就要求这些大量的数据能够有着一些关联性，这样才能具有挖掘价值。数据间的结构性以及关联性是大数据和其他典型数据的区别所在。 2、根据技术角度，大数据和其他数据的最大的不同之处在于，大数据可以对数据对象之间进行处理。要想能够成功达到这一要求，这就需要在大数据对象中急速的选取当中有效的信息。这将要求我们采取合适的方式，其中包含了数据的挖掘以及分布式处理等。由此可见，大数据技术是一个非常有效的工具来发现和挖掘其中的价值。3、根据应用的角度，大数据是一种具有某

16、一定性要求的大数据集合，同时具有捕捉有效信息的一种能力。也正是因为其这种应用功能上的紧密联系性，甚至是一对一的联系，大数据的应用才成为了当中必不可少的内容。2.3 大数据的特征普遍认为，大数据主要是具有规模性、多样性、高速性以及价值性的四个特征,也被称之为“4V”。1、规模性。也就是大数据的数量大的特点，存储单位也是由过去的GB变为TB，一直到PB、EB。根据大数据技术的不断成长，数据呈现着突发性的增加。其来源覆盖了社交网络，移动网络，以及各种智能终端等。其中淘宝网大概拥有4亿的用户就能天天形成的货物成交额数据达到20TB。所以急需先进的算法、快速的数据处理平台及其技术，进行计算研究、判断以及

17、及时处理较大内容的数据。2、多样性。大范围的数据来源，也意味着大数据的形式变得更加的多样化。大数据总体上可以划分为三种。一种是结构化数据，其次是非结构化的数据最后是半结构化数据。3、高速性。比较于以前的档案、广播和报纸等传统数据，他们的载体是不一样的。大数据能够进行实时分析，而不是批量性的分析，进行输入、处理和丢弃操作时候能够立马见效，没有太久的延迟。数据的快速增长速度以及处理的速度，便是大数据的最明显的特征。4、价值性。这同时也是大数据最主要的特征。在现代社会产生的数据当中，有价值的信息占据的比例是不多的。对比于传统的小数据，大数据其最主要的价值就是根据各个不同来源的大量数据信息进行选择分析

18、，以此来判断预测哪些是有价值的数据，并且经过机器的自主学习方法、人工智能的方法或者数据挖掘分析方法进行更进一步的研究，来发现新规律以及新的知识。并且将其运用于农业、金融、医疗等各个行业，以至于能够改善社会治理情况，抬高生产力，并且促进科学的研究进程。第三章 大数据技术3.1基础阶段大数据在此阶段必须具有以下技术：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoop mapreduce hdfs yarn等。1.Linux命令Linux主要的思想设计有两点：第一，一切都是文件；第二，每一个设计出来的软件都有其本身明确的作用。第一点的意思就

19、是说，系统中的所有东西都被包含于一个文件，比如命令、软硬件设备、操作系统、进程等一些对于操作系统而言，都拥有属于各自的特性或类型的文件。并且，基于此命令的系统是一款完全免费的操作系统，用户可以自己通过各种途径免费获取使用，并可以任意修改其源代码。正是如此，全世界无数的程序员参与了Linux的修编工作，Linux吸收了无数程序员的智慧。一般大数据的开拓都是在Linux下运行的，对比Linux，Windows是比较封锁的，以至于设计的大数据软件具有较大的局限性。所以，只有清楚了Linux基础操作命令，才能从事一些和大数据设计相关的工作。通常应用于大数据的融合。2.RedisRedis是一种key-

20、value存储系统，它的呈现已经大范围的弥补了memcached这种key/value存储的不足的地方。在一些特定的场合能够对关系数据库发挥到较好的补充功能，它不仅提供了Java，C/C+，C#，PHP，JavaScript等客户端，还具有使用简单便捷的特点。大数据的开发需要完全了解Redis的装配方法、设置以及有关的使用方式。通常应用于大数据的融合。3.2 存储阶段大数据在此情况需要了解以下技术：hbase、hive、sqoop等。1.HBaseHBaseHadoop Database，是一个高可靠性、高性能性、面向列、可伸缩的分布式存储系统，利用HBase技术可在PC Server上搭建起

21、大会莫结构化存储集群。通常应用于大数据的融合。HBase相比较于普通的关系数据库，此散布式的存储系统具有更高的高能性以及可伸缩的特点，想要对其开发需要了解HBase基本知识、运用、构造以及用法等。图3-1：HBase技术架构2.HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行，通常应用于大数据的融合。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是建立在 Hado

22、op 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制，通常应用于大数据的融合。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。3.3 架构设计阶段大数据在此时期需要了解以下技术：Flume分布式、Zookeeper、Kafka等。1、KafkaKafka是分散式的发布订

23、阅信息的系统，通常应用于大数据的处理。他主要的运行机制是在设计应用时候采取Hadoop来实现上下线的信息处理。同时必须经过集群来进行及时的信息补充。大数据的设计要求具备了解Kafka的框架原理和各部位组件的效果及其使用步骤和有关功能的使用。2、FlumeFlume其实是一种可以搜集具有可用性、可靠性以及分散式的海量日志，并且具有聚集和传输功能的系统，通常应用于大数据的处理。Flume可以在其中从发送方定制各类数据，以至于可以收集到数据。与此同时，Flume还能够大概的对数据进行处理，以及定制各种数据接受方的能力。对大数据进行设计必须要完全了解它的装置、装配以及有关的使用要领。3、ZooKeep

24、erHadoop和Hbase的最重要的组成部件就是ZooKeeper。ZooKeeper是一种为分散式应用专门供应一些具有统一性的服务软件，通常应用于大数据的处理。其所具备的效果主要是维护、域名以及组件的服务等。在大数据的设计研究中，需要了解ZooKeeper的基础命令和如何落实其功能的措施。3.4 实时计算阶段大数据在此时期需要了解Mahout、Spark、storm等技术。1、SparkSpark是一种计算引擎，在专门针对大规模形式的数据处理而产生的，通常应用于大数据的处理。他所具有的完整的构架可以用来控制各种来源的大数据处理的需求。大数据的开发要求具备Spark基础，SparkJob，S

25、park RDD，spark job部署与资源分配，Spark shuffle，Spark内存管理，Spark广播变量，Spark SQL，Spark Streaming以及Spark ML等相关知识。2、stormStorm供应了基础的基元给分散式计算机，通常应用于大数据的处理，能够被用来进行流处理、及时的消息处理甚至对数据库进行更新。Storm可以在一组计算机中轻松地撰写和分析庞大的信息及时计算。Storm可以被用来及时处理，如同Hadoop用于成批管理一样。Storm确保每一条信息都能被快速处理在此阶段中，平均每一秒能够达到数百万条信息的处理。3.5 数据采集阶段大数据在此时期需要具备P

26、ython和Scala技术。1、Python与数据分析Python是面向对象的编程语言，其具有一个信息庞大的数据量，具有运用便捷以及应用范围广的特点。通常应用于大数据的分析和挖掘，在大数据产业的运用也有不错的呈现，大部分是被用来进行数据的搜集、分析以及可视化的处理等。由此可知，大数据的设计研究需要具备一定的Python知识。2、Scalascala是一种多范式编程语言，类似于JAVA，也是一种可伸缩的语言，并集成面向对象编程和函数式的各种特性，通常应用于大数据的分析和挖掘。Scala有几项关键特性表明了它的面向对象的本质。例如，Scala中的每个值都是一个对象，包括基本数据类型（即布尔值、数字

27、等）在内，连函数也是对象。Scala是静态类型的，这就允许它提供泛型类、内部类、甚至多态方法（Polymorphic Method）。另外值得一提的是，Scala被特意设计成能够与Java和.NET互操作。它用scalac这个编译器把源文件编译成Java的class文件。因此，用户可以从Scala中调用所有的Java类库，也同样可以从Java应用程序中调用Scala的代码。Spark是一种大型数据开发的重要框架，它是用scala语言设计的。要掌握Spark框架，就必须有Scala基本知识。所以，具有大规模数据开发的scala编程基本常识是十分必要的。图3-2：系统总体架构第四章 大数据的具体应

28、用领域4.1 金融领域大数据带来的社会变化逐渐的渗透到人们生活的方方面面。金融的革新与日常旅游、购物、体育、财务管理等大数据都是密不可分的。金融业一方面面临着许多前所未有的跨境竞争对手，另一方面已经渐渐的改变了市场结构和业务流程的格局。据报道，此前，我国金融业数据量已经达到了100 TB以上，非结构化数据呈现急速上升趋势。相关的研究学士表示，中国金融产业现在已经在逐步的进入大数据时代的早期建设阶段。金融市场进行创新的重点就是具备优秀的数据分析能力。同时有关金融方面的数据的知晓情况已逐渐转变为金融产业竞争发展的核心。在金融领域，企业通常会使用基于Java编写技术的FineReport报表，其数据

29、库数据源应用的技术包括Oracle，SqlServer，MySql,DB2,Sybase,Informix等主流的关系型数据库；支持SQL取数据表或视图，亦支持存储过程。图4-1：2017年中国金融行业大数据应用投资结构4.2 安防领域视频监控作为当今数据时代的一种信息源头，它提供了了大量的数据资源信息。物联网在安全领域得到了普遍的使用。尤其是近年来，随着平安市的建设、智能交通不断发展等因素，以及云技术的快速发展，安防产业也跟随着了大数据的步伐。在安防领域中有关大数据的实用性以及逐步为更多人士所知晓，尤其是大量的非结构化视频数据和安防产业中特色数据的快速增加，导致了大数据应用中的一连串的问题。

30、在安防领域主要应用了大数据的融合技术、大数据处理技术和大数据分析和挖掘技术，包括Flume分布式、Zookeeper、Kafka等技术。4.3 能源领域能源大数据是通过把石油、天然气等能源行业，以及人口、地理、气象等其他行业的数据经过综合收集、处理、分析，并且加入有关的技术和理念。它不光能够进行该技术在能源行业的深层次运用，而且结合了它的生产、消费和相关技术革命与大数据理念，以至于促进了能源领域的进步和商业模式的改变。比如使用Python和Scala技术通过对燃气自动化控制系统的实时采集数据，并结合气象数据、GIS数据，利用数学模型预测用气负荷、进行泄漏分析，合理使用供气设施和输送设备，确保安

31、全、稳定供气。图4-2：能源检测平台4.4 业务领域大数据也具有优化交易流程的功能。物联网和大数据的运用，已经变成了该行业的新兴产业，具有很高的价值。人们能够经过一些社交媒体、网络和天气预报等数据，来进行获取高效的信息。当中，大叔级技术的应用最多的就是在于供应链和配送路线的改善。根据这两点，利用Mahout、Spark、storm等技术进行地理定位及其射频识别跟踪货物和运输车辆，就是通过及时的获取交通路线数据二制定出了更为便捷的优化路线。通过使用Python与数据分析对大数据的分析，人力资源业务也得到了改善，其中包含了人才招聘的优化。4.5 医疗领域大型数据分析应用程序可以在几分钟内对整个DN

32、A进行解码。而且能够使我们制定最新的治疗计划。与此同时，它还能够更佳的了解或者预测疾病，大数据也可以帮助病患有效的治疗他们的病情。在医学领域当中，物联网的在其运用的最大的功能就是在大数据上的应用。通过使用hbase、hive、sqoop大数据技术进行信息收集和储存对医院早产儿和患病婴儿进行监测。经过记载和判断婴儿的心率变化情况，医生可以判断婴儿的身体症状是否产生不舒服或者其他。以至于可以很好的帮助医生挽救婴儿。图4-3：医疗大数据4.6 电力行业领域大数据在这个行业的运用在智能电网上也能体现出来。大数据分析对智能城市建设和智能电网的意义，离不开获取人们用电行为的信息。智能电网不仅可以对电力生产

33、进行改善，还可以便于对电网进行安全检查和支配，以及对用户进行其用电的行为分析和客户的细分等各个方面。以至于最终达到了更加具有科学性的电力需求管理。在这一领域通常使用C+，Java，等技术作为二次开发接口，可将数据提供给上层应用系统，然后运用Hadoop，Spark等技术对数据进行实时计算。图4-4：大数据应用领域第五章 基于大数据的大气环境监测5.1 大数据技术在大气环境监测行业中的意义这几年来，随着互联网技术以及物联网技术的不断快速发展，环境信息化也逐渐步入了一个快速发展的时期。环保部门极度注重大数据的运用，环保部门2016年初批准的有关生态环境大数据建设总体规划恰好证明了这一点。规划对生态

34、环境大数据的建设和应用制定了一些具体的规定。可以经过构建环境数据服务和云平台，通过大数据分析来进行对空气质量监测和预测，促进生态监测和勘察。无论从国家发展还是市场需求的角度来分析，大型环境数据都扮演着一个比较重要的角色。大环境数据的特点具有体现在以下三个方面：一是大环境数据能够使得政府生态环境的科学决策，准确监管，方便公共服务；二是大环境数据对产地的转变有推动作用，发现新的发展点，机遇无限，市场广阔；第三，大环境数据将为公众生活提供更多的便处，能够促进生活质量的同时，还引起公众对生态系统和环境问题的注意力。大数据的应用极大地倾覆了旧时代的管理、生产和生活形式。环境大数据技术为我们带来了绝无仅有

35、的全新的角度，新的商业机会和新的商业模式将继续涌现。这几年来，PM2.5云监控平台、中国气象网、环境云等与环境数据相关的公共服务平台应运而生。5.2 环境大数据的概念1、环境数据的时空特性环境数据中有不同形式的时空信息。例如，安装在固定位置的环境传感器通常包含采样时间戳和站点编号。站点编号与其经度和纬度坐标相对应。在传输数据信息的时候，移动设备通常会顺带传输设备目前位置的坐标值。2、多层次的数据采集针对高精度专业空气质量监测设备具有的数据成本较高以及其数据样本太少等问题，提出了一种解决办法，就是大量建设低成本的空气质量环境监测设备。该设备具有衡量特点因子的单一对象，测量精度也不够高，但其成本仅

36、为专业设备的十分之一甚至百分之几，其操作和维护也受到限制。尽管对其的需求很低，但是可以实现空气质量检测和数据输送的功能。通过比较专业设备和软件的测量结果，对采样数据进行校准。修正后的数据可以得到满意的综合监测结果。许多的低资本测量设备和目前的专业环境监测点形成了很好的互补性，以至于可以全面准确地评价空气质量数据，且具有借鉴意义。3、多维度的环境数据整合（1）气象气候数据。最经常用到的就是气象数据。具体气象资料是天气现象，温度，气压，相对湿度，风向，降雨量等。（2）大气质量数据。利用特性因子检测仪和PM2.5检测设备，可直观的检查PM2.5、PM10、NO2、SO2、O3等多数大气污染因子。对于

37、部分化工生产企业周围的特定区域，也可考虑对硫化氢、NH3、NO2、SO2以及可燃性气体等大气污染因子的检查需求。（3）水体水质数据。多加进行监测水体污染物的类别，注重各类污染物的浓度的特征变化，评估水质的过程。它的测量领域比较广，没有经过污染和已污染的河流或者各种工业排水等都被包含其中。监测项目大概鞥个被划分为两种：其中一种可以体现出水质的总体指标，比如温度、色度、浑浊度、酸碱度等；另一种则是是一些有害物质，比如苯酚、铅等。（4）土壤质量数据。经过进行其影响泥土环境质量因素的替代值的监测，来查看污染情况以其变化的过程。监测因子主要包含了pH、温湿度以及氮磷含量等。（5）自然灾害数据。分类项目主

38、要是：台风和地震、洪水和龙卷风、泥石流以及雷击等一些自然灾害的产生的时刻、地点、作用范围等也是环境数据范畴之内。（6）污染排放历史。都市和区域由于人类的社会活动以及生产中，污染物的和其他有害物质的产生水准，也是属于环境数据。同时还要一些其他的相关数据主要包括了用水量、用电量和化石燃料消耗量等。通过这些信息的测量可以分析出该区域的工业化以及城市化的发展水准，从而成为关键的监测环节。5.3 环境数据的采集与获取1环境数据类型为了了解大规模的环境信息数据，必须针对各种周围环境信息进行预测分析和搜集。环境数据的特征首先是巨大的。第二，数据应包含时间和空间的资源。不同的来源渠道有不同的测量频率。所以，应

39、根据不同的数据特点来选取相对应的数据采集策略。2.环境数据采集策略的确定因为不同类型的环境数据源以不同的方式发布环境数据，所以有必要根据发布环境数据源的方式来定制相应的环境数据的收集策略。3.环境数据采集有效性环境数据的分类多种多样，并且它的数据来源比较分散，一些数据不可避免地无法收集。为了解决这些困难，我们必须设计出一些措施来确保环境数据搜集的及时性。针对于同一种数据源，想要防止网络冲击带来的影响，我们应该采用重传机制，也就是在数据采集超时后，立即或在短时间间隔后重试。如果是针对于以及收集到的数据，倘若含有一些显然无用或者异常的数据值，可以通过一定的筛选，以确保只搜集到有用的环境数据采集值。

40、结合当前实习工作，目前公司所采用的扫描雷达，能够有效的采集捕获大气环境污染数据并及时采取措施进行防控处理。淮安市为打赢蓝天保卫战三年行动计划，持续推进全市空气质量，于2018年11月引进无锡中科光电专家组驻场服务淮安市大气污染防治工作。专家技术团队入驻后，迅速走访调研，绘制出污染分布地图，科学选址，安装了3套激光雷达站和30套微站，同时将该市现有的空气自动站接入监测网中，搭配走航车与无人机，为淮安市构建了大气环境立体监测网络。图5-1：搭建环境立体检测网络公司建立并完善了监测排查现场溯源汇总交办跟踪整改效果评估的工作模式，打通“监测”与“管治”环节。首先通过激光雷达和微站实时监测数据迅速排查出

41、污染点位；其次现场溯源人员根据雷达和微站偏高数据进行现场溯源、拍照回传核实；定期将溯源发现的问题汇总上报主管部门；主管部门交办后，专家团队协助相关部门排查；定期进行整改回头看，并对管控效果进行评估。图5-2：环境数据的采集与获取5.4 环境数据的存储与处理1、环境数据存储策略的确定根据数据源的差异性，获得的环境数据的特点可以被划分为两种：一是范围庞大，二是数据结构不同。所以通常采用Hadoop集群等分布式数据存储技术来存储数据。另外，站点级环境监测数据和城市级环境预测数据都不能与地理信息支持分离，地理信息支持往往具有高度相关性，可以存储在关系数据库（如mysql）中。2、环境数据存储维度环境数

42、据存储往往使用信息出现的当时时间作为时间维度，而空间维度则可以通过站点或城市编号、经度和纬度等资料来设置。3、存储环境数据时的处理为了节省存储空间，需要过滤收集到的显然无用或者异常值。所以，在存储收集到的环境数据的前提，有必要事先设置异常值的确定方法，以去除这些收集到的无用环境信息。应该重点关注的是，原始环境数据值有时很难查清。例如，一些环境监测点收集的数据没有通过站点号指定相应的城市。此时，我们可以根据站点的经纬度来判断出城市，同时我们可以存储原始站点数据，我们可以计算城市中所有站点的数据值，并存储这些统计数据，以至于可以便于城市级的环境数据查询。图5-3：淮安市2019-03-02环境数据

43、 5.5 环境数据的应用1、环境数据服务接口近年来，随着雾霾、沙尘暴等日益严重的环境问题的爆发，人们不得不开始重视起环境保护。以至于越来越多的人准备进行和环境有关的网站和应用程序的开发。2、环境数据可视化环境数据服务接口针对那些懂计算机编程的人也许是一种较好的方式，但是还存在着大多不懂计算机编程的人，他们要想能够直观地理解这些环境数据，这就要求可视化环境数据的应用需要尽快加大力度投入。如上所述，时间和空间维度都用于环境数据采集和存储。每个城市和测量点在地图上都有自己的经纬度坐标。所以，该地图可用于显示这些城市和勘测地点的环境信息。公司专家技术团队强化了重点点位的的立体监测，并加密日常巡查力度，

44、统计入驻以来发现的问题，分析研判认为，影响淮安市空气质量的原因主要有生活污染（含生物质燃烧、餐饮油烟等），扬尘污染（工地扬尘、道路积尘和扬尘、货物堆场扬尘等）及工业污染源三大类。图5-2：淮安市环境防治工作架构3、环境数据聚合针对主要污染源，公司提出整改意见，通过采取系列专项行动，开展重点行业综合治理，持续抓好落实推进，加强专家会商保障等措施提升管控效果。专家技术团队发扬“5+2”，“白+黑”的工作精神，发现异常及时核实、汇报，针对餐饮油烟问题经常夜间巡查。驻场四个多月，走航监测3000余公里，出动无人机100多次，发现影响空气质量行为600多列。在多方努力之下，该市近三个月PM2.5浓度累计

45、下降14.7%，全省空气质量排名上升一位，这说明科学治污取得了较好的结果。图5-3：打赢大气污染防治攻坚战必须对城市的环境信息，天气预报，空气质量等信息进行整体性的利用分析，所以，需要聚合更多的城市环境数据，将其内在的价值全部挖掘出来。环境数据聚合环境数据可视化环境数据服务接口成果存储环境数据时的处理环境数据的储存策略的确定环境数据的采集与获取过程对大气环境进行实时监测目的 图5-4 基于大数据的大气环境监测流程图总结今年2月，我进行了有关毕业设计和论文工作，到目前为止，论文基本完成。很难用语言来表达整个写作过程从最初的困惑到逐渐进入的状态，再到思想的逐步清晰。经过数月的努力，紧张而充实的毕业

46、设计终于实现了。回想起这些日子的经历和感受，我充满了感慨。起初，当我和老师讨论论文的主题时，我不知道从哪里开始。关于物联网专业的话题很多，我完全不知道从哪个地方入手。之后，经过一段时间的工作实践和与导师的沟通，我将论文的主题与实践工作结合起来，从而选择了本文的主题。由于实习的原因，论文写作过程在一定程度上受到了延迟，两者之间存在着时间冲突。我把这个困难告诉了我的导师。在指导老师的精心教导下，我最终掌握了自己目前的论文研究方向和方法。在三月初，当数据被搜索完毕后，我开始设计和写我的论文。在写作遇到困难时，实时与导师联系，并与同学们进行沟通。到三月底，论文的设计已经完成。毕业论文的写作给我留下了难

47、忘的回忆，以至于这几个月的时间使我永远记得。在我徘徊在书海寻找信息的时期，面对着无数的书单，最难忘的是每次发现信息时的兴奋和激动；在手写文字的时候，最深的记忆是每一步都能实现小想法时的快乐心情；为了赶稿甚至写到了深夜，虽然比较疲惫，但当我看着自己打出的单词和句子时，我的心充满了喜悦，没有疲惫。这段旅程似乎充满了荆棘，但却蕴含着无尽的财富。在整个过程中，我学到了新知识并获得了洞察力。在未来的日子里，我仍然需要不断充实自己，努力在我的学习领域做出改变。踏实求实的学习态度，持之以恒的精神，是我在本次设计中获得的最大的好处。我认为这是一次意志训练，提高了我的实践能力，也将在我今后的学习以及工作有较大的

48、帮助。致 谢该论文是在我的指导老师的悉心关怀和精心指导下完成的。她的友好态度、严谨的学术精神和卓越的工作作风深深地影响和鼓舞了我。从最初的设计到最后的完成，她一直在密切关注，在其中她倾注了辛勤的汗水和辛心血，老师的博学的知识，宽广的胸怀让我学到了很多，她不仅帮助我学习，而且在生活中给予关怀，虽然在设计过程中经常熬夜，但是一想到前后都有她的支持以及期待。我就觉得很高兴。她不仅是我的动力，也是我的坚强后盾。当我泄气时，她鼓励我；当我有疑问时，她回答我。在此，我向我的导师表示由衷的感谢和崇高的敬意。感谢阅读本文的老师和同学。他们让我重拾对困境的信心，也在他们的监督下，让我的论文很快完成，感谢他们的帮

49、助和支持！在毕业来临之际，我希望他们在以后的日子里能大展宏图、事业有成!衷心的感谢大家！参考文献1李艳艳.基于大数据的研究J.无线通信技术.2016.22付哲.关于大数据的研究应用概述J.信息与电脑（理论版）.2014.93郑仙学.浅析大数据的研究现状J.科技经济导刊.2017.34张科星.大数据的研究现状与展望J.赤峰学院学报（自然科学版）.2017.35吴艳等.关于大数据研究与探讨J.辽宁科技学院学报.2015.36刘立斌.大数据的研究及其应用J.江苏通信.2017.47靳小龙等.大数据的研究体系与现状J.信息通信技术.2013.68胡雄伟等.大数据研究与应用综述（上）J.标准科学.2013.99胡雄伟等.大数据研究与应用综述（中）J.标准科学.2013.1025