江苏省环保厅1831项目方案建议书0620切勿传播

《江苏省环保厅1831项目方案建议书0620切勿传播》由会员分享，可在线阅读，更多相关《江苏省环保厅1831项目方案建议书0620切勿传播（61页珍藏版）》请在装配图网上搜索。

1、江苏环保厅1831项目方案建议书 江苏省环保厅1831项目云平台技术方案建议书目 录1系统总体概述31.1系统基本功能31.2系统建设的主要设计思想和设计目标、设计原则41.3系统的主要技术特点51.4系统总体构架51.5cStor云存储系统简介61.6cProc云处理平台简介91.7系统设计性能111.7.1数据流量处理能力111.7.2数据存储读取能力111.8系统功能142系统设计实施与关键技术方法152.1cStor云存储系统152.1.1技术架构152.1.2工作原理172.1.3管理机制192.1.4关键技术192.2cProc云处理平台222.2.1数据立方(DataCube)2

2、22.2.2任务监控器（JobKeeper）242.2.3cProc数据处理272.2.4Zookeeper可靠性292.3八大环境监控子系统312.3.1饮用水水源地监控系统312.3.2流域水环境监控系统332.3.3空气环境监控系统342.3.4辐射环境监控系统352.3.5重点污染源监控系统362.3.6机动车监控系统372.3.7危险废物监控系统382.3.8风险源监控系统392.4平台安全432.4.1云处理平台信任保护432.4.2基于多级信任保护的访问控制472.4.3云处理平台安全审计502.4.4云处理平台安全网关533项目管理和实施563.1项目开发周期563.2项目实施

3、573.3客户受益571 系统总体概述1.1 系统基本功能“1831”生态环境监控系统建设工程，是建设一个全省联网资源共享的生态环境自动监控平台，实现对全省生态环境的现代化监管，系统于生态省建设，为管理和决策提供参考和依据。系统集饮用水水源地监控、流域水环境监控、空气环境监控、辐射环境监控、重点qq污染源监控、机动车监控、危险废物监控、风险源监控八大子系统于一体，在省、市、县组建三级环境监控中心，通过一套环境监控管理办法，达到自动监控、科学管理、合理决策的生态建设目标。系统的各子系统基本功能和组成如下：饮用水水源地监控系统能够对省内111个集中式饮水水源地水质进能监测、汇报等。流域水环境监控系

4、统能够对全省252个河流水质进行实时监测，预警和保护。空气环境监控系统能够实时检测分析全省环境空气质量，确定空气污染程度。辐射环境监控系统能够对全省529个放射源辐射环境进行实时监控、实时查询分析。重点污染源监控系统能够实时监测全省集中式污水处理厂和污水处理情况和燃煤电厂的鼓风机电量。机动车监控系统能够实时监控全省分析机动车尾气的污染情况。危险废物监控系统能够监控危险废物的情况，以及对废物管理部门采集的数据进行实时分析。风险源监控系统能够监控全省环境风险源，并对风险源进行分析。1.2 系统建设的主要设计思想和设计目标、设计原则设计思想：自动监测设备将采集到的实时监测数据上报到省环保厅云存储系统

5、存储。八大监控子系统操作平台向省环保厅云处理平台发出查询请求，云处理平台通过并行计算高效快速的从云存储系统查询数据并分析汇总，向各监控子系统提供查询的数据。设计目标：采用云计算、物联网和信息网格技术，对在用的业务系统进行分析，确定那些信息需要从原系统中抽取出来进行集成，然后建立一个基于云存储的、可扩展，具有统一规范数据格式的中心数据库，将各业务系统核心数据抽取到中心数据库进行数据集成；利用云计算平台的强大处理能力进行数据的处理和挖掘；最后，在中心数据库上开发建立包括企业信息全寿命管理（即从企业登记开始到企业注销的全程信息管理）、数据精确分析、处置决策、趋势分析等在内的应用，并为其它系统预留数据

6、调用接口，最终建成一个涵盖在用系统数据，支持全局信息管理分析与应用的监控系统。设计原则：（1）技术领先，性能优异系统将采用国际先进的云存储和云计算技术，并在此基础上提供高效的查询和分析处理。（2）数据安全可靠系统将采用多种容错技术保证存储的数据安全和故障的自动恢复。1.3 系统的主要技术特点实时性：平台在高效率并行分布式软件的支撑下，可以实时完成数据入库、分析和管理工作。海量数据入库不会出现数据堆积现象，各类分析和查询工作基本都在秒级完成，具有前所未有的高效性。高可靠性：基于对云计算可靠性深厚的研究积累，彻底解决了当前分布式计算平台易出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而

7、且不会出现丢失数据的现象。可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。这样，可以做到与云计算平台的无缝对接，根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。高性价比：采用X86架构廉价计算机构建云计算平台，用软件容错替代硬件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省10倍左右的成本。全业务支持：采用分布式数据库模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业

8、智能分析业务。1.4 系统总体构架江苏省环保厅1831项目主要包括八大环境监控子系统：饮用水水源地监控系统、流域水环境监控系统、空气环境监控系统、辐射环境监控系统、重点污染源监控系统、机动车监控系统、危险废物监控系统、风险源监控系统。这八大环境子系统共同组成一个完整的环境监控系统，它们都是充分利用现有监测设备，与省环保厅联网后，数据信息汇聚存储至省环保厅云存储系统中，然后再由省环保厅云处理平台负责对数据进行索引、分析等处理，并向八大系统的应用层提供API调用，快速反馈分析的结果。图表1 系统示意图以数据为中心，数据从最底层的数据采集层中采集到，将这些数据传输到数据中心，同时进行数据索引、分类、

9、分割、清理等操作，将遵循一定规范的数据和索引数据同时实时存储到云存储系统中，在云处理平台上提供数据接口，并与最上层的前台应用层交互数据。1.5 cStor云存储系统简介cStor云存储系统是南京云创存储科技有限公司自主研发的、具有自主知识产权的高科技产品，是国内最早实现并保持领先的云存储系统，整套系统包括软件与硬件，是一个海量的云存储平台。图2 C1000系列云存储产品存储机柜与传统的大规模存储系统相比，cStor针对绝大多数数据密集型应用的特点从多个方面进行了优化，从而在一定规模下达到成本、可靠性和性能的最佳平衡。cStor凭着超低的价格、优异的性能、高度可靠、绿色节能、无限容量、在线自动伸

10、缩、易用通用等诸多压倒性优势，获得了广电、安防、刑侦、政务、交通、动漫等各行业用户青睐，产品代理和销售商已发展到数十家。目前，cStor云存储系统已成熟应用于安防视频监控、刑侦、广电、交通、电信、医疗、政务等诸多领域，性能卓越，表现出色，从未出现故障，得到用户一致称赞。图3部署在南京政务云数据中心云创机器下图4为一简单的cStor云存储系统部署示意图。图4 cStor云存储系统部署示意图cStor云存储系统采用了分布式的存储架构，元数据服务器采用主备双机容错的方式管理各个存储节点，文件分散存储在各存储节点上。客户端与元数据服务器间只有控制流，数据流直接在各存储节点间交互。因此，系统的整体吞吐率

11、随着存储的规模的增大是线性增加，直到达到带宽的饱和利用。1.6 cProc云处理平台简介云存储层包括公司自主研发的云储存系统cStor和apache开源云储存系统HDFS；而在数据管理层中，包含数据立方、Hbase；数据处理层包含JobKeeper和MapReduce；最后的监控协调层则包括zookeeper和Chukwa来实现对整个系统的实时监控和数据管理。下图为cProc云处理平台架构：通过数据立方，可以对元数据进行数据分析、清理、分割。对结构化数据任意关键字索引，形成一个多维数据模型，数据立方的命名也由此而来。数据立方是独立于cProc云处理平台的技术架构，用户可以选择性采用数据立方，也

12、可以单独采用Hbase、Hive等技术框架，通过数据立方或Hbase，可以将结构化数据看成一张无限大的表，操作这张表跟操作传统关系型数据库一样，上层应用无需修改，完全符合用户原来操作习惯。对于非结构化数据，cProc云处理平台采用公司自主研发的超安存算法，对这些数据块进行分割，散乱存储到云储存系统上，然后采用分布式并行处理，对数据进行实时处理，cProc云处理平台的处理性能随着节点的增多而成倍数增长。cProc云处理平台拥有以下特点：1.对任意多关键字实时索引2.支持类SQL复杂并行组合查询3.分布式万兆实时数据流秒级处理4.高可靠性，系统无单点，确保意外情况下，系统的正常运行以上特点由云创公

13、司自主研发的下面几大功能来提供保证，分别是数据立方，分布式数据处理,调度均衡器、数据传输接口等。数据立方对数据建立高效的索引结构。数据立方是云创公司研发的高效数据结构，该结构成功解决了海量数据的快速索引和查询问题，使得百亿条记录级的数据能够秒级处理。分布式数据处理是云创公司研发的处理海量数据的处理框架，用于对大规模数据集的并行处理。处理能力可以通过增加或减少机器达到动态调整。采用先进的容错技术，确保处理任务的可靠性，即使在异常情况下，如机器宕机、断网的情况下，确保处理任务的实时性和准确性。调度均衡器是云创公司研发的解决单点故障的一项技术，用于解决系统内的单点问题，确保某机器的应用程序状态在宕机

14、或断网时，可将状态从异常机器转移到其他机器上，中间无数据丢失。数据传输接口是云创公司经过多年积累，专门针对地面数据传输研究出高性能可靠文件传输协议，采用并行流水线方式、将传输与存储作联合优化，并支持多点中继高效传输。经过多项实地远程传输试验，结果表明该技术的传输效率在1Gb/s光纤线路上达到了带宽的80%左右，处于国际最高水平。几大功能相辅相成，高效且可靠地处理海量数据，确保响应迅速，传输速度快，处理结果准确。1.7 系统设计性能1.7.1 数据流量处理能力以下是各部分处理能力统计： l 数据存储查询系统器配置： 8核CPU2，主频2GHz以上,内存32G，硬盘82T SATA处理能力：折合数

15、据入库流量 80Mb/s l 应用分析系统器配置： 8核CPU2，主频2GHz以上,内存32G，硬盘82T SATA处理能力：折合处理并发访问量1000次/s 1.7.2 数据存储读取能力原始数据存储采用云存储平台，分布式文件系统存储系统。性能指标：l 存储量指标单系统应支持PB级存储容量。l 吞吐量指标Infiniband网络上文件读、写性能:(1)写文件性能1个客户端写250G文件，文件平均写性能为932MB/s，峰值为1.9GB/秒。(2)读文件性能1个客户端读250G文件，文件平均读性能为852MB/s，读文件峰值为1.2GB/s上述性能测试数据是1个客户端、8个存储节点的测试结果，由

16、于本次测试受测试资源影响，没能完全测出Infiniband最优性能。但在8个存储节点上，文件写性能达到932MB/s，写峰值为1.9GB/s，读性能达到852MB/s，读峰值为1.2GB/s。吞吐量是指在没有帧丢失的情况下，设备能够接受的最大速率。吞吐量根据应用系统读写方式和应用系统读取存储内容大小分成四个指标。分布式文件存储系统按照32个节点并发500个用户计算，单节点8块2T大小的硬盘情况下，每个节点指标具体内容如下表所示：表8分布式文件存储系统吞吐量指标编号读写方式存储内容大小总吞吐量指标(MBps)平均吞吐量指标(MBps)1100%读250GB24000482100%写250GB20

17、000403100%读100KB23000464100%写100KB1900038图表 分布式文件存储系统吞吐量指标l 系统响应时间指标千兆网络环境下，局域网客户端从分布式文件存储系统中读取4096字节存储内容的响应时间应不高于20ms。1.8 系统功能数据存储：通过云存储平台存储海量数据。实时查询：通过业务层API支持应用层的实时查询，根据应用层的要求查询相关数据返回给应用层。定期汇总：根据用户定制要求定期汇总相关数据到数据库中，以备历史数据的查询和报表的统计。状态监控：可以实时监控自动监测设备和中心系统器的运行状态，提供设备运行数据并存储到数据库，以备历史数据的查询和设备运行的分析。历史查

18、询：对存储在云存储中心的历史数据进行查询 14 / 61 南京云创存储科技有限公司 2012-7-17江苏环保厅1831项目方案建议书2 系统设计实施与关键技术方法2.1 cStor云存储系统C1000系列产品采用cStor分布式云存储文件系统对数据进行集中式海量存储和统一管理，其技术架构和关键技术在下面的章节中分别详细介绍。2.1.1 技术架构cStor云存储文件系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据管理服务器（Master Server）和数据存储节点服务器（Chunk Server）以及客户端节点的结构构成一个虚拟的海量存储卷，如下图所示。图2

19、-1 cStor云存储系统架构其中，Master Server保存系统的元数据，负责对整个文件系统的管理，Master Server在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；Chunk Server负责具体的数据存储工作，数据以文件的形式存储在Chunk Server上，Chunk Server的个数可以有多个，它的数目直接决定了cStor云存储系统的规模；客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端都部署在Chunk Server上，每一个块数据服务器，及时存储服务器也是客户端服务器。对每一个节点，cStor云存储系统提供的管理监控中心都可以对

20、其进行管理，包括设备运行状态、磁盘运行状态、服务在线情况以及异常告警等功能；另外，网管监控中心还提供有如FTP账户添加等客户端管理和配置工具。这种分布式系统最大的好处是有利于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的Chunk Server即可，而不需要添加整套设备。下图2-2为cStor云存储系统部署示意图。图2-2 cStor云存储系统部署示意图cStor云存储系统所有的节点均通过网络的方式连接起来，其中存储节点采用廉价的计算机节点，运用自适应副本管理技术进行容错。所有存储节点同时担任对外服务功能，客户端分别挂载到不同存储节点访问云存储系统。通过增加或者减少存储节点的方式

21、，即可以对存储系统进行在线伸缩，由于采用了自适应副本管理技术进行容错，系统在线伸缩的过程中，不影响系统对外提供服务。下面简单的介绍下cStor系统的工作原理和管理机制。2.1.2 工作原理对于cStor云存储的用户来说，通过cStor客户端可以将海量云存储系统映射成一个本地海量磁盘（Windows客户端）或者映射到一个目录（Linux客户端），对于此磁盘或者目录的读写操作，即可实现云存储系统数据的读写。同时，由于cStor文件系统支持POSIX接口规范，对于目前一般的应用不需要做二次开发即可使用。下面详细的介绍一下cStor云存储系统的实际读写过程。下图2-3是cStor客户端向系统中写数据的

22、流程图。图2-3 cStor客户端写数据流程其详细过程是：1) cStor客户端向元数据服务器发起数据写请求；2) 元数据服务器根据其管理的存储节点的工作和使用情况，根据负载均衡的原理，在相关存储节点上创建一些新的数据块；3) 相关存储节点服务器创建成功，将结果返回给元数据服务器；4) 元数据服务器一方面备份和同步此元数据信息，另一方面将相关存储节点信息返回给客户端；5) 客户端根据得到的存储节点信息，向对应存储节点发出数据写请求，并向存储节点发送数据；6) 存储节点接收数据并存储到相应块，同时也向其他存储节点发起备份；7) 当本地写以及备份均成功后，存储节点将成功信息返回给客户端；8) 客户

23、端收到成功信号后，即完成数据的存储。下图为cStor客户端读数据流程图如下所示：图2-4 cStor客户端读数据流程总的来说，cStor云存储系统的控制流和数据流是分离的，一方面降低了元数据服务的负担，使得其处理能力更强，另一方面将数据读写的负担分担到各存储节点，使得系统的整体性能得到了提高，与节点数目成正相关。2.1.3 管理机制cStor云存储系统采用的是一种基于网络的管理工具，称之为cStor网管监控中心，主要用来对cStor云存储系统进行远程监控和管理，其具体功能包括：1) 提供存储机架的虚拟化管理；2) 可以监测到每个节点服务器的运行状态（包括主备元数据服务器和存储节点服务器的内存、

24、CPU、系统盘的利用情况等）；3) 磁盘的运行状态和使用情况监控；4) cStor服务的启动和关闭；5) 所有服务器的重启、关闭；6) 卷管理服务器的设置和账户管理；7) FTP账户的批量添加和删除等。2.1.4 关键技术2.1.4.1 负载自动均衡技术cStor采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在Master Server上，文件则划分为多个chunk存储在不同的Chunk Server上。Master Server维护了一个统一的命名空间，同时掌握整个系统内Chunk Server的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据Chunk

25、Server的磁盘使用情况、网络负担等情况，选择负担最轻的Chunk Server对外提供服务，自动均衡负载负担。另外，当某有一个Chunk Server因为机器故障或者其他原因造成离线时，Master Server会将此机器自动屏蔽掉，不再将此Chunk Server提供给客户端使用，同时存储在此Chunk Server上的数据也会自动的备份到其他可用的Chunk Server上，自动屏蔽Chunk Server故障对系统的影响。2.1.4.2 高速并发访问技术客户端在访问cStor时，首先访问Master Server节点，获取将要与之进行交互的Chunk Server信息，然后直接访问这

26、些Chunk Server完成数据存取。cStor的这种设计方法实现了控制流和数据流的分离。Client与Master Server之间只有控制流，而无数据流，这样就极大地降低了Master Server的负载，使之不成为系统性能的一个瓶颈。Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得整个系统的I/O高度并行，系统整体性能得到提高。通常情况下，系统的整体吞吐率与Chunk Server的数量呈正比。2.1.4.3 高可靠性保证技术对于元数据，cStor通过操作日志来提供容

27、错功能，当Master Server发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。为了防止Master Server彻底死机的情况，cStor还提供了Master Server远程的实时备份，这样在当前的Master Server出现故障无法工作的时候，另外一台备Master Server可以迅速接替其工作。对于Chunk Server，cStor采用副本的方式实现容错。每一个chunk有多个存储副本（默认为两个），分布存储在不同的Chunk Server上。副本的分布策略考虑了多种因素，如网络的拓扑、机架的分布、磁盘的利用率等。对于每一个Chunk Server，必须将所有

28、的副本全部写入成功，才视为成功写入。在其后的过程中，如果相关的副本出现丢失或不可恢复等状况，Master Server会自动将该副本复制到其他Chunk Server，从而确保副本保持一定的个数。在有多个Chunk Server的情况下，任意损失一个节点，数据都不会丢失，而且随着Chunk Server数目的增多，整个系统的可靠性越大。2.1.4.4 高可用技术系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点，存储节点和元数据节点间通过注册管理机制自适应管理，实现自动伸缩。元数据服务器采用主备双机热备技术，主机故障，备机自动接

29、替其工作，对外服务不停止；存储节点采用冗余备份机制，多个存储节点情况下，任意损失一个节点，数据不丢失，服务不停止。2.2 cProc云处理平台数据处理是对数据的采集、存储、检索、加工、变换和传输。数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据的形式可以是数字、文字、图形或声音等。数据经过解释并赋予一定的意义之后，便成为信息。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，

30、极大地影响着人类社会发展的进程。2.2.1 数据立方(DataCube)我们以B+树的结构建立了字段的索引，每个B+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构，我们称之为“数据立方(DataCube)”。如下图所示： 数据立方(DataCube)是一种用于数据分析与索引的技术架构。它是针对大数据(big data)的处理利器，可以对元数据进行任意多关键字实时索引。通过数据立方对元数据进行分析之后，可以大大加快数据的查询和检索效率。数据立方的原理：由一个或多个管理节点，一个或多个处理及存储节点（数据节点）组成，系统在数据建立

31、与查询时，分布式建立与应用数据立方索引结构，在数据建立及存储时，对规范化的数据设定1个或多个关键字字段，将不同的关键字字段分别建立索引，每张不同的索引生成一张独立的B+树结构，多个B+树结构垛叠在一起，与全局数据表形成一个完整的数据立方结构。利用数据立方存储索引结构，可方便快捷的在海量数据云处理系统中准确检索定位数据。B+树的插入仅在叶结点上进行。 每插入一个(关键码-指针)索引项后都要判断结点中的子树棵数是否超出范围。当插入后结点中的子树棵数大于 m 时, 需要将叶结点分裂为两个结点。它们的双亲结点中应同时包含这两个结点的最大关键码和结点地址。此后, 问题归于在非叶结点中的插入了。在非叶结点

32、中关键码的插入与叶结点的插入类似, 非叶结点中的子树棵数的上限为m, 超出这个范围也要进行结点分裂。在做根结点分裂时, 因为没有双亲结点, 就必须创建新的双亲结点, 作为树的新根。这样树的高度就增加一层了。当有新的记录到来时，我们要将新的数据记录对应的一条索引记录插入到所有的字段索引中，这时要采取一定的写入策略。当新的记录积累到n1条或经过一定时间t1时，对于存储在MemCache中的字段索引，可以将这些数据记录对应的索引记录一次性批量写入；当新的记录积累到n2条或经过一定时间t2时，可以将这些数据记录对应的索引记录一次性批量写入HDFS（固态磁盘）上的索引文件。对B+树的查找类似于二分查找，

33、对于m阶，叶子节点中记录个数为n的B+树来说，其查找的时间复杂度为O(log m+(n+1)/2)。因此对于值匹配和范围查找来说，有很快的速度。此外，由于对值按照大小顺序进行了指针链接，因此m阶B+树还可以进行对值进行顺序查找。 我们对重要字段建立索引，存储在HDFS（固态磁盘）上。将最近常用的字段索引加载到MemCache中，同时删除最不常用的字段索引以节省空间。详细来说，对于每次查询，系统统计每个字段索引被调用的次数，对于被调用次数最多的那些字段索引就被加载到MemCache中，而在MemCache中被调用次数最少的某些字段将被删除。数据立方是凌驾于数据存储层和数据库系统之上的，通过数据立

34、方解析后，可以大大增加数据查询和检索等业务，可以让系统平台具备数据实时入库、实时查询、查询结果实时传输等优势。2.2.2 任务监控器（JobKeeper）JobKeeper调度平台是建立于虚拟化资源层之上，统一调度，统一配置的管理平台，用于对集群中任务实时的处理调度，实时结果集的反馈，集群的负载均衡，失败调度，集中管理，集中配置的平台。用来保证整个集群的超低人员干预。同时，提供完善的集群伸缩机制为整个服务提供更高的可靠性。JobKeeper云调度技术架构图 应用层是一组用于管理和结果反馈的显示组件。用于显示任务的处理情况以及集群中机器的活动情况，同时其也是一个上层应用和底层服务的对接平台。是整

35、个系统面向用户和开发人员的基础承载。 业务层是对于应用层的相关功能的业务化，数字化处理，用于将应用层的需求任务进行规则化划分，形成统一的处理化模式。 数据处理层是独立的数据处理程序，是对不同需求数据的统一处理方案，他的运行与监控的工作将由JobKeeper调度平台进行统一的配置管理。 存储层是用来存储数据存储层的处理结果集或者其他中间结果集的单元。 虚拟化资源层是将实体的机器进行虚拟化，形成更大范围的服务集群。 JobKeeper调度平台是由一组管理节点（Master Node）和一组处理节点（Task Node）组成，管理节点组是一组基于Webserver的RPC(RPC采用客户机/服务器模

36、式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。)服务器，负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保存，对应的信息镜像存储在基于cStor或者NFS服务的存储系统上，保证每个管理节点中的镜像信息的实时同步。同时架设在管理节点上的ZooKeeper服务(ZooKeeper是一个分布式的，

37、开放源码的分布式应用程序协调服务，包含一个简单的原语集。分布式应用可以使用它来实现诸如：统一命名服务、配置管理、分布式锁服务、集群管理等功能。)用于对整个管理节点组进行统一的配置化管理。处理节点组通过RPC的远程调用获取各自节点的任务处理目标，并实时的和处理节点上的任务处理目标进行对比，控制程序的执行和结束。（注：这里的程序，可以是任何语言任何形式的独立程序，但是必须提供执行脚本，和运行参数选项）处理节点组会在一个设定的心跳间隔内主动的和管理节点组联系一次，报告节点存活状态。如果在若干个心跳间隔后管理节点组仍然没有获取到处理节点心跳报告，那么该处理节点将会被踢出处理节点组，同时该节点处理的所有

38、处理任务也会被重新调度。随着集群处理数据量的不断增大，处理节点组提供了简单高效的自动化部署方案，当新机器加入处理集群后，会主动的与管理节点组同步心跳信息，从同一配置服务器ZooKeeper上获取相关配置信息，通过WebServer服务获取任务列表，开始执行数据处理工作。 JobKeeper调度平台提供了一套基于Web的管理化界面，可以实时的观察各个处理节点的任务运行状态，以及任务列表的分配情况，机器的负载情况等。用户在管理系统界面上可以完成所有的工作，如新任务的添加，任务的手动调度以及集群日志的查看与分析等。 任务处理节点和管理节点之间维护一个心跳时间，实时向管理节点汇报任务处理信息，同时，任

39、务处理节点在每个心跳时间内向管理节点获取该处理的任务列表，并和本机正在处理的任务列表进行比对，完成相关的任务调度工作。若一个处理节点在多个心跳时间范围内仍然没有主动的和管理节点相互联系，那么管理节点将会根据各机器的负载情况，将失去心跳连接的处理节点上的任务进行任务的重新分配和执行。2.2.3 cProc数据处理cProc云处理是云创公司研发的处理海量数据的处理框架，特点是实时性高。主从式的管理节点监控着所有处理节点（slave），并接受任务，分配子任务，监控任务以及处理各类异常情况。处理节点（slave），接受子任务，监控子任务，向主节点汇报任务。结构如下图所示：cProc云处理是cProc云

40、处理平台分布式的核心。该架构内部避免了大多数分布式系统内部存在的单点问题。里面的两个管理员节点(主节点和备节点)对整个集群进行着管理，通过先进的调度监控器解决了管理节点的单点问题和数据同步问题，确保在主节点异常情况下，主从节点的切换不丢失管理数据。cProc云处理内部采用高效的数据结构cProcJob,维护每个任务以及子任务的状态，并严格按照任务状态转移表进行任务状态切换。在cProc分布式数据处理的过程中，系统采用以下三个原则：1.数据尽可能的本地性原则在任务提交后， 管理节点根据数据所在位置分配处理，这样在每个处理节点上要处理的存储介质上的数据块就在本地，直接操作本地文件，避免了数据的移动

41、，极大地减少了网络IO负载，缩短了处理时间。2.数据分布的平衡性原则cProc并行处理架构能够周期性地对存储介质上的数据进行维护，保持存储节点上所存储的数据量的平衡，减少因数据负载的不平衡而导致的处理负载的不平衡。3.调度任务公平的原则公平调度是一种多用户的赋予作业（job）资源的策略，它的目的是让所有的作业随着时间的推移，都能获取与权值相应的共享资源。当单独一个作业在运行时，它将使用整个集群。当有其它作业被提交上来时，系统会将任务空闲处理单元赋给这些新的作业，以使得每一个作业都大概获取到与权值相应的处理时间。这个特性让短作业在合理的时间内完成的同时又保证了长作业的服务质量。公平调度器按资源池

42、（pool）来组织作业，默认情况下，每一个用户拥有一个独立的资源池。在Slave处理节点上设置有同时运行的任务个数上限，若未达到上限，则就产生了空闲处理单元。当集群上出现空闲处理单元时，调度按两步进行，首先空闲处理单元在作业池之间分配，其次在作业池内的作业间分配。2.2.4 Zookeeper可靠性ZooKeeper可为分布式应用建立更高层次的同步(synchronization)、配置管理 (configuration maintenance)、群组(groups)以及命名服务(naming)。在编程上，ZooKeeper使用的数据模型风格很像文件系统的目录树结构，简单来说，有点类似wind

43、ows中注册表的结构，有名称，有树节点，有Key(键)/Value(值)对的关系，可以看做一个树形结构的数据库，分布在不同的机器上做命名管理。Zookeeper的基本工作结构如下图所示。图表 1 Zookeeper基本工作结构图Zookeeper分为2个部分：服务器端和客户端，客户端只连接到整个ZooKeeper服务的某个服务器上。客户端使用并维护一个TCP连接，通过这个连接发送请求、接受响应、获取观察的事件以及发送心跳。如果这个TCP连接中断，客户端将尝试连接到另外的ZooKeeper服务器。客户端第一次连接到ZooKeeper服务时，接受这个连接的 ZooKeeper服务器会为这个客户端建

44、立一个会话。当这个客户端连接到另外的服务器时，这个会话会被新的服务器重新建立。启动Zookeeper服务器集群环境后，多个Zookeeper服务器在工作前会选举出一个Leader作为主服务器。在后续工作中，如果这个被选举出来的主服务器失效，而剩下的Zookeeper服务器会感知这个事件，并在活着的Zookeeper集群中重新选出一个Leader作为新的主服务器，选举出leader的目的是为了可以在分布式的环境中保证数据的一致性。查询索引创建、KPI数据统计、CDR专题数据处理、以及各种查询分析处理任务的处理将需要调度和使用处理集群上的一组服务器节点进行并行任务的分发和负载均衡处理。而负责并行任

45、务调度和分发的节点可能会出现单点故障，进而引起整个处理系统无法正常工作。因此，需要设计一个单点失效恢复机制，以保证查询分析处理的可靠性，以及正确的并行处理任务分发和负载均衡处理。在具体实现上，我们将使用Zookeeper基于处理集群完成统一的控制和实现。基本设计和实现方法是，将处理集群中所有的处理节点都纳入Zookeeper的管理，选择其中3个处理节点注册为Zookeeper的服务器节点负责并行处理任务的调度和分发节点，Zookeeper将自动在这3个服务器节点中选举一个主服务器节点。当主服务器节点出现故障时，Zookeeper将能自动从剩下的2个服务器节点中重新选举产生一个新的主服务器节点来

46、接管失效的主服务器。以此，将能保证并行处理任务的分发和调度处理不会出现单点失效。Zookeeper能感知当前所管辖的节点中任何节点的失效并作出相应的处理。当Zookeeper保证有一个负责并行任务分发调度的主服务器工作后，该主服务器将能在Zookeeper中所维护的当前有效的处理节点中挑选一个空闲的节点，并把一个处理任务分发给该节点；当多个处理任务到达时，主节点将能有效地将处理任务分发给不同的处理节点，从而实现并行处理任务在整个集群节点上的负载均衡。图表 基于Zookeeper的查询分析处理单点失效和2.3 八大环境监控子系统下面对每个监控系统进行分析，主要介绍各个系统的架构及功能。2.3.1

47、 饮用水水源地监控系统目前，江苏省共有万吨以上集中式饮用水水源地111个，但都未与江苏省环保厅联网，为确保群众饮用水安全，省环保厅要求各水源地必须联网自动监测、汇报。为此，饮用水水源地的监测数据进行实时汇聚传输到省环保厅云存储系统，并对得到的水质数据在省环保厅云处理平台进行实时分析处理，处理后得到的结果会通过云平台提供的API接口将数据提供给饮用水源地监控子系统，这样就可以对各大水源地进行实时的监控、预警和保护，让群众可以真正的放心饮水，安全饮水。饮用水安全问题关系到广大人民群众的健康、生命安全和社会的和谐稳定，保障饮用水安全也是我国水环境管理的根本任务。本系统将通过对饮用水源地水质的实时监测

48、，动态评估饮用水源地的安全状况，为相关部门和社会民众提供数据系统，保障饮用水安全。本系统中广义终端层完成的主要内容如下：1、完成对水源地水温、pH、溶解氧、电导率、浊度、高锰酸盐指数、氨氮等项目的实时数据监测。2、完成对出水口的实时视频监控，采集实时视频数据信息。3、各类监测设备的自动故障检测、报警。本系统的主要内容如下：1、实时显示水源地水质监测数据及其水质类别，可查询监测数据各个指标的月、季、半年、年均值及其水质类别。2、综合评价水源地环境安全状况，对水源地的环境安全指数进行统计分析，生成环境安全指数专题统计图。3、以图表的形式对同一水源地不同年份的监测数据月均值变化情况进行对比分析、对同

49、一时间段内水源地的监测数据月均值数据进行对比分析。4、当自动监测数据超标时，自动发送报警信息，记录超标的监测因子、指标值及超标倍数等。2.3.2 流域水环境监控系统目前，江苏已建成水质自动监测站有252个，新建水质自动监测站有21个。为确保环保部门对全省河流水质进行实时监测，对任何水质异常做出及时反应，要求全省各水质自动监测站数据进行实时汇聚传输到省环保厅云存储系统。省环保厅云处理平台会对各水质自动监测站数据进行实时分析处理，处理后的结果通过云平台提供的API接口将数据提供给流域水环境监控子系统，从而全面实现全省主要河流省交界断面和重要河流水质实时监测、预警和保护。对于防治水污染，保护改善水环

50、境，保障人民健康和促进社会主义现代化建设的发展具有重要意义。本系统将通过在现有的流域水水质自动站基础上，建立流域水水质监测数据采集、分析系统，及时、准确地掌握地表水质量现状和发展趋势，为开展水环境管理工作提供可靠的数据和资料。本系统中广义终端层完成的主要内容如下：1、完成地表水实时数据监测，包括水温、pH、溶解氧、电导率、浊度、高锰酸盐指数、氨氮、总氮、总磷、流量等项目的实时数据监测。2、各类监测设备的自动故障检测、报警。本系统中云平台完成的主要内容如下：1、对监测点的单因子达标率、水质达标率进行查询统计，支持按流域、区域的达标率汇总，生成统计专题图，形成水质评价系统。2、以图表的形式对同一监

51、测点不同年份的监测数据月均值变化情况进行对比分析。对同一时间段内监测点的监测数据月均值数据进行对比分析。3、对同一河流不同监测点的数据进行对比分析，以展示河流不同河段的水质变化状况，在GIS地图上用不同的颜色表示不同水质类别的河段。2.3.3 空气环境监控系统目前，江苏省共建有环境空气自动监测站179个。为建立环境空气自动监控系统，开展环境空气质量研究，准确确定环境空气污染程度，为环保责任目标考核提供准确信息。全省环境空气自动监测站检测数据会进行实时汇聚传输到省环保厅云存储系统，并对空气检测数据在省环保厅云处理平台进行实时分析处理，然后通过云平台API接口提供给空气环境监控系统，实现全省空气环

52、境自动检测发布。空气环境监控系统是以保护生活环境和生态环境,保障人体健康及动植物正常生存、生长和保护文物古迹为宗旨,根据大气环境污染现状和大气环境容量、地理、气象、社会经济发展状况以及城市总体规划,按环境空气质量标准的要求，将大气环境划分为不同的功能区域。包括自然保护区、风景名胜区和其他需要特殊保护的地区以及在城镇规划中确定的居住区、商业交通居民混合区、文化区等。本系统通过对主要功能区大气环境质量的智慧监控，向民众提供部分生活、旅游相关的大气环境数据。本系统中广义终端层完成的主要内容如下：1、完成对主要功能区各类空气质量参数的实时监测。 2、完成对重点区域，如自然保护区、风景名胜区的全面监测。

53、3、各类监测设备自动故障检测、报警。本系统中云平台完成的主要内容如下：1、对主要功能区空气质量数据做相关性分析，自动判断出控制质量是否正常，对异常行为自动预警。2、以图形、柱状图、GPS定位信息等形式动态显示各功能区的最新监测数据、采样时间及设备状况，对数据超标或设备错误自动报警。3、对主要区域现场视频设备进行远程控制，可在实时视频中动态叠加显示监测区域实时空气状况。4、移动数据查询。可通过手机、电脑等智能移动设备，查询主要功能区监测数据及历史统计数据。5、通过平台向民众发布主要功能区空气质量，指导民众出行、工作。2.3.4 辐射环境监控系统目前，江苏各省辖市共有9个辐射环境质量自动监测站、2

54、01家529个放射源在线监控点位、一套全省城市放射性废弃库在线监控系统，在田湾核电站外围设有7个辐射环境自动监测哨和2辆核应急巡测车。为保证正在使用的放射源绝对安全，各监测站、点等数据必须实时汇聚传输到省环保厅云存储系统，然后通过省环保厅云处理平台对数据进行实时分析查询提供给辐射环境监控系统，实现放射环境的实时监控。本系统中广义终端层完成的主要内容如下：1、完成放射源监控点附近以及城市监测点的辐射的强度的实时在线监测。监测因子包括空气吸收剂量率、气象参数等指标。2、各类监测设备自动故障检测、报警。本系统中云平台完成的主要内容如下：1、对放射源监控点附近以及城市监测点的辐射的强度进行分析比对，超

55、出正常范围时自动启动预警或报警系统。2、建立与放射源监控点的互动体系，将实时的辐射量信息及时提供给省云存储平台，以监控质量自动监测站的正常运行，避免发生重大泄漏事故。3、对监测数据进行统计分析，为环保部门及时了解城市辐射强度的状态提供依据。2.3.5 重点污染源监控系统重点污染源监控系统主要用于江苏省对重点污染源、集中式污水处理厂以及总装机30万千瓦以上燃煤电厂的省级联网自动监控，它能够监控进出污水处理厂的水量和水质的主要指标、鼓风机电量等数据。通过本系统，使环保部门的领导层能够及时、全面掌握重点污染源、集中式污水处理情况及其燃煤电厂的电量数据等，方便地进行汇总与分析、比对，完善对重点污染源的

56、控制与治理，提供计算机规范化管理和系统。安装了自动监控设备的厂需要及时地与江苏省环保厅联网，自动监测设备将获取到的污水处理厂的水量、水质的主要指标、鼓风机电量等重要数据通过网络传输，最终汇聚存储在省环保厅云存储系统中去。省云处理平台负责对云存储系统中的污染源数据建立索引，对数据进行分析与汇总，同时为重点污染源监控系统提供Web Service 接口，快速地反馈分析结果。本系统中广义终端层完成的主要内容如下：1、完成对污水处理过程的全过程监控。对进出污水处理厂的水量和水质主要指标（COD、总氮、总磷等）、鼓风机电流、鼓风量、曝气设备的运行情况、曝气池的溶解氧浓度、污泥浓度、滤池堵塞率等数据实施监

57、控。2、完成排放口自动监测，实时采集污水排放口的水质及流量数据。3、完成对各排放口进行实时视频监控。4、完成污水处理过程中各个工艺环节的能耗情况的实时数据监测。本系统中云平台完成的主要内容如下：1、排放口出水数据与过程参数作相关性分析，自动判断出水数据是否正常，对异常行为自动预警。2、以图表等形式动态显示排放口的最新监测数据、采样时间及设备状况，对数据超标或设备错误自动报警。3、对现场视频设备进行远程控制，控制云台和镜头的转动缩放，可在排放口的实时视频中动态叠加显示该排放口的实时排放数据。4、提供对数据采集设备和排放口电动阀的远程反控功能，根据需要向设备发送反控命令，控制设备启动采样或控制排污

58、阀门的开关。5、移动数据查询。可通过Windows Mobile、iPhone等智能移动设备，查询排放口的实时排放数据及历史统计数据。6、通过对污水处理过程中各个工艺环节的用电情况实时监测，精确计算每个工艺过程的电耗成本，经有效的数据分析，提出需要优化的工艺环节、优化方法等建议，以帮助污水处理厂节能降耗。2.3.6 机动车监控系统近年来，随着机动车数量的增加，机车车排放对环境的污染已经成为重要的污染源之一。因为，对机动车尾气的排放的严格控制也是江苏省环境治理的首要任务之一。机动车尾汽的监控设备根据一定的过滤规则将拍摄到的画面通过网络传送到省云存储系统中，云处理端运行一些图像模式识别进程根据一定

59、的规则分析产生需要的记录，对记录进行统计分析，同时为web端提供API调用接口，实现机动车监控系统对机动车尾气的排放情况的实时分析查询。本系统在全省典型区域具有代表性的交通干道附近，设立机动车尾气监测系统模块，对目标区域的机动车尾气排放进行连续自动监测。按要求提交有效数据，连续自动监测数据汇总至系统平台，所提交数据经分析处理后提交各级监管部门，确保及时、准确、可靠。本系统中广义终端层完成的主要内容如下：1、对目标区域的SO2、NO2、O3、芳香烃、NH3、CO、CO2、CH4、C2H6 等指标进行实时监测。2、完成对重点路段实时视频监控。3、各类监测设备自动故障检测、报警。本系统中云平台完成的

60、主要内容如下：1、对主要道路废气数据、社区空气监测数据等做相关性分析，自动判断出气体状态是否正常，对异常情况自动预警。建立突发事件决策模型。2、以图表等形式动态显示道路废气的最新监测数据、采样时间及设备状况，对数据超标或设备错误自动报警。3、对现场视频设备进行远程控制，控制云台和镜头的转动缩放，可在实时视频中动态叠加显示该区域的空气情况。4、移动数据查询。可通过手机、电脑等智能移动设备，查询道路废气、车流量数据及历史统计数据。5、通过平台向先民众发布道路废气状态、社区空气质量，指导民众出行。2.3.7 危险废物监控系统“江苏省危险废物动态管理信息系统”是列入我省环境监控系统建设项目的危险废物监

61、管子系统，是一个覆盖江苏省范围的基于计算机网络技术的固废环境综合信息管理系统。该项目通过省、市、县固废监控部门的同步联网，可以为固体废物管理部门对危险废物产生单位、危险废物经营单位、危险废物申报登记、危险废物转移备案、综合统计报表、数据采集与上报等各个环节提供计算机规范化管理和系统。目前，“江苏省危险废物动态管理信息系统”已在江苏省环保厅外网发布，并在部分市、县（区）开展试运行工作。应用了云计算的危险废物监控系统在处理上将达到一个更高的速度，首先从危险废物监控获取的数据，以及固体废物管理部门对危险废物产生单位、经营单位等信息进行采集得到的数据会存放到省环保厅云存储系统中，由云处理平台建立索引，

62、负责对数据的索引处理等，向web层提供Web Service接口，使得危险废物监控系统能够快速准确地获取分析的得到污水处理厂水量、水质指标、鼓风机电量等数据。危险固体废物需要采用集中与分散处理相结合的处理方式，本系统通过对可危险固体废物安全处置的监控，实现危险废物安全处置的全寿命周期管理。本系统中广义终端层完成的主要内容如下：1、建立危险固体废物的识别标签，监控该类固体废物的流向。2、各类监测设备自动故障检测、报警。本系统中云平台完成的主要内容如下：1、危险固体废物从离开工厂开始建立识别标签，对标签的种类进行定义，自动识别危险级别，制定处置方法，以供管理部门对处置方案的制定。2、对危险固体废物

63、的产生量进行统计分析，为环保部门及时了解状态提供依据。2.3.8 风险源监控系统江苏省还将建立风险源监控系统，要求各级人民政府逐渐建立全省环境风险源企业的基本台账，包括应急预案、应急专家、应急人员、应急车辆、应急组织、应急器材等相关信息。目前江苏省环境应急中心已初步建立了风队源动态管理台账数据库，省与各市环境应急中心现有14辆卫星通信指挥车，并连接成环境事帮指挥通信系统。在前期全省环境风险源检查的基础上，江苏还根据风险主体的危险度、控制机制的有效度和风险受体易损度三方面筛选原则，将重要的风险源企业演练的视频、文字等相关材料接入省级环境监控平台，并将一实时视频监控设施的相关内容接入二期的环境监控平台，建成环境应急通信系统，实现现场移动