工程建设大数据平台的关键技术与管理协同架构

《工程建设大数据平台的关键技术与管理协同架构》由会员分享，可在线阅读，更多相关《工程建设大数据平台的关键技术与管理协同架构（3页珍藏版）》请在装配图网上搜索。

1、工程建设大数据平台的关键技术与管理协同架构摘要：中国经济由“高速发展”向“高质量发展”转型中。通过构建工程建设大数据平台。文章分析了工程数据的庞大性、类型多样性、价值性特征，并从数据获取层、存储层、处理层、可视化层4个方面阐述了工程建设大数据平台的关键技术构建工程管理协同架构，为工程建设行业大数据管理提供建设思路。关键词：工程数据；工程建设大数据平台；关键技术；协同架构引言工程数据来源广泛，不仅包括勘察、设计、施工、监理过程产生的数据，还包括监督机构现场检测、抽查所产生的结构化与非结构化数据，涵盖了工程项目生命周期中所产生的全部数据及数据中包含的时间属性、位置属性。工程数据的挖掘、分析对工程项

2、目的质量、安全、进度有着直接的影响，对行业的发展有着极为深刻的映射。在“十三五”的规划下，我国将对交通工程基础设施投入更多的资源，各项目业主、监督机构都在踊跃探索工程大数据的使用场景，挖掘其数据价值。工程大数据平台是数据的综合载体，包括了数据的采集、数据的存储、数据的处理、数据的分析过程，组成了标准的输入-处理-输出关系形式，是单个项目生命周期的载体，是工程行业数据的重要组成部分。1工程建设数据特征工程建设过程中涉及到的单位及人员较多，涵盖了勘察、设计、造价、施工、验收周期覆盖了质量数据、安全数据、进度数据、造价数据、关系数据等，这些数据具备了数据量庞大性、数据类型多样性、数据价值性的特征。1

3、.1数据量庞大性工程项目中的参与单位包括建设单位、勘察单位、设计单位、造价单位、施工单位、监理单位、试验检测单位、监督单位，各单位在一个工程项目中均产生大量的数据。如：在某一高速公路项目中试验检测单位按照交通运输部要求的检测报告达到了30种，现场检测台账达到了14种，整个公路项目完成建设所产生的报告数量及过程数据都将达到上万份，在当前工程项目数量急速增多的背景下产生的试验检测数据会更多。1.2数据类型多样性工程项目具有广泛的数据来源，包括市场信用信息管理系统、安全管理系统、质量管理系统、招投标管理、造价系统、合同管理系统等，且涉及到村组、乡镇、区县、地市、省、国六个层面，除了传统的结构化数据以

4、外，还包括了大量的非结构化数据，如现场施工图片、检查语音、监控视频等，呈现了数据的多样性。1.3数据价值性由于数据量的庞大性、数据类型的多样性，当前大部分的基础数据只是简单的停留在表现层，并未对其进行深度挖掘与分析，通过对数据的清洗、挖掘、分析以获得工程价值、商业价值，如可根据某类特种设备投入到工程项目中的工作情况，并结合工程上大量数据得出该类特种设备应当保养的时间，给该设备进行保养预警，在工程上保证了施工的安全性，在商业上给设备厂商提供了的经济价值。2工程建设平台的关键技术2.1 数据获取层的关键技术大数据能够实现分析的前提是获取到完整、准确、详细的数据。因此，工程大数据平台的首要目标是数据

5、获取。数据获取的方法和手段多样，物联网技术采集中有条形码、射频识别、人脸识别、指纹识别、GPS位置识别等。通过软件系统采集（接口技术）的来源如钢筋加工生产系统、预制梁生产系统、拌和站生产系统等。此外，还可通过与社会网络连接，实现社会经济数据、行业管理数据的扒取与交换。得到的数据类型具备多样性，从时效来看有实时数据、离线数据，从结构化来看有文字和图片。2.2 数据存储层的关键技术大量的多源异构数据均有时间属性和位置属性，因此对存储框架不仅要求具有良好的容错性和可拓容性，还应具备高效的数据存储管理能力。当前大数据存储框架中的分布式文件系统、分布式键值系统、NoSql数据库、云数据库都适合存储大量数

6、据。针对工程中施工记录、BIM模型调整、现场检查视频等场景下产生的数据可通过时序数据库、分布式文件系统、分布式键值系统等存储框架协调应用。2.3 数据处理层的关键技术数据处理层的核心内容是算法，大数据处理的典型代表则是深度挖掘算法中涵盖的分布式计算、文字与语音的自然语言处理、基于多层网络的深度学习，这些算法都可结合工程行业情况进行应用，但需要根据工程行业的情况进行建模，在模型中完成训练，再根据训练情况进行匹配测试。如：隧道工程中的安全指数包括相关气体、湿度、温度、顶板压力，根据这些参数及安全指标建立相应的模型，在模型中加入大量的历史数据进行训练和测试，以便更好地挖掘隧道工程中的相关内容所带来的

7、价值。大数据根据其实效性可分为实时数据和离线数据，对不同类型的数据采取不同的处理技术，如对实时数据在工程大数据中可采用流处理方式，对离线数据可采取批处理方式，满足不同应用场景的需求。2.4 数据可视化层关键技术数据可视化层主要是借助曲线、图形、图表等方式进行数据分析结果展示，达到帮助用户快速获取信息的目的。工程大数据可借助FineBI、Tableau、ECharts等工具，以常规图形如柱状图、饼图、环形图、气泡图、散点图，在PC端、移动端进行形象展示，并通过用户的操作实现系统分层级、分类型、分形式的展示。3工程大数据管理协同架构工程项目数据具有复杂多样性的特性，且专业性要求高，处理难度大，管理

8、操作困难，对工程大数据平台而言，除了技术层的内容，还需要让业务层的相关人员参与进来。需要业务专家、技术人员、平台管理员协同作业，进行数据采集、数据存储、数据处理、数据展示与输出。基于前面所述内容，本文构建了工程大数据管理协同架构，描绘了各角色干系、业务流向，如图1所示。图1工程大数据管理协同架构图1描绘了工程大数据管理协同架构，表达了在此框架中大数据生命周期情况以及在本框架中涉及到的角色，侧重于表现多方资源综合协调。在此框架中的从下至上的箭头流动方向框架主线，代表了数据流向。横向的箭头流代表框架主线所需要的保障因素。架构图分为内外两层，其中外层是顶层内容，顶层对内层中的数据、资源协调起着重大的

9、影响。顶层内容包括标准管理、数据管理、安全管理、输出管理。标准管理是大数据工作的基础，制定统一标准是各单位各系统实现良性数据交换的前提，只有做好了基础工作才能保障各环节的紧密耦合；数据管理存在于数据生命周期中的全部环节，保障数据在每个环节的可信性。安全管理是任一平台不可或缺的内容，安全管理的存在是各环节顺利进行的必要条件；输出管理是数据流动的最后一个环节，是平台与外界知识交流的窗口；输出管理既是数据流动的末端也是给外界输出信息的控制端。管理协同架构的内层涵盖了框架主线所涉及到的角色、保障因素、功能及其之间的相互关系，内层为管理对象。其中安全隐私和系统协调是为内层中的重要保障。安全管理架构师及安

10、全专家协同建设一个全方位的安全防护体系，保证系统安全与隐私管理得到有效保障；系统集成工程师、软件架构师、信息架构师等多种角色相互配合保障系统协调任务能够顺利完成、大数据平台工作平稳运行。数据提供者既包括项目参建单位，也包括政府监督部门，实现各类数据的提供；信息交互和资源管理为工程大数据平台提供了开放、标准、统一的接口基础。结论大数据平台化是工程大数据发展的趋势，也是信息化发展的应用范围之一，在建设大数据平台过程中应该基于工程行业的情况和工程数据的特性选择相应的技术框架，并把协同管理思路贯穿于整个建设周期，实现“源于技术，不止于技术”。参考文献：郑双权大数据在贵州高速公路施工管理质量监控等方面的应用价值研究J.交通世界,2018（30）：138-139.1 周文杰，戴旭东.探讨大数据时代下的公路工程造价管理发展趋势J.内蒙古公路与运输，2016（3）：47-49.2 肖祥林，周春容.大数据在公路工程质量监控中的应用与挑战J.微型电脑应用，2017,33（6）：24-26，29.