码头数据治理实践分析

《码头数据治理实践分析》由会员分享，可在线阅读，更多相关《码头数据治理实践分析（16页珍藏版）》请在装配图网上搜索。

1、码头数据治理实践坚持大数据与经济社会深度融合，带动全要素生产率提升和数据资源共享，促进产业转型升级，提高政府治理效能，加快数字社会建设。立足新发展阶段，完整、准确、全面贯彻新发展理念，构建新发展格局，以推动高质量发展为主题，以供给侧结构性改革为主线，以释放数据要素价值为导向，围绕夯实产业发展基础，着力推动数据资源高质量、技术创新高水平、基础设施高效能，围绕构建稳定高效产业链，着力提升产业供给能力和行业赋能效应，统筹发展和安全，培育自主可控和开放合作的产业生态，打造数字经济发展新优势，为建设制造强国、网络强国、数字中国提供有力支撑。一、 码头数据治理实践1、码头数据治理背景积极建设现代化港口，经

2、历从传统码头向智慧化港口转型，充分运用物联网、云计算、大数据的技术手段进行透彻感知、广泛链接、深度计算、运行核心系统的各个关键信息，在此过程中积累了大量物联感知数据及业务的执行数据，迫切需要通过一个统一大数据平台来汇聚所有设备、场地、运营等相关数据，再通过人、场地、设备将这些数据进行大量碰撞分析来支撑港口科学调度决策。当前码头缺少统一的大数据资产管理平台，导致在数据应用方面出现数据价值不凸显、数据标准不统一、数据质量不可控、数据共享不畅通等问题。港口数据治理解决方案立足打造领先码头大数据平台，能满足覆盖工程技术、运营操作、安全卫环等部门数据应用需求，对码头现有数据资产进行盘点、治理及挖掘，提炼

3、运营及管理指标，科学化管理码头数据资产和挖掘数据价值。2、码头数据治理解决方案通过数据治理、数据应用等方向不断探索，形成码头统一的数据标准治理方案。在项目实施过程中，以数据接入、数据清洗、数据治理、数据迁移等几个方向展开实施，其中以数据治理及数据迁移为核心，迁移码头历年积累的数据，清晰化数据集成、数据质量、元数据管理、数据建模等内容，形成统一的码头数据中台，并在数据应用方面进行扩展，为实现码头如下数字化目标。一是业务数字化：收集港区定位、设备、气象、指令等数据，将业务场景用数字进行表达。二是数据标准化：对不同类型、不同源的数据进行加工治理，形成格式统一、频率一致、口径归一的标准化数据。三是数据

4、资产化：形成主数据、指标库等资产化数据，同时进行数据画像、数据挖掘、数据分析，对数据进行价值发掘，发挥数据价值。四是数据服务化：具备统一的对外接口，进行数据质量检测、权限管理、数据安全保障等管理，输出可用、可信、及时准确的标准化数据。在实践过程中，着重围绕以下几个方面进行深入交流。（1）码头数据治理数据归集码头存在多源数据库，不同数据接入码头的来源多样化，如前端物联感知设备数据，码头业务系统、IoT设备数据、外部需要接入的系统数据等等。针对多样化的数据来源，基于数栈数据集成模块的能力，在各个存储单元之间执行数据交换，由于产品具备分布式底层架构，稳定高效、弹性伸缩等的特点，在码头复杂网络环境下，

5、实现了的异构数据源之间高速稳定的数据移动及同步能力。（2）码头数据治理数据标准建立数据标准，根据大数据中心项目建设积累，围绕港口数据中台数据标准及规范体系，初步构建码头数据中台的采集规范、开发规范、数据管理办法、数据服务规范、安全管理规范，如命名规范，模型设计规范，代码规范，注释规范等。1）词根规范：为了规范数据标准的词根维护流程，保障词根的准确性和唯一性，提高开发效率，减少沟通成本，将常用的长单词或短语，通过统一命名的方式，保证全局范围内的命名含义一致性。3）模型设计规范：结合数仓建模理论，实现数据ODS、CDM（DWD、DWS、DIM）、ADS分层，构建数据模型，定义指标规范、指标口径，结

6、合全域数据对数仓进行设计。4）代码注释规范：代码编写要充分考虑执行速度最优的原则，代码中应有必要的注释以增强代码的可读性，代码开发规范要求等。（3）码头数据治理主题域建设建设码头全域数据主题。1）集装箱主题域：集合以集装箱为主体的数据，根据码头中集装箱数据的各个动态，再加上与集装箱关联的车辆和船舶相关数据，形成集装箱的主题数据域。2）船舶主题域：集合以船舶为主体的数据，形成船舶的主题数据域，可以为大数据中心提供相关航次优化及效率分析等数据服务。3）设备主题域：以设备为主体的数据，今后长远来看，所有设备都会趋向于智能化，以后的定位相关数据服务也不会只局限于车辆数据。4）人员主题域：集合以人员为主

7、体的数据，形成人员的主题数据域。配合设备信息输出设备操作相关的数据服务。5）公共主题域：将具有公共属性的数据集中放置在公共数据域。例如主数据，气象数据等服务于其他各个主题域的数据。6）物资主题域/工单主题域：基于即将接入的设备工程一体化系统。7）定位主题域：以定位数据为主体的集合，例如桥吊、车辆等设备的定位数据。（4）码头数据治理全域数据重构针对码头已有数据情况进行数据探查、数据集成，数据中台模型开发、指标加工、数据校验、数据服务等。针对现有全域数据150张表数据探查；重点对可视化系统130个指标表重构加工，丰富中间模型层；对重构后数据进行逐一校验；最终形成数据资产目录。3、码头数据治理建设成

8、果截至目前，已完成码头已有数据资产接入，完成各系统数据迁移，建设码头统一的数据模型。完成码头全域数据重构工作，整合历年指标逻辑，完成指标技术口径与业务口径重构，完成相关报表数据校验工作。满足码头数据平台应用需求，优化数据链路，提升码头整体数据利用效率；满足业务系统相关数据需求，针对性开发相关报表指标，提升码头数据中台服务能力；重构完善码头业务指标逻辑，修正历史遗留问题，拓展新思路，提升码头数据智能化能力。二、 数据融合应用工程（一）一网统管数据融合应用工程建立综合性城市管理主题数据库，汇聚行业全领域、全过程实时数据，共享规划自然资源、住房城乡建设、公安、交通、生态环境、市场监管等行政管理部门和

9、燃气、电力、通信等公共服务单位的相关城市管理信息资源，整合市、区县、街道三级城市管理网格数据资源，打造城市管理地理信息一张图，实现对城市管理与运行状态的自动实时感知，指导工程组织实施、应急处置。（二）一网调度数据融合应用工程建立消防安全、道路运输安全、城市运行安全、特种设备安全等安全专项整治专题数据库，建立洪旱灾害防治、地质地震灾害防治、森林草原火灾防治、气象灾害防治等专题数据库，汇聚应急、公安、交通、民政、水利等多个部门的风险监测预警、安全生产专项整治、自然灾害综合防治等领域数据资源，实现应急管理事前、事中、事后全流程化、数据化、智能化。（三）一网治理数据融合应用工程建立公共服务、便民服务、

10、物业服务、养老服务等领域基层治理主题数据库，汇聚整合公安、民政、卫生健康等业务系统数据，推动基层治理数字化。（四）智慧监管数据融合应用工程建立市场主体全生命周期数据链，加快汇集市场监管业务全量数据资源，完善市场监管基础数据库，实现市场主体全集画像和空间可视、监管对象精准推送和监管工作留痕可溯及全程监督。（五）智慧交通数据融合应用工程集中管控交通管理外场设备，汇聚整合道路交通管理相关数据资源，强化对城市交通的全域实时感知。推进公共停车场智能化设施设备改造，建立停车设施基础信息数据库，持续更新停车设施建设、管理、布局及停车泊位使用、收费标准等数据，增强城市公共停车在线监管和智能调度能力。汇聚交管、

11、交运、停车等综合交通数据及相关空间信息，实现交通综合信息共享服务。（六）智慧医疗数据融合应用工程推动公立医疗卫生机构医疗信息、检查检验等数据上云，整合公安、民政、医保、药品流通等领域业务数据，建设健康医疗主题库，实现健康医疗大数据全面汇聚和标准化、卫生健康数据互联互通和业务协同共享、居民全生命周期健康管理和医疗卫生全流程智能服务。（七）三农数据融合应用工程汇聚农田土壤墒情数据、农村土地权属数据、农村产业数据、农村相对贫困户数据、农民征信数据、农村科技能手和乡贤数据、农业土、肥、水、种、密、保、管、工相关数据，支撑农情分析、农业气象信息服务、产业监测服务、农产品和农资信息服务、农技推广服务、农业

12、在线教育服务。三、 构建稳定高效产业链（一）打造高端产品链梳理数据生成、采集、存储、加工、分析、服务、安全等关键环节大数据产品，建立大数据产品图谱。在数据生成采集环节，着重提升产品的异构数据源兼容性、大规模数据集采集与加工效率。在数据存储加工环节，着重推动高性能存算系统和边缘计算系统研发，打造专用超融合硬件解决方案。在数据分析服务环节，着重推动多模数据管理、大数据分析与治理等系统的研发和应用。（二）创新优质服务链围绕数据清洗、数据标注、数据分析、数据可视化等需求，加快大数据服务向专业化、工程化、平台化发展。创新大数据服务模式和业态，发展智能服务、价值网络协作、开发运营一体化等新型服务模式。鼓励

13、企业开放搜索、电商、社交等数据，发展第三方大数据服务产业。围绕诊断咨询、架构设计、系统集成、运行维护等综合服务需求，培育优质大数据服务供应商。（三）优化工业价值链以制造业数字化转型为引领，面向研发设计、生产制造、经营管理、销售服务等全流程，培育专业化、场景化大数据解决方案。构建多层次工业互联网平台体系，丰富平台数据库、算法库和知识库，培育发展一批面向细分场景的工业APP。推动工业大数据深度应用，培育数据驱动的平台化设计、网络化协同、个性化定制、智能化生产、服务化延伸、数字化管理等新模式，规范发展零工经济、共享制造、工业电子商务、供应链金融等新业态。（四）延伸行业价值链加快建设行业大数据平台，提

14、升数据开发利用水平，推动行业数据资产化、产品化，实现数据的再创造和价值提升。打造服务政府、服务社会、服务企业的成熟应用场景，以数据创新带动管理创新和模式创新，促进金融科技、智慧医疗等蓬勃发展。持续开展大数据产业发展试点示范，推动大数据与各行业各领域融合应用，加大对优秀应用解决方案的推广力度。四、 一体化大数据资源中心工程（一）城市大数据资源中心完善数据目录管理、供需对接、交换等功能。升级公共数据开放系统，完善目录发布、指引发布、便捷检索、统计分析、应用展示等功能。建设数据中台，利用建模、映射、对标检查、同态加密、数据标签或水印等技术，开发数据元管理、数据模型、数据标准、数据质量、数据安全及审计

15、等工具。（二）城市信息模型（CIM）以三维空间数据底座为核心，汇聚融合建筑、道路、轨道、隧道、桥梁、水体、地下空间等基础设施，以及资源调查、规划管控、公共专题、工程建设项目、物联感知等数据，统筹建设时空基础数据库、资源调查数据库、规划管控数据、工程建设项目数据库、公共专题数据库、物联感知数据库等主题数据库，形成融合共享、开放协同的GISBIMIoT数据资源体系。五、 数据治理基本原则（一）坚持统筹规划强化总体设计、创新引领、共建共享、互联互通，构建一体化数据协同治理体系。（二）坚持依法治数持续深化数据资源体制机制改革，以大数据发展管理立法为契机，建立健全大数据法规制度和标准规范体系，全面提升数

16、据治理体系建设的法治化、专业化水平。（三）坚持应用牵引以住业游乐购全场景集的应用需求为牵引，打造三融五跨智能化应用场景，促进数据共享开放、业务互联互通，切实提升数据治理能力，助力运行管理智能化。（四）坚持融合发展以数据为关键生产要素，促进新技术、新模式、新服务、新业态融合创新，驱动生产方式、生活方式和治理方式变革，深化数据要素市场配置体制机制改革，营造大数据应用发展良好生态。（五）坚持安全底线统筹发展与安全，按照合法正当必要、谁收集谁负责、谁持有谁负责、谁管理谁负责、谁使用谁负责原则，全面落实数据安全责任，开展数据分类分级管理，实行数据全生命周期安全保护。六、 数据治理指导思想立足新发展阶段，

17、完整、准确、全面贯彻新发展理念，积极融入服务新发展格局，坚持加快数字化发展指引，健全数字规则，保障数据安全，以数据汇聚治理为核心，全力攻坚数据聚通用，充分挖掘大数据商用、政用、民用价值，加快培育数字经济，打造数字政府、数字营商环境，构建数字社会，让大数据智能化为经济赋能、为生活添彩。七、 大数据产业指导思想立足新发展阶段，完整、准确、全面贯彻新发展理念，构建新发展格局，以推动高质量发展为主题，以供给侧结构性改革为主线，以释放数据要素价值为导向，围绕夯实产业发展基础，着力推动数据资源高质量、技术创新高水平、基础设施高效能，围绕构建稳定高效产业链，着力提升产业供给能力和行业赋能效应，统筹发展和安全

18、，培育自主可控和开放合作的产业生态，打造数字经济发展新优势，为建设制造强国、网络强国、数字中国提供有力支撑。八、 数据流通扩大开放工程构建集自然语言处理、视频图像解析、数据可视化、语言智能问答、多语言机器翻译、数据挖掘分析等功能的大数据通用算法模型库和控件库，定期开展数据演习，建设面向公共卫生、自然灾害、国防战备等重大突发事件处置的国家级数据靶场，为重大突发事件开展决策研判和调度指挥提供支撑。规范数据入场交易，培育数据要素交易市场。建设涵盖数据资产评估、登记确权、交易撮合、评估定价、可信流通等方面的全流程数据要素流通交易平台和数据授权存证、数据溯源和数据完整性检测平台，提供数据交易、结算、交付

19、、安全保障、资产管理等综合配套服务。九、 筑牢数据安全保障防线（一）完善数据安全保障体系强化大数据安全顶层设计，落实网络安全和数据安全相关法律法规和政策标准。鼓励行业、地方和企业推进数据分类分级管理、数据安全共享使用，开展数据安全能力成熟度评估、数据安全管理认证等。加强数据安全保障能力建设，引导建设数据安全态势感知平台，提升对敏感数据泄露、违法跨境数据流动等安全隐患的监测、分析与处置能力。（二）推动数据安全产业发展支持重点行业开展数据安全技术手段建设，提升数据安全防护水平和应急处置能力。加强数据安全产品研发应用，推动大数据技术在数字基础设施安全防护中的应用。加强隐私计算、数据脱敏、密码等数据安

20、全技术与产品的研发应用，提升数据安全产品供给能力，做大做强数据安全产业。十、 大数据产业发展成效十三五时期，我国大数据产业快速起步。据测算，产业规模年均复合增长率超过30%，2020年超过1万亿元，发展取得显著成效，逐渐成为支撑我国经济社会发展的优势产业。政策体系逐步完善。围绕数字经济、数据要素市场、国家一体化大数据中心布局等作出一系列战略部署，建立促进大数据发展部际联席会议制度。有关部委出台了20余份大数据政策文件，各地方出台了300余项相关政策，23个省区市、14个计划单列市和副省级城市设立了大数据管理机构，央地协同、区域联动的大数据发展推进体系逐步形成。产业基础日益巩固。数据资源极大丰富

21、，总量位居全球前列。产业创新日渐活跃，成为全球第二大相关专利受理国，专利受理总数全球占比近20%。基础设施不断夯实，建成全球规模最大的光纤网络和4G网络，5G终端连接数超过2亿，位居世界第一。标准体系逐步完善，33项国家标准立项，24项发布。产业链初步形成。围绕数据资源、基础硬件、通用软件、行业应用、安全保障的大数据产品和服务体系初步形成，全国遴选出338个大数据优秀产品和解决方案，以及400个大数据典型试点示范。行业融合逐步深入，大数据应用从互联网、金融、电信等数据资源基础较好的领域逐步向智能制造、数字社会、数字政府等领域拓展，并在疫情防控和复工复产中发挥了关键支撑作用。生态体系持续优化。区

22、域集聚成效显著，建设了8个国家大数据综合试验区和11个大数据领域国家新型工业化产业示范基地。一批大数据龙头企业快速崛起，初步形成了大企业引领、中小企业协同、创新企业不断涌现的发展格局。产业支撑能力不断提升，咨询服务、评估测试等服务保障体系基本建立。十三五时期我国大数据产业取得了重要突破，但仍然存在一些制约因素。一是社会认识不到位，用数据说话、用数据决策、用数据管理、用数据创新的大数据思维尚未形成，企业数据管理能力偏弱。二是技术支撑不够强，基础软硬件、开源框架等关键领域与国际先进水平存在一定差距。三是市场体系不健全，数据资源产权、交易流通等基础制度和标准规范有待完善，多源数据尚未打通，数据壁垒突出，碎片化问题严重。四是安全机制不完善，数据安全产业支撑能力不足，敏感数据泄露、违法跨境数据流动等隐患依然存在。