基于高速公路收费数据的交通流量多维分析技术研究

《基于高速公路收费数据的交通流量多维分析技术研究》由会员分享，可在线阅读，更多相关《基于高速公路收费数据的交通流量多维分析技术研究（69页珍藏版）》请在装配图网上搜索。

1、 . . . 基于高速公路收费数据的交通流量多维分析技术研究大学硕士学位论文学生：万金朋导师：棣华 教 授专 业：交通信息工程及控制学科门类：工 学大学自动化学院二O一二年四月65 / 69Study on Multidimensional Analysis of Traffic Flow based on Highway Toll DataA Thesis Submitted to ChongqingUniversityin Partial Fulfillment of the Requirement for theDegree of Master of EngineeringByWan J

2、inpeng Supervised by Prof. Sun DihuaMajor: Transportation Information Engineering and ControlCollege of Automation of ChongqingUniversity, Chongqing, ChinaApril, 2012摘 要交通流量是反映交通运行状态的主要参数之一,如何科学的分析高速公路的交通流量分布规律是高速公路管理部门面临的重要问题之一。论文在讨论交通流量的获取与交通流量分析的国外研究现状的基础上,指出目前对于交通流量的采集主要依靠人力或昂贵的硬件设备,高速公路的交通流量很不全

3、面,对于高速公路流量的分析主要依靠经验,缺乏充分的数据和先进技术的支持,无法对交通流量进行多样化、多层次、多角度的分析,管理决策往往缺乏针对性和有效性等缺点。针对上述问题,论文利用现有的高速公路联网收费系统中的收费站出入口数据,提出了一种高速公路断面的交通流量的估算算法,进而采用趋势图、透视表等数据可视化方法对高速公路不同时间、断面以及车型的交通流量数据进行分析,获取其时空分布规律,加深对交通流量数据的理解,有助于进行高速公路交通流量的时空数据挖掘的研究,为有关部门提供科学管理和决策支持工具,支持对高速公路的针对性管理。论文将联网收费系统的收费数据作为分析高速公路断面的交通流量的依据,以整体框

4、架的构建、交通流量的估算处理、相关信息的抽取、交通流量仓库模型研究、OLAP多维数据集的设计、数据仓库和多维数据集的更新为线索展开研究,对于交通流量分析结果,利用OWC组件进行多维展示。针对总体框架中需要解决的关键问题进行了深入研究。首先,根据目前高速公路管理部门的数据环境及数据特点,研究了基于DTSData Transformation Services的交通流量数据抽取器,进而提出了一种基于高速公路联网收费数据的多断面交通流量估算方法。其次,对交通流量规律分析的数据仓库模型和OLAP数据库进行了研究,重点分析了交通流量数据的粒度,并对交通流量数据进行了基于粒度的概化,在此基础上,构造了数据

5、仓库的星型模型并完成了物理实现。基于上述数据仓库模型,选取断面、车型、时间作为交通流量分析多维数据集的维度,创建了交通流量分析多维数据集。最后,针对实际应用环境的需要,研究了数据仓库更新的方法和流程。应用上述研究成果,利用市联网收费平台采集的高速公路收费数据,开发了市高速公路断面交通流量规律多维分析系统,具有良好的应用前景。关键词：交通流量分析,收费数据,OLAP,交通流量数据仓库,数据更新ABSTRACTTraffic flow is one of the main parameters to reflect the state of traffic running, How the sci

6、entific analysis of highway traffic distribution rule is one of the important issues facing the highway management department.The Paper to discuss traffic flow on the basis of the research status and traffic flow analysis,whichpoints out human or expensive hardware for the acquisition of the traffic

7、 flow. Highway traffic flow is far from comprehensive,which mainly replys on experience in the analysis of freeway traffic. Lack of adequate data and advanced technology support,which can not be on the traffic flow, diversified, multi-layered, multi-angle analysis. Management decisions often lack re

8、levance and effectiveness of other shortcomings.In response to these issues,ThePaper takes use of the toll station entrances and exits in the data in the existing Highway Toll System and makes a point of a highway sections traffic flow estimation algorithmhighway sections traffic flow estimation alg

9、orithm. Thus it adopts thetrends, pivot tables and other data visualization methods,which rsponds to the analysis of the highway at different times, the cross section as well as models of traffic flow data and access to its spatial and temporal distribution,deeply understands the traffic flow data.I

10、t contributesto the highway traffic flow spatio-temporal data mining research,andprovidesscientific management and decision support tools for the relevant departments. Support targeted on the problem of highway traffic flow management.The Paper Toll System charges data as a basis for analysis of tra

11、ffic flow on the highway section and uses the construction of the overall framework,traffic flow estimation processing,the extraction of relevant information,the design of the OLAP cube,data warehouse and cube updates provide some clues. For traffic flow analysis, it takes advantage ofOWC components

12、 of the multi-dimensional to show.Key issues need to be addressed in the overall framework of the in-depth study.First of all,according to the data environment and data characteristics of the highway management department, it researchs the traffic flow data extraction based on DTS,and points out a t

13、raffic flow estimation method based on the data section of the Expressway Network charges.Secondly,it posesmodel law analysis of traffic flow data warehouse and OLAP databases,and mainly analyzes the traffic flow data granularity,and the traffic flow data based on the granularity of generalizability

14、.On this basis, it constructes star model of the data warehouse and completes the physical implementation.Based on the above data warehouse model,it selects the section、models、times to make upof the dimension of the cube as a traffic analysis, and creates a traffic analysis cube.At last ,contrary to

15、 the practical application of environmental needs,it researches the methods and processes the data warehouse updates. Application of the above research results,it takes advantage ofthe Chongqing toll collection of highway toll data platform,and we develope the Chongqing city expressway section traff

16、ic rule multi-dimensional analysis system ,which has a good prospect of this application .Keywords: analysis of the trafficflow, charge data, online analytical processing, traffic flow data warehouse, data update目 录中文摘要I英文摘要III目 录51 绪 论91.1研究的背景91.2研究的目的及意义101.3国外研究现状及分析101.3.1国外研究概况101.3.2国研究概况121.

17、3.3研究现状问题分析131.4论文结构141.5本章小结152 高速公路交通流量多维分析总体框架172.1引言172.2需求分析172.3设计思想182.4高速公路交通流量多维分析182.5关键问题202.6本章小结213基于高速公路收费数据的交通流量分析233.1引言233.2 断面交通流量估算所需数据的抽取233.3建立高速公路断面交通流量估算模型243.3.1数据预处理243.3.2基础数据调研253.4 基于收费站数据的道路断面的交通流量估算263.5 实验及验证273.5.1实验环境273.5.2验证及对比273.5.3实验结果分析303.6 本章小结304 基于OLAP的交通流量

18、数据仓库模型334.1 引言334.2数据多维分析相关技术基础334.2.1数据仓库技术334.2.2数据仓库的多维数据模型344.2.3 OLAP技术364.3流量变化规律多维分析数据仓库模型394.3.1 交通流量变化规律多维分析概念模型394.3.2 交通流量变化规律多维分析逻辑模型404.3.3 交通流量变化规律多维分析物理模型434.4 交通流量OLAP数据库设计444.4.1 维度及多维数据集选择444.4.2 交通流量规律多维数据集的创建454.5交通流量变化规律多维分析数据仓库和多维数据集更新方法研究454.5.1 数据仓库更新454.5.2 多维数据集更新474.5.3多维数

19、据集更新处理流程474.6本章小结485实例分析505.1 应用环境505.2 基础数据处理505.2.1 基础数据505.2.2 数据预处理525.3 系统开发中关键问题实现525.3.1高速公路交通流量数据的估算的实现535.3.2交通流量数据到数据仓库事实数据的生成的实现535.3.3多维数据集的生成和更新的实现535.3.4基于OWC的分析结果的多形式展示的实现545.4高速公路交通流量规律多维分析结果展现555.4.1 数据透视表展示555.4.2 图表展现585.5 本章小结596 总结与展望606.1 总结606.2 研究展望60致63参考文献65附录69A作者在攻读学位期间发表

20、的论文目录69B作者在攻读硕士学位期间参与的项目目录691 绪 论1.1研究的背景到20XX底,我国高速公路通车总里程已超过8.5万公里,位居世界第二位1。从高速公路通车里程和路网结构、高速公路密度的增长情况来看,我国高速公路这些年的建设规模和发展速度是空前的,施工水平和建设质量的技术进步也接近于发达国家水平,这使得我国高速公路的整体路网适应能力迅速提高。然而在高速公路的管理和高速公路的信息化建设方面,这些年的技术发展速度相对来说落后于施工技术的发展速度,与发达国家的差距比较明显2。交通数据的采集、整理、应用上远远落后于西方发达国家,表现在没有实现数据资源共享,未形成统一的数据管理模式等方面,

21、致使大量宝贵的基础数据或已有数据没能得以充分利用,造成没有必要的重复、反复采集等一系列问题3。同时由于数据资源的缺乏也造成了交通管理上的不足。对于高速公路的交通流量的分析更是如此,在进行高速公路规划和建设方案研究时,都没有系统的、全面的高速公路网交通流量数据,许多高速公路建设项目在进行工程可行性研究时,都要花费大量的人力、物力进行局部的交通流量调查,同时由于受各种条件的限制其数据也不够准确、全面。不够准确的交通流量数据也极易导致规划或建设项目的失误。高速公路交通参数采集是一项十分重要的基础工作,其采集所得的交通参数是高速公路规划、设计、维修和养护管理不可替代的重要资料,也是评估、决策高速公路总

22、体布局和交通发展战略的科学依据,也是评估经济发展水平的一个重要依据,在规划一个经济区域时,离不开这些交通参数4。80年代初6,高速公路主干道上日交通流量一般不过两千多辆,刚开始的手工计数阶段,人力成本极大,且得出的结果误差较大。改革开放以来,国民经济的快速发展,高速公路交通流量逐年快速上升。交通流量采集方法从原始的手工记数发展到机械计数器和自动观测仪器阶段。90年代中期,环形线圈检测器及相关数据处理软件的出现,彻底摆脱了枯燥、烦琐的人工计数方式,且计算较准确,这是高速公路交通流量采集技术的一次飞跃。到目前为止,全国大部分千线高速公路上的交通流量观测站都安装了这种仪器。随后出现了微波检测器以及光

23、电式检测器等,但是上述方法都存在硬件寿命不长,干扰较大等缺点。近年来随着计算机视觉技术的日益成熟,基于视频的检测技术得到了众多学者和专家的推崇。但是,我们己进入21世纪,当今是高速发展的信息时代,社会对公路交通信息精确、快速和多方位应用的要求,使得现有的技术方式相形见拙。具体来说,有以下不足：采集精度不够高,一般不能分车型采集,数量精度和车型分类精度难以满足2个95%要求；设备稳定性差；线圈检测器需要路面开挖,影响高速公路的正常运行,且不易维护； 一些硬件寿命不长,干扰较大；采集的数据难以快速汇总。1.2研究的目的及意义高速公路交通流量是最基本的交通管理数据,是我国高速公路交通研究与决策的重要

24、依据,是进行高速公路管理的重要基础数据。无论是进行公路规划、制定建设计划、公路建设可行性研究分析、确定公路设计标准、公路养护管理等等,都需要高速公路交通流量作为研究的依据。建立一个全面的、能够反映全省高速公路网交通流量情况的数据库以及分析模型,对于做好高速公路管理的各项工作具有重要意义。而建立高速公路网交通流量数据库,需要进行大量的调查工作,一个完整的全省路网交通流量分析系统,还需要进行全省的路网交通流量调查,一个全省的路网交通流量调查,需动用的人员要上万人,资金投入也很大。这项工作涉及面广,组织复杂、工作量大,需要投入大量的人力、资金,而所调查的数据只是一个时段的交通流量,随着时间的推移,路

25、网的变化和交通流量的不断变化,这些数据将逐渐失去使用的价值。如果将全省高速公路网的联网收费数据分析得到随意断面的交通流量,从而建成动态的、可以根据有关因素适时调整的数据库,则不仅可以充分发挥全省高速公路网交通流量调查的基础数据的作用,而且可以及时提供全省高速公路路网的全面的交通流量资料,这对于做好公路管理、制定规划、计划等工作都将具有十分重要的意义。另一方面,本论文所研究的数据仓库与OLAP技术应用于高速公路交通流量信息化系统的意义是通过高新技术的有效应用,使得对各种决策起到支持作用的信息和知识在高速公路交通流量信息化系统中能够有效流通,提高决策的科学性,从而引导合理的交通行为,最大限度地发挥

26、已有交通设施潜力的目的。1.3国外研究现状及分析1.3.1国外研究概况高速公路作为干线公路的主体,早在20世纪20至30年代就开始在德国、意大利等西方发达国家出现。上世纪50年代中期以后,发达国家就开始有计划、大规模建设高速公路,到目前已经发展到了一个非常成熟的阶段,无论其土建工程还是配套设施的发展都已经非常完善,进而许多发达国家开始重视高速公路的信息化管理、安全性等问题,正向以计算机科学和先进控制技术为基础的智能交通系统发展。国外的高速公路网交通流量数据采集系统大部分也是在高速公路大规模建设阶段日益建设起来,他们的数据资料齐全,在计算机模型上就可随时获得路网的交通流量等相关参数,不必要进行大

27、规模的数据采集工作。交通流量采集信息采集是交通流量分析赖以生存的生命线,而交通流量采集是信息采集的最基本的形式。国外在二十世纪二十年代就开始重视交通流量采集工作,随着信息技术的快速发展,国外大围的高速公路路网的交通流量采集工作日益呈现出自动化、信息化的特点,调查方法灵活多样。交通流量调查和信息采集手段已经跨过三个台阶,即：人工采集到半人工采集到遥感采集。国外全体公民的参与热情、行业部门之间的信息交换频率及操作的透明度较高,交通调查工作较多地利用信息化、智能化的技术手段。高速公路交通流量采集方面的理论研究主要集中在新技术、新设备的开发以及交通信息传输方式的现代化方面。目前主要有一下几个方面1环型

28、感应线圈环型感应线圈7的优点是可靠性高、漏检率低、使用寿命较长。目前国际上公认较为成熟且广泛使用的自适应区域交通协调控制系统有英国的SCOOT系统,澳大利亚的SCATS系统,这两个系统中使用的车辆交通流量检测器均为环型线圈车辆检测器。2微波检测器最具代表性的微波检测器8是由美国Wavetronix公司研发出的一种目前国际上技术最为领先的交通检测器数字雷达波车辆检测器Smart SensorSS105。SS105用了目前最先进的数字雷达波检测技术,用来采集交通流量、车型、平均速度及占用率等交通数据,广泛应用于高速公路进行全天候的交通检测,可同时检测多达8条车道的交通流量、车道占用率以及平均车速,

29、能够较精确的检测高速公路上的任何车辆。 3视频检测器：早在20世纪90年代中期,美、英、日本等国就开始研究基于图像处理的事件自动检测系统10,模拟人工判别交通异常的方法来实现事件的直接快速检测。该方法检测率高,检测周期短,能识别不同事件的类型,并适应不同的交通流状况,是信息采集检测系统的发展方向11。Ikeda 等研制的基于图像处理技术的异常事件检测系统1314,能够快速检测交通流量、慢行车辆、停驶车辆、丢弃物体、车辆连续变换车道各种事件。 数据仓库技术数据仓库定义是由W.H.Inmon于1993年在建立数据仓库40一书提出的,第一次明确提出了数据仓库的定义：数据仓库是一个面向主题的、集成的、

30、随时间而变的、持久的数据集合,用以支持经营管理中的决策制定过程39。利用数据仓库的意义不仅帮助人们制定能够改进生产过程或商业过程的决策,而且实现生产过程或商业过程的自动化11。应用数据仓库技术,改良生产活动或商业过程中的各个环节、发展生产力、提高生产效率的理念,改善企业决策的支持模式,以取得最大的投资回报率,是当今大多数优秀企业的共同经验。数据仓库技术是市场竞争下的产物,通过对大量的、不同源的数据进行集成处理,能够把综合的、丰富的、统一的信息提供给管理者或决策者,从而实现有效的决策辅助。根据调查全球500强部分的企业正在建立或己经建立数据仓库,数据仓库随着90年代后期的Internet 的兴起

31、与飞速发展,正在成为当前技术的热点12。因此,各个大型数据库厂商顺应市场需求,都推出自己的数据仓库产品；已经建立和使用数据仓库的企业,大部分都取得了明显的经济效益,在市场竞争中表现出强劲的活力。国外数据仓库的研究在整合了分布式计算、数据库技术、管理信息技术等相关的学科技术的基础上,目前研究重点集中在元数据管理、数据模型等关键技术上。数据模型的建模研究主要集中在如下两个方面：对结构中各种不同类型的数据建模；为了实现数据集成和分析而建立合适的维度。数据模型的实现集中在两个方面：与概念设计无关的实施过程；概念模型到逻辑模型的结构映射。面向对象的组织方式是解决维度设计问题的一个有效的手段,它能够接受异

32、构数据并容纳非附加数据。维度的层次定义为一种相互制约的数学函数,制约函数的意义是用来设计阐述事例和维度之间关系的维度,因此维度的层次表达是一个重点。1.3.2国研究概况我国从上世纪八十年代初就开始进行高速公路的可行性研究工作,交通流量采集、研究工作随之开展起来16。在我国全面建设小康社会的进程中,高速公路交通面临新的更高的要求,需要在新的发展环境下实现新的跨越式发展。结合我国高速公路交通流量管理的发展情况,建立先进的交通流量采集、分析系统也是时代所趋。交通流量采集我国国于八十年代引入交通数据采集,在二三十年的发展中,交通参数采集技术逐渐成熟,交通参数数据的采集分析逐渐步入正轨。交通参数已经广泛

33、应用于宏观决策分析、微观工程建设及大量公路与道路专项研究。大规模的交通参数采集因其可避免小区域重复采集、可获取详实的数据资料而被重视,、和等省份先后开展了全省围的交通参数采集工作。目前,在我国公路上使用的交通流量采集设备,按传感器的使用和信息采集方式的不同主要有以下几类：1线圈检测器强伟等5利用环型线圈检测器获得复杂交叉路口的实时交通数据。2微波检测器徐勇军等6在研究智能交通系统中的微波车辆检测器过程中,利用雷达原理完成了对流量、速度等交通参数的实时采集和统计。调频雷达检测器是利用雷达测距原理来检测静止的车辆,在频域中,利用数字信号处理器对信号变换与处理,能准确、快速地得到车辆的流量、速度等信

34、息。连续波微波检测器是利用运动目标产生的多普勒频移检测运动车辆；该检测器已广泛用于市智能运输系统中, 同时可以得出对运动车辆的流量和速度的检测准确率高达95%。3视频检测器由漫波交通科技研究开发的vantage视频检测系统9可以分析记录停车、逆行、行人、丢弃物、平均车速、交通流量、车型、车间距、车道占有率等,在使用前要进行参数设定,其优点是准确、灵活,相关信息丰富；可根据不同道路环境灵活设置,配合快速使用可扩展性更强7。数据仓库模型国在数据仓库方面的研究主要集中于数据仓库的架构问题上,主要包括数据模型建立的规则、数据仓库的系统、架构组成、数据管理等方面。另一方面,建立了一些数据仓库在大型企业中

35、成功应用的案例,如三枪集团销售分析系统,宝钢能源部智能决策系统等,但总的来说,数据仓库技术在国还没有得到大围的应用。目前,数据仓库技术在交通运输行业的应用还很不广泛,在高速公路联网收费管理以及交通流量分析中还未应用,大量的收费数据没有被充分地用于分析交通流量,只是简单的进行收费和统计,所以引入数据仓库与联机分析技术将是非常有价值和有意义的技术。由此可见,建设数据仓库和联机分析处理的环境,可以有效地支持高速公路管理的决策。1.3.3研究现状问题分析我国开展交通流量采集工作虽然已经有二十多年的时间,积累了一些交通流量采集数据,在交通流量采集和分析技术和理论研究上取得了一些成果,高速公路网交通流量数

36、据库及分析系统的开发软硬件设施以及交通数据分析的系统化发展的条件已经具备,但国高速公路交通管理部门在整体高速公路网交通流量数据库及分析系统方面的研究很少,尚未开发出成熟的交通流量数据库和分析系统,管理手段仍然落后。还存在以下的问题：交通信息的利用效率低,存在大量的重复性采集研究工作。以往的交通流量分析多是针对某条或某几条新建高速公路而进行,交通流量采集工作也仅是研究道路影响区域围的流量采集。由于数据的管理机制、共享机制和更新维护工作不很健全,往往形成重复采集和重复性研究工作,浪费大量的人力、物力和资金。另外,我国大部分高速公路均设有收费站和收费管理系统,交通流量观测资料非常丰富。但遗憾的是,这

37、些资料没有多数只是用于收费和汇总报表逐级上报,没有得到充分的开发和利用,甚至有些数据以后闲置一旁,不能发挥应有的作用。交通流量调查数据的输入标准和处理程序不规。不同部门间对同一交通流量数据的录入、存储形式不统一,不仅造成了数据的重复采集,也不利于数据的查询和检索,造成了极大的资源浪费。交通流量分析功能过于单一,没有充分利用数据间的复杂关联关系,最大程度地挖掘数据的利用价值。目前大多数交通流量分析流程多是为规划设计服务,输出的交通数据仅仅是路段交通流量、路段通行能力和服务水平等指标,但该流程潜在的分析处理的交通指标远不止这些,数据应用挖掘有待于进一步研究。交通流量数据仓库系统的更新维护功能有待研

38、究和深化。我国正处于经济发展和基础设施建设飞速发展阶段,路网规模、布局调整的速度和程度都很大,交通流量常常在高速公路系统部进行重新分布,这就要求交通流量数据仓库系统能够针对实际情况具有足够的调整基年交通流量分布和更新局部路网抽象的功能,以做到交通流量信息更新的及时性、准确性和数据管理的动态性。然而目前国在此方面开展的研究还很少。1.4论文结构论文的各章容安排如下：第一章：介绍论文的研究背景,研究的目的及意义,国外研究现状及分析,以及论文的结构；第二章：介绍高速公路交通流量多维分析的总体框架,在分析高速公路管理部门的需求的基础上,运用数据仓库和OLAP等技术,提出高速公路交通流量规律分析的总体框

39、架,并阐述总体框架中的关键技术；第三章：介绍关键技术中的数据抽取问题和提出一种基于高速公路收费数据的交通流量估算算法；第四章：研究基于OLAP的高速公路交通流量多维分析数据仓库模型,并研究了数据的粒度,构建了基于星型模式的数据仓库,然后分析高速公路交通流量关联的因素,选取交通流量分析的维度,构建多维数据集；第五章：运用上述方法和总体框架,利用市高速公路的部分收费数据,开发了一个机遇高速公路收费数据的交通流量多维分析系统,实现对市高速公路部分断面的交通流量的多维分析和展示；第六章：总结与展望。1.5本章小结本章给出了本课题研究的背景,对研究的目的和意义进行了阐述,并分析了国外研究现状,接着给出了

40、论文各章主要研究容及具体章节安排。2 高速公路交通流量多维分析总体框架2.1引言随着高速公路交通流量的持续快速增长,提高高速公路管理水平、发挥高速公路路网整体运行效率的需求将越来越高。高速公路交通流量多维分析系统能够及时准确的提供高速公路的交通状况信息,从而要为各级高速公管理部门和决策者科学合理地组织高速公路运输,及时解决高速公路中出现的问题,提高服务水平,抓好高速公路安全和市场管理提供科学的决策依据。本章在分析需求的基础上,阐述设计高速公路交通流量多维分析系统的总体思想,最后提出高速公路交通流量多维分析系统的总体结构和系统流程,并提出设计高速公路交通流量多维分析系统所需要面临的四个关键问题。

41、2.2需求分析高速公路管理部门目前的应用系统主要是基于联机事务处理的联机收费系统,此类应用系统主要负责高速公路的营运收费,支持大量用户进行日常事务处理,实现了办公的自动化和信息化。但是,现有的这些应用系统并不具备数据分析的能力,对于高速公路收费系统来讲,管理部门除了关心高速公路营运收入之外,更关心在这些现象所呈现出的分布情况以及背后所隐藏的规律。例如,交通流量在不同的时间、断面上的分布,车型之间的流量对比等。原来的收费系统对于这些需求,显得无能为力。因此,针对目前高速公路管理部门在收费站数据分析方面存在的问题,经过充分的调研和总结分析,确定交通流量规律分析的需求如下： 车辆流量的时间维分布考察

42、车辆在特定时间段的交通流量分布情况,例如春运时期和黄金周。能够对不同年份的同一时期的车辆流量情况进行对比,给出交通流量对比图,并分析一年不同季度和月份交通流量的规律,利用图表、趋势曲线对交通流量分布规律进行展现。 交通流量的不同检测断面的分布针对不同道路上交通流量情况进行分析对比,观察每条道路的交通流量情况,并且对于不同检测断面的交通流量情况利用地图染色的形式直观展现。 不同车型的交通流量对比。在时间和断面维上对不同车型进行综合分析,查看不同车型的交通流量分布情况。2.3设计思想针对上述需求分析,本文提出的高速公路交通流量规律多维分析设计思想如下： 经济性充分利用高速公路现有的设备和条件,与原

43、有的收费站系统融合,恰当的设计系统,在减少新设备的投入的情况下依然能够获得令人满意的分析效果。 技术合理性数据仓库模型设计的合理与否直接关系到系统的性能和分析结果的优劣,是数据分析的基石,因此必须构建适宜分析的数据仓库模型。本论文充分利用OLAP联机分析处理多维分析技术,对高速公路交通流量进行多角度、多层次的分析,然后以数据表、图表显示等方式展现给管理者。因此,从整体系统结构上分为四个部分：一是对收费站数据、道路的基础信息等数据进行抽取,然后对抽取数据进行预处理工作；二是根据收费站数据估算随意断面的交通流量；二是根据需求和数据信息,设计合理的数据仓库模型和OLAP多维分析模型,生成查询分析所需

44、的交通流量数据立方体。最后,将分析的结果以图表和透视表的方式展现。 易操作与可维护性对于数据抽取及转换服务,采用定时触发的方式从收费系统的数据库中抽取,大量的数据处理工作放在后台服务器,将处理结果直接提供给前台程序。对于后台数据的更新采用定时处理和点击按钮两种方式,对于技术管理人员来讲操作简单、容易维护。 可靠性与稳定性在整体方案设计时,系统的稳定性和可靠性也是必须需要考虑的问题。本方案后台服务器采用微软公司的SQL Server 2008及Analysis Service,对于系统运行过程中出现的异常情况,以日志形式进行记录,方便系统管理人员进行维护。2.4高速公路交通流量多维分析方案根据上

45、述需求分析、设计思想,结合现有硬件条件,本文提出的总体方案体系结构框图如图2.1所示。图2.1交通流量多维分析系统结构图Fig.2.1 Logic structure of the system该方案由基础数据库、数据抽取转换器、交通流量估算模型、SQL Server 2008数据仓库,OLAP多维数据集和前台软件组成。 基础数据库：保存由收费站信息系统传送过来的收费数据以及车辆、道路等相关的静态信息。同时,也作为高速公路管理部门日常事务处理的数据库； 数据抽取转换器：通过部局域网将交通流量规律多维分析所需的基础数据出入站数据、车型数据、出口入口时间抽取到SQL Server数据仓库中,同时将

46、数据进行相应的预处理； 交通流量估算模型：通过联网收费数据估算随意断面的交通流量,存放到数据仓库中； 数据仓库：将规化和格式化的数据信息、视图、索引等进行存储,管理和更新交通流量数据,能够对交通流量数据进行备份和恢复,并且可以进行质量检查,审计和报告时间仓库的使用和状态,负责安全和特权管理等功能； OLAP服务器：利用收费站数据和基础数据信息创建交通流量分析的多维数据集,进行存储,并负责维护和更新多维数据集； PivotTable：用来展现交通流量多维数据集,可以在客户端对交通流量数据进行下钻、上卷、切片、切块、旋转等操作,通过不同的层次和角度对交通流量数据进行分析,同时与Chart组建绑定,

47、实现交通流量规律的图表、曲线展现； 客户端软件：包括数据透视表和交通流量图表。通过客户端实现OLAP立方体的多维操作,分析高速公路交通流量规律。整体方案的工作流程如图2.2所示。图2.2总体方案工作流程Fig.2.2Flow chart of system如图2.2所示,数据抽取转换脚本每小时自动运行,更新时间维表,然后将高速公路收费站数据迁移到SQL Server数据库服务器缓冲表中。对于新抽取的数据,利用本文提出的高速公路断面交通流量估算模型进行数据预处理,然后把相关维表调入存,生成交通流量分析的事实表。为了保持数据的一致性,生成或更新事实表之后,将OLAP数据库中的数据立方体和共享维度一

48、起更新。通过客户端的PivotTable和Chart控件对更新后的交通流量分析多维数据集进行展现。对于图表的展现可以进行多角度、多层次的分析。2.5关键问题结合实际应用背景,要实现本文提出的交通流量规律多维分析总体框架,需解决以下关键问题。 断面交通流量估算所需数据的抽取由于收费站数据库为OLTP数据库,主要面向事务处理,数据零散孤立,不利于数据分析,因此,需要将数据抽取到一个特定的数据环境中。在SQL Server数据库服务器上运行数据抽取器,定时从收费站数据库中抽取交通流量规律所需的原始数据。抽取器的设计要保证收费站数据的完整性和一致性,抽取的数据要准确、合理,并且抽取器的工作不影响收费站

49、数据库的运行。 基于收费站数据的交通流量估算方法基于收费站数据的交通流量估算方法是进行交通流量数据分析的重要环节,通过对原始收费站数据信息进行处理实现交通断面交通流量的估算。本课题基于收费站数据的交通流量估算方法工作将在第三章进行了讨论,在此不再累述。 数据仓库模型的确立及其更新数据仓库模型的设计是否合理关系到多维数据分析的效率以及分析结果的准确性,同时也关系到数据仓库的维护和扩展性。此外,为了保证联网收费数据库与交通流量数据仓库数据的一致性,数据仓库的更新也是本文阐述的关键技术之一,将在第四章进行详细讨论。 OLAP多维数据立方体的设计及更新多维数据集创建过程中对于维的选择以及维的层次关系的

50、设计决定了数据分析结果是否全面和有效,存储模式的选择决定了数据访问效率的高低,因此本文针对联网收费数据分析的特性,对OLAP多维数据集的设计进行研究。当交通流量数据仓库进行更新之后或者多维数据集的存储结构进行了更改,为了保证能够看到最新的分析结果,必须要对多维数据进行同步更新,以保证分析结果的准确性。本文对OLAP多维数据集更新的方法进行了研究,将在第四章进行详细讨论。2.6本章小结本章结合高速公路管理部门现有的应用基础和条件,针对其对高速公路交通流量规律分析的需求,本着合理性、稳定性、经济性、可操作性和可维护性等方面的设计思想,提出了高速公路交通流量规律多维分析的总体框架,并提出总体框架中相

51、关关键技术。3基于高速公路收费数据的交通流量分析3.1引言目前大多数的断面交通流量数据主要来自三种途径：一是根据设置的交通流量采集点在指定时间人工调查,计算得到断面交通流量；二是在地上或地下设置交通流量检测设备,通过设备取得断面交通流量；三是基于收费数据库数据进行OD矩阵推算得到断面交通流量。这三种方法目前具有一定的操作性,但是尚存在以下几点不足：1在交通流量采集点利用人工计数取得交通流量的方法会花费较大的人力、物力、财力,同时实施及数据整理过程较为复杂。2在交通流量采集点利用人工计数取得交通流量的方法受人为因素、外界因素的影响较大,相对于收费系统来讲失真度较大。3利用交通流量检测设备取得交通

52、流量信息的方法设备成本较高,且只能反映指定点的交通流量。4基于收费数据库数据进行OD推算得到断面交通流量方法,该方法的使用受路网的限制,且算法较为复杂。王少辉于20XX提出数据仓库和联机分析技术在高速公路收费数据管理及分析中的应用,但目前国高速公路收费站分为主线收费站与匝道收费站,匝道收费站的车流量数据只能反映进出高速公路的交通流量,无法反映经过道路断面交通流量。因此通过匝道收费站的流量数据,是根本无法直接得到道路断面交通流量的。基于以上采集方法存在的不足,本文提出了一种基于高速公路收费数据库的出入口刷卡时间、收费站地理位置及车型数据来推算高速公路任意断面交通流量计算方法。3.2 断面交通流量

53、估算所需数据的抽取数据抽取是从联网收费数据库中将数据分析所需要的数据抽取到数据仓库中。为了保证不对联网收费数据库服务器产生过重的负载,采用定时触发的方式将交通流量规律分析所需的数据抽取出来,然后利用基于联网收费数据的道路断面的交通流量估算的方法对抽取的数据进行处理转换,最后将处理好的数据存入专用的数据分析服务器。因此,本数据抽取转换器采用定时触发方式,在约定的时间点进行数据抽取转换工作。本文采用的时间点在每小时的整点处,将一小时的联网收费数据抽取出来,同时,利用SQL语句过滤与交通流量规律分析无关的收费信息,以减少数据的传输量,提高抽取效率。另外,在第一次抽取时,需要将收费站的基础数据信息从联

54、网收费数据库抽取到SQL Server 服务器上,如果基础数据发生变更也要及时准确的反映到SQL Server服务器中基于以上数据抽取器的要求,本文采用DTS和触发器来实现数据抽取转换工作。 DTS和触发器DTSData Transformation Services数据转换服务提供将一种数据源转换为另一种数据源的服务,能够从多个异构数据源向数据仓库导入数据,提供的服务包括数据复制、数据转换和通知状况。触发器是一种特殊的存储过程,当对表或视图进行更新、插入、删除等操作时自动执行,一般用来保证业务规则、数据的完整性和一致性。 基于DTS和触发器的抽取器工作流程将编写好的DTS脚本在SQL Ser

55、ver 2008服务器上运行,当到达预定的抽取时间时,DTS脚本将自动运行数据导入任务,将交通流量规律分析所需的联网收费数据从原始数据库抽取到SQL Server 2008分析服务器上。此外,当基础数据发生变化时,自动运行触发器脚本,执行SQL更新语句,更新SQL Server 2008中的基础数据,保证源数据与分析数据库中数据的一致性,过程如图3.1所示。图3.1 数据抽取过程Fig.3.1 Process of data transport package3.3建立高速公路断面交通流量估算模型3.3.1数据预处理数据预处理的目的是把海量的收费数据进行处理,转换为适合本文处理的可靠精确的数据

56、。考虑到在交通流量估算中遇到的问题,以及在高速公路收费数据挖掘中的实际过程,将数据预处理过程分为以下几个步骤：数据清理、数据集成、数据抽取。表3.1联网收费系统数据记录的容Tab.3.1 Recorded content of Toll data静态数据动态数据站编码表操作员表工班表出口流水表入口流水表站编码路段编码站服务器名站名称站编码路段编码操作员操作员编码身份卡编号身份卡卡号工班名称工班起启时间结束时间出口流水编码出口记录号入口路段编码入口流水编码入口站编码入口车道编码入口站名入口车种入口车型入口车牌入口工班号入口收费员编码入口工班日期入口收费员出口流水编码入口操作时间出口路段编码出口站

57、编码出口站名出口车型出口车道编码出口车种出口工班号出口车牌出口收费员编码出口工班日期出口操作时间出口收费员车辆数流水编码记录号站编码路段编码车道编码站名车型车辆数车种车牌工班日期工班号收费员编码收费员特殊事件操作时间1数据清理：将进高速公路后从入口掉头的数据或者由于司机卡丢失而产生的异常数据以及司机冲卡而产生的异常数据进行清理；另外也将机器故障产生坏卡或者收费员发卡时误操作时的产生异常数据进行清理。2数据集成：将表3.1清理后,集成到一个新表中。3数据抽取：在上述新表中抽取以下几列：出口站名 、入出口时间精确到秒、入出口车型、车流量数。3.3.2基础数据调研通过调研得到检测断面与上游各收费站之

58、间距离和上下游收费站之间的距离,并建立基础数据表。图3.2高速公路收费站点及检测断面示意图Fig.3.2 Highway toll stations and detection section假设检测断面在如图3.2所示位置,A、B、C、D为该高速公路所有收费站,由车行方向可知,A、B为上游收费站,则基础数据表如表3.2,表3.3所示表3.2上下游收费站之间的距离数据表Tab.3.2 Distance between the charging station ID上游站点编号下游站点编号距离I表3.3上游收费站与检测断面之间的距离数据表Tab.3.3 Distance between the

59、charging station and sectionID上游站点编号检测断面编号距离I3.4 基于收费站数据的道路断面的交通流量估算下面介绍基于高速公路收费数据库来推算断面交通量计算方法。步骤一：通过收费站数据查询基础数据表得到出入口收费站之间的距离及车辆行驶时间得到车辆平均行驶速度；假设出口站与入口站之间的距离和车辆行驶的时间差则车辆行驶的平均速度为：步骤二：通过收费站数据查询基础数据表得到检测断面与入口收费站之间的距离,计算车辆行驶到检测断面所需要时间；假设检测断面与入口站之间的距离为,由前面求得的车辆行驶平均速度可得车辆行驶到检测断面处所需时间为：假设车辆驶入入口站的时刻为,则车辆行

60、驶至检测断面的时刻为：步骤三：通过车辆经过入口站的时刻和步骤二计算所得的时间,得到车辆行驶到检测断面的时刻,并储存该条信息；步骤四：统计单位时间通过该检测断面的车辆数。将所有车辆行驶至检测断面的时刻信息存储后,根据需要,统计单位时间车流量。3.5 实验及验证3.5.1实验环境将市渝武高速公路的西山坪隧道口微波检测器所在断面设定为本文需要验证交通流量估算算法的断面,此断面的环境如表3.4所示表3.4. 西山坪隧道口微波检测器信息Tab.3.4 Infomation of XISHANPING tunnel microwave detector位置距离西山坪隧道东阳收费站1.150西山坪隧道XX山

61、收费站4.550西山坪隧道北碚收费站6.850西山坪隧道渝武收费站8.750西山坪隧道口微波检测检测到20XX2月21日的左行交通流量的数据如表3.5。表3.5. 西山坪隧道口微波检测器检测数据Tab.3.5 Infomation of XISHANPING tunnel microwave detector时间交通流量2012-02-21 8:002012-02-21 8:05122012-02-21 8:052012-02-21 8:10162012-02-21 8:102012-02-21 8:15132012-02-21 8:152012-02-21 8:20132012-02-21 8:202012-02-21 8:25202012-02-21 8:252012-02-21 8:30292012-02-21 8:302012-02-21 8:35252012-02-21 8:352012-02-21 8:4072012-02-21 8:402012-02-21 8:45222012-02-21 8:452012-02-21 8:50172012-02-21 8:502012-02-21 8:55142012-