高铁接触网异物侵入的机器视觉检测方法

《高铁接触网异物侵入的机器视觉检测方法》由会员分享，可在线阅读，更多相关《高铁接触网异物侵入的机器视觉检测方法（13页珍藏版）》请在装配图网上搜索。

1、高铁接触网异物侵入的机器视觉检测方法蒋欣兰; 贾文博期刊名称】计算机工程与应用年(卷),期】2019(055)022【总页数】8页(P250-257) 【关键词】 异物入侵检测;高铁接触网; 直线检测; 深度学习; YOLOv3【作者】 蒋欣兰; 贾文博【作者单位】 中国社会科学院大学计算机教研部 北京 102488; 北京交通大学计算机与信息技术学院 北京 100044【正文语种】 中 文【中图分类】 TP3911 引言电力牵引机车是我国高速铁路的主要运行模式。高速铁路接触网是沿铁路线架设的 向电力机车供电的一种特殊形式的输电线路，它长时间暴露在空气中，上面很容易 附着一些异物，比如塑料袋、

2、树枝、鸟巢、倾倒的大树等。2018年10月1日，受大风天气影响，京广高铁正定机场站至石家庄站间供电接触网多处被挂防尘网，导致部分列车晚点。2019年3月22日，受大风天气影响，京津城际铁路接触网上悬挂异物，导致部分列车晚点。2019年4月14日，由于大风天气，一块塑料布被挂到了京沪高铁接触网上，导致大部分列车晚点。这些异物对高速铁路的安全 运行造成了严重威胁。此外，接触网电杆上搭建的鸟巢极易使输电线短路、绝缘子 击穿，必须对其进行频繁的巡检，一经发现立刻清除，从而保证列车的安全运行。 在过去的十几年中，铁路入侵异物的检测主要依靠定期的人工巡查来完成，通过工 人沿着铁路线巡视来发现异物并进行清理

3、。这种人工巡检的方式具有费时费力、成 本高、可靠性差等缺点。目前可以利用视频分析技术对铁路入侵异物进行检测，但 是这种方法不仅实时性较差而且仍然需人工参与。随着人工智能技术的迅速发展， 基于人工智能的图像处理技术能够在大量视频图像中快速确定含有异物的图像，然 后对该图像中异物存在的区域进行定位，最后对定位区域的异物种类进行识别。可 以使用这种方法对铁路运营环境进行实时监测，一旦发现异物入侵，便立刻进行清 理，从而保证列车的安全运行。2 相关工作基于计算机视觉的智能视频检测技术在很多领域都有广泛应用。例如：自动驾驶技 术逐渐成熟，代替人进行驾驶，能避免酒驾醉驾对人们生命财产造成的威胁；基于 智能

4、视频分析的车牌识别，能够从复杂背景中将运动汽车的牌照提取并识别出来； 基于智能视频分析的人脸识别可以协助公安部门对不法分子进行抓捕。但是该技术 在轨道交通异物入侵检测方面的应用比较少。随着人工智能技术的快速发展，基于 卷积神经网络的铁路入侵异物检测技术受到越来越多专家学者的青睐，在国内外都 进行了相应的研究。在神经网络被广泛应用之前，国内的一些学者曾提出基于计算机视觉的铁路入侵异 物检测技术。例如段旺旺利用图像的 HOG(Histogram of Oriented Gradients) 特征对铁路接触网上的鸟巢进行检测1。首先根据先验知识对鸟巢在图像中可能 出现的区域进行粗提取，然后求出提取区

5、域的HOG特征，最后通过支持向量机(Support Vector Machine，SVM )2，根据图像的HOG特征对图像中的鸟巢进行精确的识别。因为神经网络在图像处理方面有着其他算法无可比拟的优势， 所以国内有部分学者把神经网络与传统的图像处理技术相结合，对图像中感兴趣的 目标进行检测。它在铁路入侵异物检测方面也有着广泛的应用。例如杨沛通过双判 别器生成对抗网络对铁路接触网区域的鸟巢进行定位和识别3。首先利用Faster R-CNN网络(Faster Region-CNN)4对鸟巢在图像中的位置进行定位，提取 鸟巢在图像中出现的区域，然后使用生成式对抗网络(Generative Advers

6、arial Networks，GANs )5对此区域的物体进行分类，进而判断鸟巢是否存在。 国外学者对铁路入侵异物检测方面的研究相对较少，但是他们提出的一些识别算法 可以用在目标检测上，很大程度上提高了检测速度和精度。Ullman研究出了图像 块机制的目标检测算法6，可以对图像的主要特征进行提取；Cao等研究了以角 点特征为基础的目标识别算法7 ； Dalal与Triggs提出了 HOG特征提取算法在 行人检测方面的运用8 ； Freund和Schapire在Boosting算法9的基础上提出 了 AdaBoost算法10，它不需要任何关于弱学习器的先验知识，更容易应用到 实际问题当中。针对如

7、图1 ( a )所示的铁路环境视频图像，本文采用基于计算机视觉的智能视频 检测技术，完成对如图1 ( b )中接触网区域鸟巢的准确定位和检测。 图1铁路环境视频图像 由于接触网上存在异物的样本占总体样本的比例很小，如果直接对采集的样本进行 处理，不仅检测速度较慢，而且极易出错。本文利用改进的LSD( Line Segment Detector)直线段检测算法找到消失点和电杆的位置，并根据消失点坐标和电杆 位置坐标确定感兴趣区域(Region of Interest，ROI)，即鸟巢在图片中可能存 在的区域。针对线路中缺乏大量的有效训练样本问题，首先利用YOLOv3( You Only Look

8、 Once version 3 )深度学习网络在ImageNet数据集上进行训练，得 到一个预训练权重，然后通过迁移学习微调网络结构，使用人工标注的VOC (Visual Object Classes )格式数据集继续训练网络，使其达到较高的目标检测 精度和较快的目标检测速度。3电杆位置及ROI区域的确定首先对获取到的视频图像进行灰度化处理，然后对灰度化处理后的图像用LSD直 线段检测算法检测出图像中的所有直线段，由检测出的直线段求出消失点和电杆的 位置坐标，最后由电杆的位置坐标和消失点列数学方程式求出异物在图片中可能存 在的ROI区域。视频图像的灰度化作为图像的预处理过程，经过灰度化后的图像

9、可以用于图像的识 别和分析，与直接对原始图像进行识别和分析相比，识别结果更准确，识别速度更 快。目前，图像灰度处理主要有分量法、最大值法、平均值法、加权平均法等几种 方式，本文采用加权平均法11。具体的实验过程如图2所示。图2 ROI区域定位的流程图3.1 电杆位置的确定假设由LSD直线段检测算法求得的原始图像中直线段的始末点坐标分别为(x1,y1)、 (x2,y2)。那么直线段的长度为，线段与X轴所夹锐角的大小为 虽然通过直线段检测算法可以求出电杆、铁轨等一些有用的直线段，但由于铁路环 境比较复杂，树木、电线等一些对求解电杆位置坐标没有用的直线段也被检测了出 来。因此需要根据先验知识先对直线

10、段做一个初步的筛选，只保留长度丨30以 及直线段与X轴夹角0 0.48n的直线段。电杆可以被检测为一条完整的直线段，但由于电杆上可能存在异物以及光照条件、 天气状况等一些复杂环境因素，一条完整的直线可能会被检测成多条直线段，如图 3所示。图3电杆检测示意图 由图3可知，只有少部分电杆可以被正确检测，大部分电杆都被检测出了多条直 线段，而且直线段之间还有很小的夹角。为了完成对电杆的检测，需要把这几条较 短的线段合并起来形成一条较长的直线段。首先需要把斜率相同的直线段进行合并形成新的直线段，然后判断合并后的直线段 之间的夹角是否小于 5，若小于 5，继续进行合并。若大于等于 5，不进行合并 重复此

11、过程直至任意两条直线段之间的夹角都不小于5。假设两个像素点的坐标分别为(x1,y1)、(x2,y2),则斜率公式为：斜率相同的直线段合并成新的直线段时，新的直线段的斜率与原直线段的斜率相等 合并后的直线段如图4所示。图4 线段合并后示意图由图4 可知，合并完成后，一个电杆宽度范围内可能会存在多条较长的直线段， 需要根据先验知识再次进行筛选。首先把合并后总长度小于200的直线段删除，然后假设电杆边缘其中一条直线段的X坐标为m，在真实场景中测量出电杆的直径为d，由于误差的存在，需要设 定一个浮动值6,浮动值的大小设置为10。首先根据电杆的规格参数，设置浮动 值6的一个大致范围0,30。然后依次递增

12、取0,30之间的整数值，发现当浮动值 小于10的时候，有些电杆的位置会检测不到；当浮动值大于10 的时候，检测的 电杆左右边缘的坐标误差较大，因此最后选择6=10 ，单位是像素。电杆边缘的另 条直线段的X坐标n应满足：算法流程如图5所示。按照图5所示的算法流程，可以求得电杆边缘两个直线段的X轴坐标分别为m、 n(m v n)。3.2感兴趣区域ROI的确定由文献12啲方法求得消失点坐标Pv(xO,yO)，再结合电杆的位置坐标并利用先验 数据建立方程式求出ROI区域。首先从消失点引出两条夹角为Y的射线，如图6 所示。图5 检测电杆位置算法流程图图6 感兴趣区域求解示意图然后让两条射线绕着消失点进行

13、旋转，可以在真实的场景中测出a、p、Y三个角 的大小，即三个角度的大小是固定不变的。在两条射线绕着消失点旋转的过程中， 求出两条射线与Y轴所成锐角的大小，当两个锐角的大小分别为a、p时，固定两 条射线的方向不变，此时再根据求出的电杆的X轴坐标来确定ROI区域。由于误差的存在，a、p、Y三个角的大小可能会有微小的变化，如果按照固定值 进行求解，求得的结果可能会存在较大的误差，因此假定三个角是在很小的范围内 进行变化的，即：从而电杆的长度为I二sxcot a1+sxcot pl,其中s=xO-n,s表示消失点到电杆的 距离。由于接触网支柱都是按照一定的规格制成的，通过实地测量发现接触网支柱 三角架

14、的长约为电杆长度的 1/2，三角架的宽约为电杆长度的 1/3。选取高为 I/2， 宽为I/3的矩形框作为ROI区域，矩形框的位置坐标可由电杆的顶点坐标确定。4基于YOLOv3深度学习网络的接触网异物检测YOLOv3 网络使用鸟巢图像进行训练，训练完成后，以对原始图像进行分割后形 成的ROI区域作为输入，输出的是鸟巢在ROI区域可能出现的位置以及判断该位 置上的异物是鸟巢的概率。为了加强网络对小物体的识别能力和对物体进行多标签分类，在YOLOv2的基础 上产生了 YOLOv313网络。YOLOv3网络以Darknet-53作为基本结构，使用 了残差网络14中 shortcut 的思想，将深度神经

15、网络的逐层训练转化为分步训练， 是目前公认的性能最好的目标检测深度学习网络之一。将深度神经网络划分为若干 个子段，每个子段包含较浅的网络层，然后通过shortcut连接方法训练每个短段 使它们的残差达到最小，进而最小化总损失。同时，它也控制了梯度在网络中的传 播，避免了梯度消失和梯度爆炸等问题。由于目前样本数量有限，为了避免网络过 拟合，本文采用轻量级YOLOv3-Tiny作为训练模型，网络结构如图7所示。图7 Y0L0v3-Tiny网络结构Darknet-53 采用全卷积网络结构，去掉了卷积神经网络的池化层和全连接层。YOLOv2通过最大池化来改变网络中传播张量的尺寸，而YOLOv3是通过改

16、变卷 积核的步长来达到同样的效果。和YOLOv2网络一样，YOLOv3仍然通过提前计 算出边界框来提高模型的预测速度。由于Faster R-CNN中RPN( Region Proposal Network )网络边界框的位置比较随意，可以出现在图像的任何区域， 这会造成模型不稳定。因此YOLOv2和YOLOv3通过预测边界框中心点与对应网 格左上角位置的相对偏移量来解决这个问题。并且对tx、ty做归一化处理，使得 边界框预测值在 0 和 1 之间，这样可以保证边界框的中心点一定在划分的网格中 其中，tx、ty、tw、th是模型的预测输出。cx和cy表示网格的坐标，pw和ph 表示预测前边界框的

17、大小，bx、by、bw和bh是预测得到的边界框的中心坐标和 大小。YOLOv3采用多尺度特征15对目标进行检测。经过32倍下采样得到的特征图感 受野比较大，适合检测图像中尺寸比较大的目标；经过16 倍下采样得到具有中等 尺度感受野的特征图，适合检测图像中中等尺寸的目标；经过8 倍下采样得到的 特征图感受野比较小，适合检测图像中尺寸比较小的目标。YOLOv3采用K-means聚类方法得到先验框的尺寸，并且为每一种下采样尺度设 定3种不同大小的先验框，一共聚类出9种尺寸的先验框。当输入图像的分辨率 是416x416时，得到的9个先验框在不同大小的特征图上的分配如表1所示。表1特征图与先验框特征图感

18、受野先验框13x13大( 116x90 )( 156x198 )( 373x326 ) 26x26 中( 30x61 )( 62x45 )( 59x119 ) 52x52 小(10x13) (16x30)(33x23)为了完成多标签分类，需要将softmax层换成逻辑回归层16，用逻辑回归层对 每个物体进行二分类。使用逻辑回归层对物体进行分类时，需要通过sigmoid函 数把分类结果的值限制在0和1之间。当判断图像中的某个物体是否属于某一类 时，首先需要设置一个分类阈值，然后经sigmoid函数计算后，若输出结果大于 设置的阈值，那么就认为物体属于该类。5 实验与分析5.1 实验环境本文研究内

19、容的硬件环境为i5处理器，主频2.2 GHz，内存8 GB, NvidiaGeforce 1080 显卡；软件环境为 Ubuntu 16.04 , TensorFlow 1.5 , Python3。5.2 兴趣域定位结果按照图2 实验流程图进行实验，直线检测结果如图8 ( a )所示，消失点检测结果 如图8(b)所示，ROI区域如图8(c )和图8(d)所示。图8实验结果图 使用该算法对100个图像样本进行检测，发现有些图像定位的鸟巢感兴趣区域过 大，而另一些图像定位的鸟巢感兴趣区域过小。出现这种问题的原因是接触网支柱 设备类型不同。由于每一种类型的接触网支柱规格不同，当使用某种类型的接触网支

20、柱的规格参数 计算另一种接触网支柱上的鸟巢感兴趣区域时，会产生误差。为了解除这个问题， 在对样本进行检测时，应该提前确定待检测图片上的接触网支柱的规格参数，根据 这些参数信息来选择合适的算法对ROI区域进行定位。原始视频图像尺寸较大，直接对图像进行检测不仅速度慢，而且会占用大量的空间 资源。考虑到在有些图像中，有用的区域只占图像的很小一部分，可以通过确定ROI区域来提高图像的处理速度。确定ROI区域一般在图像检测之前进行，相当 于提前对待检测的图像进行预处理。选取如图9所示3帧图像，求取ROI区域位置，ROI结果用四元组(x,y,w,h)表示， x 表示ROI左上角横坐标，y 表示ROI左上角

21、纵坐标，w和h分别表示ROI宽度 和高度。图 11(a)(c)的 ROI 结果分别为(20,1,140,200)、(23, 80, 140,200 )和(0,30, 140,200)。ROI 宽度取 1/3，高度取 1/2，大约 取到140宽，200高，单位为像素。图9 ROI样本为了提高ROI检测精度，本文选取500张样本图像，在LSD算法基础上使用先验 和几何信息筛选之后统计出每帧图像所检测到的直线段平均数量,如表2所示。表2直线段检测结果对比样本图像500张(1 280像素x720像素)LSDLSD+ 长度筛选LSD+长度+直线段与X轴夹角筛选LSD+长度+直线段与X轴夹角+ 长度筛选每

22、帧图像检测到的直线段平均数量/条672 41 12 2由表2所示，选取样本500张图像，首先用LSD算法检测每张图像的直线段数量， 再求取平均值得到每帧672条；以丨30作为线段保留条件继续筛选，统计500 张图像的每帧图像内直线段平均值为41条；继续以直线段与X轴夹角0 0.48n 作为线段保留条件继续筛选,统计出每帧图像内直线段平均数量有12条；继续按 斜率相同合并线段再次把长度小于200的线段剔除,统计出平均直线段数量只剩 2条。5.3 异物检测结果与评价5.3.1 检测过程及结果本文用于深度学习训练的鸟巢图像样本共计1 168幅，一部分由上述的418 幅电 杆兴趣域图像构成，剩余的75

23、0 幅来自网络检索。这种结合网络近似图像生成样 本集的方法，不仅增加了样本集的规模，而且丰富了样本的类型，可以有效提高训 练模型的泛化能力。Y0L0v3误差由坐标误差、IoU (Intersection over Union )误差以及分类误差 组成。YOLOv3使用均方差作为损失函数，并且给坐标误差设置权重入coord = 5。 因为包含目标的网格和不包含目标的网格计算IoU误差时，对计算结果的误差贡 献值是不一样的，所以YOLOv3需要通过入noobj=0.5修正置信度误差达到这样 的要求。当两个大小不同的物体具有相同的误差值时，因为大物体边界框的面积比小物体边 界框的面积大，所以大物体和

24、小物体相比，大物体误差对检测精度的影响较小。YOLOv3将物体的width和height进行求平方根来解决这个问题。损失函数的 计算如下式所示：图10 评价曲线训练和验证过程中平均损失值的变化如图 10 所示。由图 10 的评价函数曲线可知， 训练刚开始的时候，随着训练迭代次数的增加，平均损失值急剧下降。当训练迭代 次数达到100次时，随着训练迭代次数的增加，平均损失值的下降速率减慢。当 迭代次数达到200次时，随着训练迭代次数的增加，平均损失值基本保持不变。 当平均损失值低于0.018时，就可以终止训练了。实验过程中图像经各层卷积后产生的特征映射图(Feature Map )如表3所示。 表

25、中每行代表层数，分别是第三层(208x208x32 )、第五层( 104x104x64) 和第七层( 52x52x128 )的卷积结果。当深度网络模型经多次迭代收敛到稳定状态时，选用鸟巢在接触网上可能存在的区 域(ROI区域)作为测试集，输入到YOLOv3网络中进行检测。具体的检测流程 如图11所示。图11 异物检测流程图部分检测结果如图12所示。同时用四元组(x,y,w,h)表示检测结果，x表示检测框 左上角横坐标，y表示检测框左上角纵坐标，w和h分别表示检测框宽度和高度， 图 11(a)(c)检测框结果分别为(28,3,100,72 )、( 33,60,110, 80)和(1，60，130

26、，82)。图12 检测结果表3 不同次数迭代下各层卷积特征映射图对比5.3.2 目标检测性能指标IoU用来评估模型的定位精度，由预测框和真实框的交集除以并集得到，表示预测 框和真实框之间的重叠程度IoU越高，预测框的位置越接近于物体的真实位置。 在评价预测结果的好坏时，通常会设置一个阈值，当预测框与真实框的IoU值大 于这个阈值时，说明该预测框准确地定位了目标物体的位置。由于IoU计算的是预测框与物体的真实位置之间的重叠程度，本文对于特征图的 每个基准点,YOLOv3网络需要选取9个预测框并计算其与物体真实位置的IoU 值。因为一个特征图含有很多基准点，所以每个特征图都需要计算大量的 IoU

27、值， 考虑到异物只能出现在特定的位置，因此大部分的IoU值都不符合要求，此时只 要IoU大于0.8，就认为物体的位置能被准确地识别出来。通过正确预测的样本数与总预测样本数的比值来反映预测的准确率，准确率越高， 说明分类模型越好。而召回率是指正确预测的正样本数与真实正样本总数的比值。 通过Precision-Recall曲线计算出各个类别AP ( Average Precision )的值，然 后对所有AP求平均值，得到一个综合指标mAP ( mean Average Precision )。 mAP可以反映模型对物体分类的准确度。为了实现实时检测，在保证模型具有比较高的检测精度的同时，还要尽可

28、能提高模 型的检测速度。一般使用每秒内处理图像的数量(Frame per Second ,FPS)反 映检测速度的快慢。当比较两个算法的检测速度时，需要保证硬件环境相同。5.3.3 检测性能评价使用含有100个样本的测试集测试模型，假设当IoU值大于0.8时认为目标可以 被正确地检测，平均检测速度大于25 f/s，认为能够完成对目标的实时检测。使用本文模型与Faster R-CNN、YOLOv1、YOLOv2等基于深度学习的目标检测 算法在检测准确性和检测速度上进行比较，比较结果如表4所示。表4不同目标检测算法性能对比目标检测算法Faster R-CNN YOLOv1 YOLOv2YOLOv3

29、 mAP/%85.6 76.4 84.8 89.2 FPS 7 32 67 38由表4可知，因为Faster R-CNN网络的候选框数量比YOLO系列网络多，能够 对同一目标进行多次检测，所以检测准确性相对较高，但检测速度相对较慢。而随 着YOLO网络结构的不断改进，最新的YOLOv3网络检测准确率有显著提升。由 于YOLOv3网络结构比YOLOv2复杂，其检测速度比YOLOv2慢，但与Faster R-CNN网络相比，其检测速度提升了近5倍，且检测结果更加准确。因此 YOLOv3网络既能保持较高的检测准确率，又有很快的检测速度，能够满足实时 检测的要求。6 结束语 本文针对高速铁路接触网异物

30、入侵提出了一种基于机器视觉的解决方法。首先根据 电杆的形状先验，利用直线段检测算法确定电杆的位置，再通过钢轨检测确定消失 点的位置，由消失点和电杆的位置确定鸟巢在图像中可能存在的区域(ROI)，大 幅缩小异物目标检测的搜索范围。使用人工标注的鸟巢图片利用YOLOv3深度网 络进行模型训练，得到稳定的识别模型参数，最后将图像中定位的ROI区域输入 到训练好的深度网络进行目标检测，实现了高速铁路接触网上鸟巢异物的快速准确 检测。【相关文献】1 段旺旺，唐鹏，金炜东，等基于关键区域HOG特征的铁路接触网鸟巢检测J.中国铁路， 2015(8)：73-77.2 张学工关于统计学习理论与支持向量机J启动化

31、学报，2000,26 ( 1 ): 32-42.3 杨沛双判别器生成对抗网络及其在接触网鸟巢检测的应用研究D.成都：西南交通大学，2018.4 陈飞，章东平基于多尺度特征融合的Faster-RCNN道路目标检测J.中国计量大学学报， 2018，29(4)：393-397.王坤峰，苟超，段艳杰，等生成式对抗网络GAN的研究进展与展望J自动化学报，2017， 43(3)：321-332.6 Ullman S.Object recognition and segmentation by a fragmentbased hierarchyJ.Trends in Cognitive Sciences，2

32、007，11(2)：58-64.7 Cao J，Liu Q，Li K，et al.Corner-based feature for object recognitionC/2nd International Symposium on Knowledge Acquisition & Modeling，2009：106-109.8 Dalal N，Triggs B.Histograms of oriented gradients for human detectionC/2005 IEEE Computer Society Conference on Computer Vision and Pat

33、tern Recognition ， 2005 ： 886893.9 Schapire R E.The strength of weak learnabilityJ.Machine Learning，1990，5(2)： 197-227.10 Schapire R E，Freund Y.A decision-theoretic generalization of on-line learning and an application to boostingC/2nd European Conference on Computational Learning Theory ， 1995：23-3

34、7.11 顾梅花，苏彬彬，王苗苗，等彩色图像灰度化算法综述J.计算机应用研究，2019，36(5)： 12-18.12 王胜春基于前向运动视频的计算机视觉检测技术研究及应用D.北京：北京交通大学，2015.13 Redmon J，Farhadi A.YOLOv3 ： an incremental improvementJ.arXiv ： 1804.02767 ， 2018.14 He K，Zhang X，Ren S，et al.Deep residual learning for image recognitionC/2016 IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.15 Lin T Y ,Dollar P, Girshick R , et al.Feature pyramid networks for object detectionC/2017 IEEE Conference on Computer Vision and Pattern Recognition，2017：2117-2125.16周志华机器学习M.北京：清华大学出版社，2016.