环境感知与识别ppt课件

《环境感知与识别ppt课件》由会员分享，可在线阅读，更多相关《环境感知与识别ppt课件（47页珍藏版）》请在装配图网上搜索。

1、严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。Chapter 5环境感知与识别环境感知与识别严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。Outlinen5.1 环境感知与识别概述环境感知与识别概述n5.2 障碍物检测障碍物检测 n5.3 车道线检测车道线检测 n5.4 红绿灯检测红绿灯检测 n5.5 场景流场景流n5.6 基于基于V2X的道路环境感知技术的道路环境感知技术n5.7 基于基于pytorch的红绿灯检测实验的红绿灯检测实验n5.8 本章小结本章小结

2、严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.1 环境感知与识别概述n1.环境感知对象n行驶路径n结构化道路：车道线、道路边缘、道路隔离物、恶劣路况n非结构化道路：可行驶路径的确认、前方路面环境的识别n周边物体n包括车辆、行人、地面上可能影响车辆通过性、安全性的其他各种移动或静止障碍物的识别及各种交通标志的识别n驾驶状态n驾驶环境严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.1 环境感知与识别概述n2.传感器系统n摄像头n车道线检测n红绿灯识别n障碍物识别

3、：通过深度学习把障碍物进行细致分类n激光雷达n车道线检测n障碍物识别：能分一些大类，完成对物体距离的准确定位n毫米波雷达n车道线检测n障碍物识别：障碍物运动速度、方位等识别严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2 障碍物检测n5.2.1 基于图像的障碍物检测n5.2.2 基于激光雷达的障碍物检测n5.2.3 基于视觉和激光雷达融合的障碍物检测严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.1 基于图像的障碍物检测n一阶段检测算法nYOLOnSSD

4、n速度快n二阶段检测算法nR-CNNnFaster R-CNN及其改进n准确度高严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.1 基于图像的障碍物检测n1.基于图像的2D障碍物检测nYOLO(You Only Look Once)n将物体检测作为回归问题n得到所有物体的位置n物体对应的类别和置信概率n训练和检测均在单独的网络中进行n无显式求取候选框的过程n设计理念n网络定义n输出表达定义n损失函数定义严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.1

5、 基于图像的障碍物检测n1.基于图像的2D障碍物检测nSSD(Single Shot Multibox Detector)n直接在图像中不同位置进行边界框采样，使用卷积层进行特征提取、分类、回归n设计理念n使用不同尺度下的特征图进行检测n采用卷积层做检测n采用不同尺度和纵横比的候选框n损失函数定义严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.1 基于图像的障碍物检测nSSD基本框架nSSD与YOLO网络结构比较严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。

6、5.2.1 基于图像的障碍物检测n1.基于图像的2D障碍物检测nFaster R-CNN n二阶段检测算法如RCNN和FastRCNN无法做到端到端训练n设计理念n特征提取模块n候选框生成模块(RPN)n边框回归和目标分类模块n将上述三个模块整合到一个网络，综合性能大大提高严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.1 基于图像的障碍物检测nRCNN系列结构图，从RCNN、Fast RCNN到Faster RCNNnFaster R-CNN将三个模块整合到一个网络严格执行突发事件上报制度、校外活动报批制度等相关规章制度

7、。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.1 基于图像的障碍物检测n2.基于图像的3D障碍物检测nYOLO、Faster R-CNN可以准确给出障碍物的位置n现实场景还需要目标物体的长宽高、空间、朝向和偏转角等信息n综合利用单目相机、双目相机和多线激光雷达进行3D障碍物检测严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.1 基于图像的障碍物检测n3D障碍物检测以及鸟瞰效果示意图严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.1 基

8、于图像的障碍物检测n2.基于图像的3D障碍物检测nYOLO 3DnEncoder模块n在Darknet基础上加入更深的卷积层并添加反卷积层n高分辨率多通道特征图捕捉图像细节n深层低分辨率多通道特征图编码上下文信息nDecoder模块n语义分割，用于车道线检测n基于YOLO的物体检测，同时输出物体3D信息n利用地面平行假设，降低所需要预测的3D参数严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.1 基于图像的障碍物检测nApollo中YOLO 3D流程示意图严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发

9、现、制止、汇报并处理各类违纪行为或突发事件。5.2.2 基于激光雷达的障碍物检测 n1.基于几何特征和网格n几何特征：直线、圆和矩形等n对雷达数据进行处理，用聚类算法与几何特征进行对比，可以与光谱特征进行结合，从多个维度进行障碍物识别n网格：对于非结构化道路，障碍物形状复杂，几何特征难以识别n将雷达数据投影到网格地图中，用无向图方法进行处理严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.2 基于激光雷达的障碍物检测n2.VoxelNet障碍物检测 n激光雷达数据需要大量人工流程进行标注nVoxelNetn一种统一的端到端网

10、络，消除了手动提取特征的过程，同时让网络高效地处理雷达数据n侧重于将点云数据直接作为输入，得到检测结果 从单一的全局特征到与局部特征结合，从点云数据特性出发，减少计算量，提高效率严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.2 基于激光雷达的障碍物检测n主要组成模块：特征学习网络、中间卷积区、区域建议网络RPN严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.2 基于激光雷达的障碍物检测n特征学习网络n将点云划分为体素形式，提取特征，得到特征向量n步骤

11、：体素划分、分组、随机抽样、堆叠体素特征编码和稀疏张量表示n中间卷积层n对特征向量进行3D卷积，得到全局特征n区域建议网络RPNn特征整合，输出预测概率，给出结果严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.3 基于视觉和激光雷达融合的障碍物检测n摄像头方案成本低，可以识别不同物体，但作用距离和测距精度不如毫米波雷达，容易受天气和光照影响n毫米波雷达不易受天气和光照影响，测距精度高，但难以识别车道线、交通标志等元素n二者融合，通过视觉获取语义信息，通过激光雷达获得准确的位置信息严格执行突发事件上报制度、校外活动报批制度等

12、相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.2.3 基于视觉和激光雷达融合的障碍物检测n空间融合n建立精确的雷达、三维世界、摄像机、图像和像素坐标系之间的转换关系n将不同传感器坐标系的测量值转换到同一个坐标系下n时间融合n各类传感器在时间采集上同步n以摄像机采样为基准，摄像机每采一帧图像，选取雷达上一帧缓存的数据，进行融合严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.3 车道线检测n5.3.1 基于传统视觉的车道线检测n5.3.2 基于深度学习的车道线检测n5.3.3 基于激光雷达的车道线检测严格

13、执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.3.1 基于传统视觉的车道线检测n传统视觉方法主要高度定义化的手工特征提取和启发式的方法，主要分为n1.基于道路特征n颜色特征n灰度特征与彩色特征n纹理特征n多特征融合n2.基于道路模型n直线和抛物线模型n双曲线模型严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.3.2 基于深度学习的车道线检测n传统车道线检测需要人工提取特征，道路结构复杂，车道线种类繁多，人工工作量大且鲁棒性差。n将问题看成分类或分割问题，用神经网

14、络去代替滤波算子严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.3.2 基于深度学习的车道线检测n1.LaneNet+H-Net车道线检测nLaneNet将车道线检测转换为实例分割问题n拆分为语义分割和聚类两个部分n输出实例分割结果n每条车道线一个标识IDnH-Net负责对同一车道线的像素点进行回归n输出转换矩阵，对车道线进行修正n拟合一个三阶多项式作为预测的车道线严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.3.2 基于深度学习的车道线检测严格执行突发事件

15、上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.3.2 基于深度学习的车道线检测nEmbedding负责对像素进行嵌入表示，训练得到嵌入向量进行聚类nSegmentation对输入的图像进行语义分割，对像素点进行二分类，判断属于车道线还是背景。最后将两个分支的结果结合得到最终车道线检测的结果。严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.3.2 基于深度学习的车道线检测n2.SCNN车道线检测nCNN对遮挡的车道线识别效果较差nSCNN使像素行和列之间可以传递信息严格执行突

16、发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.3.2 基于深度学习的车道线检测n将传统卷积层接层(layer-by-layer)的连接形式转为feature map中片连片(slice-by-slice)的形式n相比于条件随机场和马尔可夫随机场，冗余信息少，信息传递有序，计算量小n对于空间性强但外观线索不明显的车道线识别效果好严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.3.3 基于激光雷达的车道线检测n激光雷达有效采样点多、可以穿透水面并且不受天气影响，但激光雷达

17、成本高n通过反射强度信息来进行车道线检测n基于激光雷达反射强度信息形成的灰度图，或者和高程信息结合，过滤出无效信息，进行车道线拟合n不同物体回波强度不同，对回波强度变化点提取标记，结合高程信息过滤出的可行驶区域，进行去噪、拟合，提取车道线严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.3.3 基于激光雷达的车道线检测介质介质回波强度回波强度可能的物体分类可能的物体分类沥青、混凝土沥青、混凝土58道路、房屋等特性涂层特性涂层1230车道线植被、金属植被、金属45150树木、车辆等不同物体回波强度不同物体回波强度严格执行突发事件上

18、报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.4 红绿灯检测n5.4.1 基于传统视觉方法的红绿灯检测n5.4.2 基于深度学习的红绿灯检测n5.4.3 高精地图结合严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.4.1 基于传统视觉的红绿灯检测n传统视觉方法利用颜色、边缘等浅层特征，主要分为n1.基于颜色和边缘信息颜色特征n2.基于背景抑制严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.4.2 基于深度学习

19、的红绿灯检测n传统方法使用浅层特征，鲁棒性差。n红绿灯检测可以看做是小目标检测，目前深度学习方法在小目标检测上有着不错的表现，并且大多是在特征提取上做文章，让网络生成的特征更适合小目标。严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.4.2 基于深度学习的红绿灯检测n1.FPN红绿灯检测n对于深度网络来讲，其原生的卷积网络特征决定了天然的金字塔结构。深度网络在目标检测领域的应用n二阶段检测算法n使用多尺度特征n多尺度特征融合n不同尺度特征负责不同大小的目标框严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现

20、、制止、汇报并处理各类违纪行为或突发事件。5.4.2 基于深度学习的红绿灯检测n2.特征融合SSD红绿灯检测n特征融合SSD是在一阶段检测算法SSD基础上对小目标检测做的一些改进，该方式使用多尺度特征融合将上下文信息引入到SSD中帮助检测红绿灯这种小目标。严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.4.2 基于深度学习的红绿灯检测n2.特征融合SSD红绿灯检测n一阶段检测算法n浅层与深层的特征融合n为小目标生成丰富的细节信息n速度较快，更适合无人驾驶严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制

21、止、汇报并处理各类违纪行为或突发事件。5.4.3 高精地图结合n获取红绿灯世界坐标需要结合高精地图n高精度、精细化定义n帮助无人驾驶决策n减少计算负荷严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.7 基于pytorch的红绿灯检测实验n5.7.1 Apollo红绿灯数据集 n5.7.2 实验流程 严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.7.1 Apollo红绿灯数据集nApollo的数据平台开放了大量人工标注数据集n激光点云障碍物检测分类n红绿灯检测

22、nRoad Hackersn基于图像的障碍物检测分类n障碍物轨迹预测n场景解析。严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.7.1 Apollo红绿灯数据集n实验数据集n红绿灯检测数据集n包含了大量人工标注的行车场景图片n红绿灯的位置信息以及类别信息已经被标识 n进行模型的训练和测试严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.7.2 实验流程n1.数据处理数据处理n将数据处理成coco数据集的格式，方便使用n数据集划分n训练集：82张图片n验证集：18

23、张图片n测试集：100张图片n2.调节参数调节参数n环境参数n模型参数严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。5.7.2 实验流程n3.训练及测试训练及测试n每个epoch保存一次模型n使用最后一个epoch保存的模型进行测试严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。n4.检测结果展示检测结果展示5.7.2 实验流程严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。n4.检测结果展示检测结果展示5.7.2 实验流程严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。本章知识点小结（思维导图）严格执行突发事件上报制度、校外活动报批制度等相关规章制度。做到及时发现、制止、汇报并处理各类违纪行为或突发事件。nThank you！