无人车整体架构探秘—感知篇

无人驾驶作为汽车未来的研究方向，其对于汽车行业甚至是交通运输业有着深远的影响。无人驾驶汽车的来临将能够解放人类的双手，降低发生交通事故发生的频率，保证了人们的安全。同时随着人工智能、传感检测等核心技术的突破和不断推进，无人驾驶必将更加智能化，同时也能够实现无人驾驶汽车的产业化。虽然将无人车理解为机器人并且使用机器人开发的思维处理无人车系统是目前工业界的共识，但是也不乏一些单纯使用人工智能或者是智能体来完成无人驾驶的案例。其中基于深度学习的端到端无人驾驶和基于强化学习的驾驶智能体是目前的研究热点。

下面就来一同探秘无人汽车内部的奥秘。

无人车功能模块包括感知、定位、路径规划、行为决策、轨迹规划和执行,同时还需要V2X和高精度地图支持配合。这些部分的交互以及其与车辆硬件、其他车辆的交互可以用下图表示：

感知是最核心的模块,也是硏究最多的模块。它简单分为三部分：

一是自我感知,即车辆的自我状态,主要是路网级姿态、车道级姿态和精细状态

二是静态目标感知,包括道路标识和静态障碍物。

三是动态目标感知,包括动态目标探测、追踪和预测其运动轨迹。

路径规划则分几级,最上层是路网全局导航级,刷新频率在10秒以上,其次是局部路径规划,刷新频率在0.1-10秒之间,局部路径规划包括车道级路径规划和避障规划。最底层是轨迹规划,刷新频率50-10Hz之间。

感知是无人驾驶关键步骤，也是目前研究最多的步骤。分两部分：

静态的道路层面的特征：比如斑马线，车道线，道路标识道路旁的交通牌，路沿，也就是整个道路的数学模型。动态的就是道路上的交通元素，车辆，行人，交通信号灯等障碍物。

要准确知道车辆行人、交通信号灯的3D姿态和尺寸，也就是画出3 D Bounding Box。为避障规划做基础。此部分必须使用激光雷达或双目摄像头才能完成，单目无法获得3D信息。目前主要有两种做法：

1.完全基于激光雷达，需要多个多线激光雷达，将点云转换为体积元素 Voxel，然后再做处理。典型技术就是苹果。

2.融合激光雷达和摄像头的数据，用视觉识别障碍物边界，用激光雷达点云来获得3D信息。

大部分厂家都选择后一条技术路线包括 Waymo和百度。前者技术成熟度略低，用的人不多，但理论上可靠性更高，运算资源消耗小，但是对激光雷达要求高，苹果用了12个16线激光雷达后者对激光雷达要求低，32线即可，技术比较成熟，但是可靠性差一点，消耗运算资源很多。

激光雷达是一类使用激光进行探测和测距的设备，它能够每秒钟向环境发送数百万光脉冲，它的内部是一种旋转的结构，这使得激光雷达能够实时的建立起周围环境的3维地图。通常来说，激光雷达以10Hz左右的速度对周围环境进行旋转扫描，其扫描一次的结果为密集的点构成的3维图，每个点具备（x,y,z）信息，这个图被称为点云图（Point Cloud Graph），如下图所示，是使用Velodyne VLP-32c激光雷达建立的一个点云地图：

激光雷达因其可靠性目前仍是无人驾驶系统中最重要的传感器，然而，在现实使用中，激光雷达并不是完美的，往往存在点云过于稀疏，甚至丢失部分点的问题，对于不规则的物体表面，使用激光雷达很难辨别其模式，在诸如大雨天气这类情况下，激光雷达也无法使用。

从激光雷达采集的点云原始数据和摄像头采集的原始图像数据分别经过 PointNet和 ResNet处理，经过 PointNet处理后得出全局特色和逐点特色。再与图像数据融合得到稠密融合，最终得到每一个角上的逐点分支（白箭头），再经过全局融合最终得到3 Bounding box.

小科普：

ResNet是一种残差网络，咱们可以把它理解为一个子网络，这个子网络经过堆叠可以构成一个很深的网络。

而PointNet是斯垣福大学在2016年提出的一种点云分类分割深度学习框架。众所周知，点云在分类或分割时存在空间关系不规则的特点，因此不能直接将已有的图像分类分割框架套用到点云上，也因此在点云领域产生了许多基于将点云体素化（格网化）的深度学习框架，取得了很好的效果。但是将点云体素化势必会改变点云数据的原始特征，造成不必要的数据损失，并且额外增加了工作量，而 PointNet采用了原始点云的输入方式，最大限度地保留了点云的空间特征，并在最终的测试中取得了很好的效果。

苹果纯激光雷达感知算法

激光雷达、机器视觉，这是目前做自动驾驶技术的公司都在研究的技术。从技术上来说，激光雷达的工作原理是，计算发出的激光到达物体表面的时间，描绘出三维物体的外部轮廓。机器视觉则是基于图像对物体进行识别。

刚才说到虽然完全基于激光雷达技术的公司并不是很多，但科技巨头苹果就是牛，要做第一个吃螃蟹的。他们在2017年发表了一篇名为《VoxelNet: end to end learning for point cloud Based 3D Object Detection》的论文，描述了纯激光雷达无人车感知算法。

在论文中，苹果研究员称，现有的技术难点在于，激光雷达在描绘出三维物体的外部轮廓时，对于较远距离的较小物体比较难识别，并且在这些原始数据上，比较多还是需要工程师手动整理这些激光点，方便后续识别。

无人车上所装的64线的LDAR激光雷达,在大约一秒转十圈的频率下,每转一圈会收集到大约十万个反射点的信息,存成一个 Raw Point Cloud.在 KImI Dataset中,有大约七干笔在德国收集的行车数据被标注3 D Bounding Box,标注的类别有车子行人与骑士,每个 Raw Point Cloud中的每个单一的点皆只有坐标(x，y，z)与反射强度 （Intensity)信息。要透过只利用 Point Cloud的信息来做3 D Bounding Box Prediction。

VoxelNet的网络结构主要包含三个功能模块：（1）特征学习层；（2）卷积中间层；（3） 区域提出网络（ Region Proposal Network，RPN）。

此外，他们提出的 VoxelNet 在处理过程中，减少了更多的人工流程。VoxelNet 是这样识别物体的：将激光雷达描绘的点做分组，通过分析每个点描述的形状信息，进行组合，并使用一种名为 RFN 的物体识别算法生成最后的识别结果。

苹果称，这项技术有助于自主导航、扫地机器人等硬件产品上的开发。不过，在测试 VoxelNet 这项技术时，苹果公司的研究员将其放在 KITTI 计算机视觉算法测评平台中做了试验，没有在实际测试车辆上应用。

苹果公司无疑是对自动驾驶感兴趣，库克在多次对外说话时都谈到了这点。目前确切的消息，只有加州车管局的文档显示，苹果拿到了自动驾驶路测许可，并且招募了前 NASA、特斯拉的员工作为路测司机。

汽车项目代号泰坦（Titan），但具体车长什么样，苹果公司在开发完整的自动驾驶汽车还是汽车系统，都只有传闻出来。不过当时在硅谷已经能看到苹果为此买入的大量地块。

自动驾驶公司 Voyage 的创始人麦卡利斯特·希金斯（MacCallister Higgins）声称，他看到了苹果的自动驾驶汽车，汽车顶部看上去配置着 6 个激光雷达。

无人驾驶技术上的研究成果在这篇论文里很清楚，一直以来，苹果致力于无人驾驶技术研究，为了获得加州机动车辆管理局发出的无人驾驶测试许可，也是因为其测试车辆已经准备好了。

该论文具体描述了苹果的研究人员，包括论文作者Yin Zhou和Oncel Tuzel，是如何研究出VoxelNet的，VoxelNet能通过一束激光雷达捕获的信息点推断出为何物体。实际上，激光雷达的工作原理是通过向周围放射激光，产生高分辨率点图，然后记录反馈结果。

这项研究很有趣，因为它使激光雷达在其无人驾驶系统发挥的效果更显著。激光雷达传感数据其实是与光学相机、雷达和其他传感器一同绘制出一幅完整的物体探测图景；单独使用有高置信度的激光雷达有助于真正上路的无人驾驶车辆的生产并提高运算效率