演讲实录丨闫凤军：人工智能在无人驾驶汽车中的应用

对于智能驾驶未来有两种方式，一种是从ADAS做起，另外一种是完全人工智能做起，不管是从哪一条路走，最终无人驾驶这个趋势应该是不可避免的，车辆的驾驶将会越来越智能化，越来越安全，越来越有效。

9月15日，在由中国人工智能学会学术指导的全国博士后学术交流活动上，北京航空航天大学教授、国家青年千人计划学者闫凤军发表了题为“人工智能在无人驾驶汽车中的应用”的演讲。

下为闫凤军教授在本次大会中的演讲实录，经整理后发布。

闫凤军：谢谢邓老师的介绍，刚才也非常有收获，听了吴总的汇报。我刚好是和吴总站在了无人驾驶研究的两端，吴总从IT做到无人驾驶，我是从汽车的动力系统做到了无人驾驶。吴总从企业做了汇报，我是从学校角度从科研角度。吴总关于无人驾驶的介绍是横看成岭，我的汇报给大家带来的视角是侧看成峰。今天我主要向大家汇报一下我对无人驾驶汽车的理解，还有我如何把人工智能应用到无人驾驶中的一些体验和探索。今天我的报告主要是这三方面，第一个就是简单的向大家介绍一下无人驾驶的技术路线，第二方面就是说我做的一些工作，通过人工智能的方式，如何得到驾驶员的模型，用这些驾驶员的模型可以更好的指导无人驾驶，更好的改善无人驾驶的体验，最后一部分是我自己，包括北航现有的一部分关于无人驾驶的工作和一点对未来得展望。

首先无人驾驶技术路线，无人驾驶是通过一些传感器感知后的决策控制执行机构达到自主驾驶，能够安全的把用户从A地送到B地。国内外目前有好多大学和企业在做这样的研发，也有好多汽车厂在做这样的一些测试。无人驾驶我觉得它有四个要素，首先第一个就是计算力，需要很强的计算能力。第二个就是海量的数据，包括地图的数据，也包括驾驶要跑很多的路况，很多的测试，第三个就是算法和决策，有了数据，如何做到更智能，做到把先进的控制算法和人工智能结合进去，解决无人驾驶问题。第四个就是传感器技术，包括激光雷达、视觉还有一些毫米波雷达等等，如何把这些传感器更好的利用，同时能够把价格做到可以接受的范围。这四个方面都是无人驾驶区别于正常驾驶的核心要素，对于完全实现无人驾驶是会很强的依赖于这四个要素，里面缺一不可。

无人驾驶和人类的驾驶是可以有一个这样的比照，基本上会包括感知层、决策层和执行层，感知层于我们人类驾驶主要用眼睛来感知周围的环境和目前车辆的状态，对于完全自动驾驶是用一些传感器，包括摄像头、激光雷达等，这个就是感知层。感知层获得信息之后，就会传到决策层，决策层在有人驾驶就是我们自己的大脑，通过大脑得到了路面的信息，车辆驾驶的信息如何进行决策，自动驾驶里面是用电脑把我们的所获得的传感器信息能够融合，以这些为判据进行决策。第三个就是执行的这个层面，我们人类是用手和脚，手控制方向盘，脚来控制刹车和油门。对于无人驾驶这里面需要很多电控的转向技术和驱动技术，这个是无人驾驶和有人驾驶之间的一个类比。

关于无人驾驶技术汽车厂的发展路径，刚才吴总也讲到了，基本有三种，第一种一步到位，以谷歌和一些互联网公司为代表。第二以汽车厂商为代表，他们先从ADAS入手，在传统车的基础上进行逐步智能化。第三个就是刚才两种结合在一起，介于上下两种之间。

现在无人驾驶中面临的问题主要有这么三个，第一个如果是无人驾驶所面对的环境是完全开放的话，受到天气、光线和突发路况，有人驾驶无人驾驶共存的环境，要完成100%安全，这个是对无人驾驶来说有很大的挑战。第二个挑战就是说以激光雷达为代表的核心传感器的成本，也是让无人驾驶进一步商业化的障碍。第三个就是包括政策法规还有一些交通设施的建设，这个也是使无人驾驶在短时间内能够顺利的实现商业化，会有一定的挑战。所以说真正的自动驾驶是一个强人工智能，现在还是任重道远。

无人驾驶美国汽车工程师协会（SAE）分成了五级，一级二级，现在我们坐的，我们路面上跑的车就已经达到了这个水平。二级目前有一些厂商已经商业化了，2.5级就是特斯拉的模式，奥迪达到了三级的水平。1-2级基本上技术已经成熟，从2-3级它的难点在于横向和纵向的协同，还有人机的无缝切换，因为2-3级的阶段需要在某些情况下是自动驾驶，这个切换如何顺利的完成，也是目前来讲挑战。从3-4级涉及到传感器的成本，还有软件的鲁棒性，高精度地图采集，乘坐人员接纳度。4-5级是未来发展方向，需要实现全工况和全区域的驾驶。针对于传感器鲁棒性算法，高精度地图，乘坐人员接纳度，目前有一些解决思路。

关于传感器我觉得可以充分利用视觉识别优势，因为我们人的驾驶基本上是主要靠视觉，如果能够充分开发视觉在无人驾驶中的作用，更多的应用视觉来作为一个判断，通过人工智能提高可靠性，这样就可以把传感器的成本降低。还有就是可以通过多种传感器与数据融合的方式解决传感器成本问题，鲁棒性算法和稳定性平台，从发动机动态性能，鲁棒的一些控制，还有加强一些故障诊断和控制的功能，前期又比较稳定的硬件平台。高精度地图就是要可能在这个发展路径里面，前期要采用固定的场景和路况，后期慢慢的推广，在更加复杂的路况。乘坐人员的舒适度，前期可以通过一步一步在园区内固定的场景来应用无人驾驶，中期物流后期成熟了之后可以进入私人乘用车的驾驶领域。

从技术架构上来讲，无人驾驶分这样的几个层次，传感器层、感知层、规划与决策层、控制层、人机交互层。这个是传感器感知，就是怎么样探测目标，识别目标，分析目标物，跟踪目标，这个是通过激光雷达获得的一个信息，如何判断周边的车辆，识别周边的车辆进而跟踪。当我们有雷达目标和视觉目标这样两个信息的时候，我们要通过一个智能的权重来把这两种信号进行融合，通过融合才能进一步的感知目标，完成感知层的任务。如果我们有多个传感器，比如说激光雷达，视觉，还有一些线路上的标记，我们就可以更好的把它进行数据的融合，通过这个来进一步感知周围的环境。这个是一个仿真，在路面上如何识别前面的车辆，这是感知层，这个是从上往下看的一个视角。有了感知，有了车辆的信息，下一步就是控制，这个就涉及到汽车本身的动态个性，一些动力学。当我们感知到周围环境，当我们有了周围的路线，我们就可以通过这样一个信息来制定一个安全的区域和不安全的区域，通过动力系统，通过动态控制，让车走在安全的区域里面。这个是动态控制里面的一个仿真。这里面可以看到如果用一些先进算法提高车辆的驾驶性能，和前面的车距离可以更近，还可以保证它的驾驶安全性。

刚才就是简单的跟大家介绍了一下无人驾驶相关的一些内容和技术路线，下面我就向大家再介绍一下我在科研里面做的一些把人工智能应用到驾驶员模型的科研应用。这个问题的背景就是说当无人驾驶车在路上驾驶的时候，不是一辆车在行驶，近期内也不会只是无人车在行驶，相反是有一个非常复杂的驾驶环境，这个驾驶环境有很多是固定的路况，固定的建筑物，还有一些是在不同的情况下，要和其他的有人驾驶放在一起，所以这个时候我们就需要一些其他车辆的驾驶习惯的信息，当我们有其他车辆驾驶习惯的信息之后，我们才能更好的来调整我们自己的驾驶策略，从而实现更安全的，更高性能的自动驾驶。所以我这里面就是想通过一些从高速路上面，或者是从路上采集的一些数据，其他车辆的数据，通过人工智能的办法来训练出一个模型，这样我们自己驾驶的时候就可以用这个信息来预测周围的车的驾驶环境，驾驶的行为，来进行我们的自己驾驶决策的判断。

这里面主要做了两个方面的内容，一个是车辆换道，就是在什么样的情况下，驾驶员会选择换道，在这种情况下对有人驾驶车的预测；另外一个就是跟车。今天因为时间关系，我这里面只介绍车辆换道里面一部分内容，包括车辆强制换道的决策预测，车辆换道的轨迹预测，以及非强制换到的决策预测。这里面我们用到的工具是智能神经网络，支持向量机，以及贝叶斯滤波器等人工智能工具。通过美国旧金山和洛杉矶两个高速路口数据采集，在高速路口的时候，在一些比较复杂路况，或者是交通比较复杂的地方，我们在上面通过摄象头采集了在这个路口的一些换道比较频繁的区域一些信息。这个是在旧金山，这个是在洛杉矶。通过这些信息我们就想来预测一下下面三种情况的驾驶员模型，第一个就是强制换道的驾驶员模型，就是说在这个高速路口的时候，当他到达路口尽头之前，一定会换道，这个时候如何来预测驾驶员是否换道的决策行为。有了这个结果，如果我们是在高速路上开的车，就可以通过预测周边的车是不是会换道，有多大的概率会换道，来制定我们自己的驾驶策略。第二个就是当换道的时候，轨迹大概是一个什么样的轨迹，我们通过具体的数据采集结果建立一个数据库，通过拟合和数据库比对的办法，来确定在换道的时候轨迹大概是一个什么样的情景。第三个就是高速路上驾驶的时候，在没有强制换道要求的情况下，人类驾驶员如何完成换道的决策。

首先第一个就是强制换道，用了智能神经网络和SVM，把这两种算法放在了一起，通过一个投票的方式，最后得到了一个换道的模型，这是高速路口。这个是目标，我们判断这个车是不是会换道，在什么时候会换道。我们这个模型用了这样几个数据，这个汽车当前速度，目标限度里面前车速度，后车速度，前车与后车的距离。还有一个信息就是说这个车距离换道路的终端位置，这个是这个模型的输入，输出就是他是否换道这样一个驾驶行为。模型的最后准确度就是说我们判断正确的驾驶场景除以所有驾驶场景，通过这个来验证他的准确度。因为强制换道的情景里面对不换道预测准确度要求比较高，因为如果是该换道时候没换道失去了一个机会，如果换道了但是没有预测出来，已经换道了，这个就会有一个交通危险。所以我们这里面用一个复合的模型，可以调整我们这个预测的精度。通过激进的驾驶行为和不激进驾驶行为可以有效的调整这两个精度，如果考虑安全情况下，我们更加考虑不换道。

首先我们建立数据库，从大量的采集的实际信息中建立了数据，刚才说的那几个前后车的距离，前后车的速度，通过这样我们建立了一个输入的一些量，输出就是换道和不换道，通过ANN，SVM，还有复合投票的算法，对它进行训练，最后验证它的准确度。这个是一个我们先用SVM和ANN做了判断，我们通过一个投票机制，可以做出一个激进的驾驶员模型和不激进的驾驶员模型。如果SVM判断是要换道，ANN也是不换道，他们两个都是不换道就都不换道，如果有一个换道可能就是激进的换道，不激进不换道，通过这样一个投票机制，可以判断驾驶员的上限和下限。

旧金山那个数据的测试结果是通过ANN它的准确率分别是89%和92%，复合的如果是激进的话93%、88%，通过驾驶员激进不激进可以在这个范围内进行调整。这个是洛杉矶的一个比对结果，这个结果准确度比刚才稍微高一点，复合在一起是这样的一个可以调整的范围。下面这个是我们和另外一个参考文献，和我们用的同样数据做的一个结果，单独这个算法我们精度会比它高一点，如果是采用复合的算法我们可调的范围会比的更大一点。

第二个就是换道轨迹的预测，当他换道的时候他决定换车道，换的这个过程中大概是一个什么轨迹，如果能预判这个轨迹，驾驶过程中就可以更有效的进行避让，或者是采取一些驾驶策略。这个时候我们建立这个轨迹，首先是建立一个输入的向量，包括前车到现在车的速度，还有距离，还有前车和现在车的加速度，还有当前车辆的速度，有了这样一些数据，这样一些数据对应的相应驾驶轨迹，我们把这些存在放在数据库里面。所以这个数据库就有两部分，一部分是向量，代表的是汽车驾驶环境，相应的他对应的一个驾驶轨迹。通过这样一个数据库，采用类相似驾驶情形识别的一个办法，如果我们有一个新的驾驶环境，用这个环境比对数据库里面的环境，找出三个最接近，驾驶环境最接近的情况，这样可以得到最后的可以预测的驾驶路径。这个就是一系列的不同的点，不同的路况一个驾驶的换道的路线。

我们通过范数的计算，找到数据库中和我们实际的驾驶路况信息差距最小的几个，这个差距越小就代表这两种驾驶环境越接近程度，在这种情况下我们选择几个，这里面一般是选择三个最接近于当前驾驶环境的路径，对它进行加权，驾驶路径进行加权，以这个为标准判断驾驶路径预测一个新的当前这个车可能的驾驶路径。这里面有一个问题我们做的过程中发现，如果离换道这个距离很远的时候，驾驶预测比较难，我们首先第一步预测这个轨迹的时候，我们选择用一个阈值筛选掉一些路径的预测，只有在当这个距离，当前车的距离中线的位置小于一定程度时候我们进入驾驶路径判断。这个就是我们的一个结果，我们有一个测试，有一个实际的驾驶路径，找到三个驾驶环境最接近的，是这样一个结果。红线是实际的驾驶环境，黑色的线是我们测试的驾驶路径。通过两个步骤来进行判断，第一个步骤就是说我们假设这个时候驾驶信息是前后车包括当下车的驾驶信息都是恒定的，让这个车走一段距离，当他达到这个阈值的时候，我们再通过刚才那个驾驶路径匹配的办法来进行匹配。这个时候其实是最后预测的路径，和实际路径有一点误差，因为已经是在这个阈值之外开始做预测，但是这个已经是我们可以做到的一个最好的结果，真正有效探测路径是在进入这个阈值之后。

非强制换道轨迹预测，这个时候车可以换道也可以选择跟随，而且在这种情况下车是在中间的话，可以选择从左侧换道，也可以选择从右侧换道，用同样一个方法建立驾驶员换道预测，基于隐藏的模型，两种算法来进行了驾驶员行为预测，前车后车的相对速度，还有前车后车的相对位移，还有横纵坐标加速度，还有当前车的速度。把这个输入进去，输出量就是这三种状态，合在一起的算法，我们对这两种进行比对，得到一些结果。如果我们只用隐藏模型可以得到这样结果。

在未来工作里面，我们可能会想用同样的办法，比如说在交通事故频发的路况，或者是比较复杂的路况，通过上面的摄象头这样就可以拍摄当下的这个信息，可以在不同时刻，不同的场景，通过这样数据训练这样一个模型，这个时候如果是这个数据可以发送到在这个路口的每一个车，每一个驾驶员的车里面，他就可以根据这个路况来进行自己的驾驶决策。如果是无人驾驶可以通过这个信息避免这个交通事故，而且这个过程可以是一个动态的过程，随着人类驾驶和无人驾驶他们混合的时候，无人驾驶的比重逐渐提高的时候，这个算法可以实时对这个模型进行修正，得到一个更好的周边驾驶员的驾驶行为预测。

下面我大概简单介绍一下现有工作和未来展望。这个是我们北航的无人驾驶车团队，北航猛狮，有一些团队成员，前一段时间参加了世界无人驾驶大赛，在天津举行的。电动汽车动力系统和驾驶状态汽车动态控制里面有很多积累，也包括有一些可以产业化的一些成果，这个是当时在天津做测试的无人驾驶汽车的录像。

无人驾驶发展会从低速逐渐做到高速，从一般的场景无人驾驶，逐渐的做到真正的乘用车的无人驾驶。

另外无人驾驶是一个复杂的系统，不光包括车辆本身，也包括周边的车辆，包括周边的驾驶行为，最终将是一个复杂的多方协作的这样一个车联网物联网。我的报告就大概介绍到这儿，谢谢大家。

CAAI原创丨作者闫凤军

未经授权严禁转载及翻译

如需转载合作请向学会或本人申请

转发请注明转自中国人工智能学会

更多学会活动演讲实录陆续更新，欢迎关注中国人工智学会微信公众号CAAI-1981。