人工智能在DARPA混战模拟中击败顶级F-16飞行员

来源：中国指挥与控制学会

DARPA在2020年8月20日星期四进行的Alphadogfight挑战的屏幕截图。

机器超越人类的故事有了新的篇章。一种人工智能算法在一场虚拟格斗中再次击败了人类战斗机飞行员。这场比赛是美军阿尔法格斗挑战赛的最后一场比赛，目的是证明开发有效的、智能的、能够在格斗中击败敌机的自主特工的可行性。

去年8月，美国国防高级研究计划局（DARPA）挑选了八个团队，从洛克希德马丁公司（Lockheed Martin）这样的大型传统国防承包商到Heron Systems这样的小集团，在11月和1月进行一系列的试验。在上周四的决赛中，苍鹭系统公司在两天的老派格斗后，以胜利者的身份击败了其他七支球队，仅使用鼻翼枪互相追击。随后，苍鹭与一名坐在模拟器里、戴着虚拟现实头盔的战斗机飞行员对决，并以5轮零分获胜。

周四活动的另一个赢家是深度强化学习（deep reinforcement learning），即人工智能算法可以在虚拟环境中反复尝试一项任务，有时甚至非常快，直到它们发展出类似理解的东西。深层强化在Heron System的代理人中扮演了关键角色，同时洛克希德·马丁公司也获得了季军。

来自洛克希德马丁公司的人工智能副总裁马特·塔拉西奥（Matt Tarascio）和人工智能总监兼首席架构师李·里特霍尔茨（Lee Ritholtz）表示，试图让一种算法在空战中表现出色，与教软件简单地飞行，或者保持特定的方向、高度有很大不同，还有速度。Ritholtz解释说，“软件一开始对甚至是非常基本的飞行任务都完全不了解，这使它在一开始对任何人都不利。就训练而言，你不必教人它不应该撞到地上，他们有算法所没有的基本本能。然而对软件而言那意味着会危险很多，因为经常会撞到地上。”

塔拉西奥把这比作“把婴儿放进驾驶舱”。要克服这种无知，就需要让算法明白，每一个错误都有代价，但这些代价是不相等的。当算法基于一次又一次的模拟，为每个动作分配权重成本，然后随着经验的更新而重新分配这些权重时，这种强化就发挥了作用。

在这里，过程也因输入的不同而有很大的不同，包括程序员在如何构造模拟方面有意识和无意识的偏见。“你是根据人类的知识编写一个软件规则来约束人工智能，还是让人工智能通过反复试验来学习？那是一场内部的大辩论。当你提供经验法则时，你就限制了它的性能。他们需要通过反复试验来学习。”

归根结底，人工智能在规定的努力范围内学习的速度是不争的，因为它可以在多台机器上一遍又一遍地重复这一课。

洛克希德公司和其他几支队伍一样，有一名战斗机飞行员为这项工作提供建议。他们还能够在一次多达25台DGx1服务器上运行培训设备。但他们最终生产的产品可以运行一个GPU芯片。

相比之下，在胜利之后，Heron Systems的高级机器学习工程师Ben Bell说，他们的代理已经经历了至少40亿次的模拟，并获得了至少12年的经验。

人工智能已经不是第一次在比赛中击败人类战斗机飞行员了。2016年的一次演示显示，一个名为Alpha的人工智能特工可以击败一名经验丰富的人类战斗飞行教练。但是周四的DARPA模拟可以说是更重要的，因为它在一个高度结构化的框架中，让各种各样的人工智能代理彼此对抗，然后再对抗人类。

在实际的测试中，人工智能是不允许学习他们的经验的，贝尔说这有点不公平。实际的比赛证明了这一点。在第五轮也是最后一轮对决中，无名人类飞行员呼号班格（call sign Banger）能够显著改变战术，持续时间更长。“我们作为战斗机飞行员所做的标准工作并不奏效。”

这是军队必须做出的一个重大的未来选择。允许人工智能在实战中学习更多，而不是在任务之间学习，因此在人类的直接监督下，可能会加快学习速度，帮助无人战斗机更好地与人类飞行员或其他人工智能竞争。但这需要人类做出决定，在关键时刻脱离这个过程。Ritholtz说，他至少现在会提倡的方法是训练算法，部署它，然后“带回数据，从中学习，再训练，重新部署”，而不是让代理在空中学习。

美国国防高级研究计划局（DARPA）战略技术办公室主任蒂莫西•格雷森形容，这次试验是为了在战斗中更好地进行人机协作而取得的胜利，这才是真正的意义所在。这项竞赛是国防高级研究计划局（DARPA）更广泛的一项工作的一部分，称为空战进化（ACE），它不一定寻求用无人系统取代飞行员，但确实寻求大量飞行员任务的自动化。

格雷森说：“我认为我们今天所看到的是一种我将称之为人机共生的开始，让我们想想坐在驾驶舱里，由这些人工智能算法之一驾驶的人真正成为一个武器系统，在那里，人类专注于人类最擅长的（比如更高阶的战略思维）和人工智能是在做人工智能最擅长的事情。”

本文来源：圣斯沃茨

如何加入学会

注册学会会员：

个人会员：

关注学会微信：中国指挥与控制学会（c2_china），回复“个人会员”获取入会申请表，按要求填写申请表即可，如有问题，可在公众号内进行留言。通过学会审核后方可在线进行支付宝缴纳会费。

单位会员：

关注学会微信：中国指挥与控制学会（c2_china），回复“单位会员”获取入会申请表，按要求填写申请表即可，如有问题，可在公众号内进行留言。通过学会审核后方可缴纳会费。

长按下方学会二维码，关注学会微信