DARPA为作战推演开发AI敌军模型

来源：中国指挥与控制学会

简介

近日，DARPA发布了“针对敌方战术的建设性机器学习作战”（COMBAT）广泛机构公告，寻求利用人工智能算法开发敌军旅级部队的行为模型，在仿真环境中与美军部队开展模拟对抗，帮助美军快速推演行动方案并开展行动计划。

“针对敌方战术的建设性机器学习作战”（COMBAT）项目将开发人工智能算法，该算法可在仿真环境中生成针对美军部队（蓝军）的敌方旅级部队（红军）行为模型，并探索敌方如何根据美军行动和响应来不断发展其战术。如果该项目开发成功，可帮助美军快速开发多个可用的敌军行动方案（COA），确定最优解决方案，并为辅助决策提供依据。在未来的作战推演中，COMBAT可提供人工智能敌军对手，并能够以人无法替代的形式进行反应，挑战美军部队并促进美军战术的不断更新。

1

项目目标

目前，美陆军在作战推演活动中，通常让部队士兵扮演敌军，并依靠长期以来建立的技术、战术和流程（TTP）和传统的兵力运用模式来实现推演。COMBAT寻求开发自适应的敌军人工智能系统，使其提供出人意料的新型敌军COA，以此来干扰传统美军策略。COMBAT项目的核心目标是促进新型TTP的开发。以前，美军尚未将新出现的人工智能技术应用到复杂的决策空间中，本项目是对未来人工智能应用的一种探索。

项目承包商将通过对实体和行为的建模来构建敌军机动式步兵旅人工智能算法，该人工智能算法可在用户选择的非密兵力对抗建模和仿真环境中运行。仿真环境既可以是商用现货、政府现货产品，也可以自行构建，并能够对包含多个连级部队的作战旅、旅级部队内部的指控结构、战略（整个旅）、战役（多个连）和战术（一个连）级行为进行建模。连级部队会由于实体建模的保真度而降低地形对士兵的影响，但仍能够表现具有代表性的士兵能力。

承包商将使用美国陆军外军研究办公室于2016年发布的《俄罗斯部队的作战方式：俄罗斯地面部队的部队结构、战术和现代化》文件来开发其敌军AI算法和行为。在该参考文件中，军事战术家详细评审了俄罗斯连级部队的战术，其详细程度可保证复杂实体行为的开发和编程。DARPA希望申请方能够通过自然语言处理技术或对敌军条令文件进行非结构化文本提取等技术来生成敌军实体的行为基线，发现其实体的相互依赖关系，并开发敌军COA。承包商将使用公开发布的《美陆军野战条令3.0—作战》来开发美军AI算法和行为。

COMBAT项目将以强化学习算法和博弈论为基础。在强化学习算法中，代理通过不断学习从而在不确定的复杂环境中实现目标。由于这种高复杂度的环境无法完全探究，因此可使用蒙特卡洛仿真等方法来探索交互空间。代理尝试解决的每个问题可被看做一系列状态，代理采取行动后可从一个状态转移到另一个状态。代理可观测当前环境状态，并基于当前状态和过去的经验采取下一步行动，采取行动后代理会获取该行动在解决问题方面的收益，代理的最终目标是不断学习以获取最大累积收益。

目前的强化学习研究领域正在探索将复杂任务分解为子任务的半自动和自动化方法。强化学习通常以马尔科夫决策过程（MDP）为基础，该过程可为结果部分随机，部分受决策者控制的情况提供决策建模数学框架。MDP假设未来只依赖当前情况，不依赖过去情况。在如作战推演这样的复杂环境中，将所有潜在状态进行融合、确定所有行动和定义所有奖励充满挑战。为应对这一挑战，人工智能研究人员已经在探索各种方法，这些方法可将复杂任务分解为更小的子任务集。这个领域被称为层级强化学习，可使机器最优化复杂度较低的子任务，这些子任务更容易管理，并可将这些子任务进行合并以实现整体目标。

将复杂任务分解为一些子任务可解决COMBAT项目面临的一些关键挑战，这一能力不仅可使复杂环境容易处理，还能便于知识的转移，因为子任务可用于不同的整体任务。任务分解还可使作战人员使用不同的时间单位和保真度来处理同一问题。例如，在对抗推演中，火力呼叫这一子任务的时间单位为秒且需要5分钟才能执行完毕，而整体对抗推演的时间单位为分钟，那么为使火力呼叫这一子任务更加具体，在执行整个对抗推演时可根据子任务需要调整时间单位。

政府团队将利用半自动兵力生成系统（OneSAF）来评估开发商的人工智能系统。OneSAF是一个交互式，基于回合制的人在回路建设性建模和仿真工具。政府团队将在OneSAF中重建参考场景，采用人在回路的方式对红蓝军回合制对抗进行裁决。

2

阶段描述

第1阶段，可行性研究：该阶段的目标是开发敌军旅级进攻行动的初始规则和算法，在该阶段陆军专家将评估开发商对敌军战术的仿真程度、对美军行动的适应性及算法的技术水平和成熟度。

第2阶段，概念验证：在该阶段，开发商将提升其算法性能，并需纳入强化学习算法，使算法在对抗时能够学习，并使用蒙特卡洛仿真和引导式仿真来对实战推演进行补充。开发商将持续更新其人工智能算法，并参与人在回路的3次推演，最后一次推演将采用完整的机器推演方式。这些算法将基于俄罗斯条令选择有效的战术行动，采用合成部队进行作战，以获取有利的损失交换比。

介冲译自互联网

李皓昱审定

转自：防务快讯

2020年6月11日

如何加入学会

注册学会会员：

个人会员：

关注学会微信：中国指挥与控制学会（c2_china），回复“个人会员”获取入会申请表，按要求填写申请表即可，如有问题，可在公众号内进行留言。通过学会审核后方可在线进行支付宝缴纳会费。

单位会员：

关注学会微信：中国指挥与控制学会（c2_china），回复“单位会员”获取入会申请表，按要求填写申请表即可，如有问题，可在公众号内进行留言。通过学会审核后方可缴纳会费。

长按下方学会二维码，关注学会微信