【导读】AI的发展已经开始引起人们对“杀手机器人”威胁和AI军备竞赛风险的恐惧，本文对比美国、中国、俄罗斯的AI军事力量，探讨AI技术被用于军事的潜在影响，并评估如何减少发生错误或失控的风险。
今天人工智能（AI）的快速发展可能会破坏或动摇现有的军事平衡。人工智能或“超级智能”的潜在实现值得讨论，但它仍然是一个相对遥远的可能性。但是，AI的发展已经开始引起人们对“杀手机器人”威胁和AI军备竞赛风险的恐惧。伊隆·马斯克（Elon Musk）甚至在推特上写道：“在我看来，在国家层面上的AI竞争很可能引发第三次世界大战。”
这些担忧可能还为时过早，但AI的颠覆性潜力是真实存在的。AI最近的进展主要涉及机器学习，尤其是深度学习技术，例如使用深度神经网络的技术，涉及的领域包括计算机视觉、模式识别和自然语言处理等。自2016年以来，有几个重要的里程碑揭示了技术进步的快速发展和潜在的现实世界里的应用。2016年，DARPA网络挑战赛（Cyber Grand Challenge）的获胜者“Mayhem”证明了自动检测和修补软件漏洞的潜力，从而改变了网络安全。2016年，AlphaGo在与李世乭的历史性对弈中击败了李世乭，第二年又在与世界顶级围棋选手柯洁的比赛中击败了柯洁，AI已经掌握了围棋——这一需要复杂策略的古老游戏的技巧，这至少比预期的提前了10年。
美中俄的AI国防力量
美国、中国和俄罗斯都意识到AI对国防的颠覆性、甚至革命性的影响，它们正在积极寻求提升自己在一系列军事应用中使用AI技术的能力。2017年春天，美国国防部透露，它已经建立了一个算法作战的跨职能团队，旨在“加速国防部整合利用大数据和机器学习的能力”。今年夏天，中国发布了新一代人工智能发展规划，该规划明确了到2030年在人工智能领域“引领世界”的雄心。规划要求加强人工智能领域的军民融合，以在国防领域应用AI技术，包括支持指挥决策、军事推演和国防装备。与此同时，俄罗斯军方一直在积极推进智能机器人技术的发展，俄罗斯总统普京最近宣布，“谁能成为AI领域的领导者，谁就将成为世界的统治者。”事实上，AI在军事领域的出现似乎是信息时代战争向“算法战争”的转变，或用中国军事思想家的描述是“智能化战争”。
尽管有关禁止“杀手机器人”的呼吁一直存在，最近包括马斯克等115名AI专家联合签署的一封公开信，明确称发展致命的自动武器将打开“潘多拉的盒子”，并冒着释放“恐怖武器”的风险——因为彻底的禁令不太可能行得通。大国不可能接受对其未来军事实力至关重要的AI能力的制约。甚至试图寻求某种形式的监管或国际条约来限制AI的应用都不大可行，因为很容易被技术发展所赶超。这种军民两用技术的扩散也将难以控制。
因此，主要的军事力量应该采取主动的方法来评估和减轻AI在军事应用方面的潜在风险。这符合他们的利益，就像美国、中国和俄罗斯都至少对战略稳定有基本的承诺，并意识到盲目扩张的不可取之处。
AI军事应用的风险
迄今为止，许多与AI相关的风险的分析和关注集中在伦理问题和与使用致命自主武器系统（lethal autonomous weapons system, LAWS）相关的风险上。就如何应用和调整武装冲突的法律，以及使用自主武器系统的必要性、区别、比例和人道主义的核心原则等问题有过一个国际性的辩论，但是各国将如何解释和遵守这一框架尚不清楚。与此同时，美国智库新安全中心（Center for a New American Security）的高级研究员Paul Scharre在一份关于该话题的报告中，提出自动武器的使用可能会导致一系列操作风险，包括在复杂系统中不可避免的失败，敌方试图攻击或破坏自主系统(例如欺骗和行为攻击)，或者敌我系统之间发生不可预知的交互。
这些问题是至关重要的，同时也让我们思考，在AI领域之外，AI的军事应用所带来的风险。事实上，当前的、相对没有争议的AI的军事用途也值得持续关注。尽管有人担心AI正在“召唤恶魔”，但AI的当前局限性，而不是它的潜在能力或可控性问题，在短期内更可能出现问题。在某些情况下，错误和问题可能来自于看似常规的应用程序，即使问题中的算法没有直接用于武器系统。
例如，美国和中国军队在情报、监视和侦察(intelligence, surveillance and reconnaissance ，ISR)的自动化方面使用AI技术，尤其是用于支持指挥决策。在Project Maven的帮助下，美国国防部计划加快大数据和机器学习的整合，利用计算机视觉算法实现数据、视频和图像的自动处理。通过这一举措，美国国防部计划在2017年底之前，在战区拥有“部署”算法的能力。此外，美国空军试图利用AI技术，通过算法和人机界面来提高处理信息的速度和规模，以及提高领导者的决策能力。类似地，中国人民解放军(PLA)正在开发一种算法，实现数据融合，增强情报分析能力，从而支持指挥决策。例如，中国人民解放军正在资助与目标识别相关的研究和开发，以及基于机器学习的传感器数据和卫星图像处理。中国军队尤其关注的是AI在作战指挥和协助决策方面的潜力。
AI的这些军事应用并不直接涉及到致命武器，但可能会导致引发不稳定危机或加剧风险升级的错误。在当前的发展阶段，AI还远远不够智能，往往会犯人类不会犯的错误。这样的错误可能是不可预测的，也很难减轻。在非军事的某些情况下，结果可能是可笑的或荒谬的。然而，在军事环境中，可能会产生严重的后果。随着系统复杂性的增加，如果某个情况超出了算法的预期参数，可能导致错误或意外引起的突发行为。
利用机器学习来支持军事情报、监视和侦察能力或指挥系统，可能会为误解或误判创造新的途径。例如，如果一种用于处理卫星图像的计算机视觉算法在察觉威胁或潜在目标上犯了错误，那么在分析甚至战场上都可能出现错误。类似地，如果一种用于机器翻译或自然语言处理的算法错误地呈现了某个关键的情报，那么不准确的情报就会被引入到分析和决策过程中。(当然，在某些情况下，AI的使用可能会减少分析和决策失误，而这可能是由于人类的认知偏差而产生的。)此外，还有一种威胁，即对手将开发对抗或干扰彼此AI系统的对策，试图歪曲数据或攻击算法本身。
考虑到另一个近期的应用程序，有可能会出现一种趋势，即由多个军队（甚至非国家主体）使用支持AI的网络能力，在一个复杂且有争议的领域引入更大程度的自主。2012年美国国防部关于“武器系统的自主”（Autonomy in Weapons System）的指令明确要求对使用武力进行“适当程度的人类判断”，但“不适用于网络空间操作的自主或半自主网络空间系统”。在某些网络操作中，如在防空和导弹防御系统中所需要的速度，可能需要更大程度的自主。今年8月，美国国防部正式购买了与Mayhem相关的技术，这些技术将被用于自动检测和修补软件漏洞。尽管Mayhem是为了防御任务，类似的技术可能会被武器化并用于攻击目的。中国军方也可能会寻求AI增强其网络战的攻击性和防御性能力，包括在其新的战略支援部队（SSF）下。将AI与网络能力结合起来以获得优势的趋势，可能会加剧这个竞争领域的升级态势，尤其是在这种能力开始加速发展的情况下。
展望未来，AI将带来破坏性的军事能力，同时给军事和战略稳定带来系统性的风险。现在是时候开始考虑这些技术趋势的潜在影响，并评估如何减少错误或失控的风险。首先，大国军方应该考虑采取行动——或许，作为未来的一种建立信心的措施，应该承诺采取一些实际措施，比如：
对军用AI系统的安全性和完整性进行严格测试，重点关注在开放、不受控制的环境中可能出现的错误或故障;
在军事AI系统中制造系统冗余（redundancy），包括那些用于支持情报收集、监视和侦察能力的系统，以便进行验证，这样就有多种方法来检测错误和评估输出，以确保与实际的地面真相保持一致;
研究故障安全措施或“断路开关”选项，以便在非计划交战或事态升级的情况下，允许缓和或消除冲突;
确保AI系统的“可解释性”，以减少决策的问题，同时在可行的情况下，确保“有意义的人类控制”。
（来源：lawfareblog.com）
