新时代高科技伦理的困境与应对（6）：人工智能安全风险挑战与法律应对

来源：中国科技论坛

2018年11月26日，一对基因编辑婴儿在中国诞生的消息引发社会的广泛关注。在高科技日益发展的新时代，伦理困境将更加突出。高科技领域伦理有何特征、社会公众在担忧什么、科学共同体如何面对、政府如何监管，这些问题都值得探讨。为此，本刊特邀专家学者，以“新时代高科技伦理的困境与应对”为主题，组织一期专题笔谈。

袁立科  中国科学技术发展战略研究院科技预测与评价研究所研究员

当前，人工智能技术迅猛发展，表现出与人类历史上以往技术变革然不同的特征，正在重塑人类的生产和生活空间。人工智能不仅具有深度学习能力，而且将具有主动学习与创新能力，未来甚至可能拥有超级智能。人工智能的发展促进了人类社会进步，同时也将引发社会变革和各种新的风险，应该未雨绸缪、规范先行。

1 人工智能技术正从监督学习走向强化学习，未来可能出现超级智能

2017年10月18日，《 Nature》发表 DeepMind的围棋人工智能新成果 AlphaGoZero，不需棋谱数据和先验知识，通过强化学习算法创新以100：0完胜 AlphaGo，探索了特定应用中不依赖领域数据，通过自我学习获得强大推理决策能力的人工智能技术发展新路线。2018年12月7日， DeepMind的最强棋类算法AlphaGoZero作为《 Science》封面论文发表，正式引入学界和公众的视野。而且，除了围棋， AlphaGoZero自学了另外两种复杂棋类游戏一一国际象棋和日本将棋。 AlphaGoZero不再被人类认知所局限，能够发现新知识、开发新策略，它让深度学习用于复杂决策更加方便可行。从 AlphaGo到 AlphaGoZero，体现了机器学习技术的快速迭代和进步方向。2017年10月26日，沙特阿拉伯授予美国汉森机器人公司生产的机器人“索菲亚”公民身份。这件事目前更多的是一种噱头，它给我们的启示更多的是提醒我们人工智能末来发辰出超级智能的一种可能性，并引发人们对出现这种可能之后需要如何应对的思考。

2  人工智能冲破人类控制的风险初现端倪

人工智能的发展具有阶段性，其可能引发的安全挑战也表现出不同特点。目前，人工智能正处于从弱人工智能向强人工智能逐步发展的阶段，近期更多的是需要应对技术的不完善或滥用带来的安全问题；远期需要防范其可能产生超级智能而带来的不可控性。

一是算法模型的复杂性，易导致结果不确定性。以深度学习为代表的智能计算模型体现出很强的学习能力，但目前的机器学习模型仍属于一种黑箱工作模式，对于人工智能运行中发生的异常情况，人们往往很难对其原因做出合理的解释，开发者也难以准确预测和把控智能系统运行的行为边界。如2017年人机围棋对弈中， AlphaGo多次奔出“神之一手”，很多人表示难以说清楚其决策的具体过程。而且，从监督学习进入到强化学习，没有任何人类知识的 AlphaGoZero在自我对弈的初期常常出现一些毫无逻辑的诡异棋局，后期也会有出其不意的打法。当越来越多的智能系统替代人类做出决策、影响大众生活的时候，人们需要能够对其结果的合理性、安全性进行准确评估。

二是技术滥用、管理缺陷引发的安全威胁。人工智能技术本身并无好坏之分，运用结果取决于人们使用的目的与管理过程。政府和职能部门、网络服务供应商、商业公司，如不能公平、正当守法使用和管理隐私数据，将引发“隐私战”。从全球来看，谷歌、苹果、微软等通过收购等方式，不断聚集资本、人才和技术垄断优势，形成“数据寡头”或“技术寡头”的趋势増强，可能会产生“数据狐岛”效应，影响人工智能发展的透明性和共享性，与政府的博弈将越发激烈。

网络黑客可能会通过智能方法发起网络攻击，加大个人、企业、政府网络运行管理风险，影响社会稳定。智能化的网络攻击软件能自我学习，模仿系统中用户的行为，并不断改变方法，以尽可能长时间地待在计算机系统中。如果安全防护技术或措施不完善，无人驾驶汽车、机器人和其他人工智能装置可能受到非法入侵和控制，这些人工智能系统就有可能按照犯罪分子的指令，做出对人类有害的事情。

三是超级智能的出现会带来巨大的不可控性。随着人工智能的快速发展，智能机器人拥有越来越强大的智能，在很多能力上都将超过人类，而没有自我意识的人工智能终将是人类的助手。比尔・盖茨、斯蒂芬・霍金、埃隆・马斯克、雷・库韦尔等人所担忧的远期风险是，未来机器人或其他人工智能系统能够自我演化，并可能发展出类人的自我意识，从而对人类的主导权甚至存续造成威胁。尽管我们还不清楚这种超级智能或“奇点”是否会出现，但考虑到技术发展的不确定性，仍需要在法律制度、伦理规范等各方面做好充分准备，并在没有把握对其能够妥善应对之前，避免人工智能向这一方向发展。

3  人工智能安全发展亟待规范先行

人工智能的迅速发展将深刻改变人类生活、改变世界，给当前的法律规则、社会秩序、道德标准和公共管理系统带来前所未有的挑战。在民事主体法律、侵权责任法律、交通法律、劳动法律等诸多方面，不仅缺乏有效的法律产品供给，而且与现行的法律秩序相冲突，甚至顽覆我们已经构成的法律认知。人工智能技术的发展可使犯罪工具和犯罪手段更加智能化，违法行为危害性正在发生“量变”，甚至引发“质变”，新的违法犯罪形式也会层出不穷。因此，需主动应对其技术发展的不确定性所带来的新的风险和治理挑战，一方面从国家法律规制、科学家自律及社会监督等方面规范先行，提前布局、审慎应对；另一方面要从技术上对人工智能的发展有所制约、有所设计。

一是分步骤、有序推进人工智能立法。人工智能技术发展迅速，滲透到经济、社会的方方面面，意味着立法者必须全面审视现有法律框架，并使其适应不断变化的社会需求。按照“急用先立、成熟先立”的原则，针对新产业新业态的发展需要，加强对现有法律法规的修订和解释工作。同时可以由国务院等部门出台个人信息保护、数据资源管理等法律条例，之后在实践中修改完普，待条件成熟后再上升为国家法律。在已经商业化或产业比较成熟的人工智能特定应用领域，如无人机、机器人等，基于地方和行业出台的一些临时性应对政策基础上，国家层面应加强研究储各，适时出台统一法规。

二是构建国家法律规制、科学家自律及社会他律监督，“三律结合”的规范调控体系。开展《人工智能安全保障法》前期战路研究，制定出台《人工智能研究开发安全保障管理细则》，推动试行《人工智能及机器人推广应用管理办法》，在国家层面建立一套公开透明的人工智能监管体系，实现对人工智能算法设计、产品开发、数据采集和产品应用的全流程监管，确保算法及其决策可以有效接受中立第三方或者监管机构的审查，实现算法决策的透明性和公平性。制定《人工智能安全与伦理准则》，引导行业组织发起设立人工智能发展自律公约，将价值与规范嵌入人工智能系统。

三是立法设立负面清单，防范人工智能“作恶”。加强前沿智能技术预测、研判，研发更为透明、可解释性更高的智能计算模型，降低智能系统行为的不可预知性和不确定性。对人工智能的发展规划和前沿技术的研发进行审慎评估，在可能引发人工智能不可控发展的技术领域，立法设立红区或研发限制规范。同时，研究人工智能自我终结机制，从底层固件构建“安全防火墙”。

四是积极参与人工智能全球治理和安全国际规则的制定。宜贯彻人类命运共同体理念，支持科研团体、专家学者、企业广泛开展国际人工智能安全发展合作，主动搭建人工智能国际法律、政策等制度建设合作平台，积极参与国际标准和规则制定。针对机器人异化和安全风险管控、治理等重大国际共性问题，加强立法政策研究，提出中国方案，贡献中国智慧，发挥中国作用。

（责任编辑 迟凤玲）

引用本文:   

刘益东, 袁立科, 范春萍, 田松, 艾凉琼.新时代高科技伦理的困境与应对（下）[J].中国科技论坛, 2019(2): 1-10.