AI算法的进步超越了摩尔定律!

中国指挥与控制学会  |   2018-10-15 01:02

本文来源:算法与数学之美、EDN电子技术设计


“摩尔定律将继续改变世界,但算法的进步对推动电子技术的发展越来越重要。”

现有的半导体芯片或正在开发的新计算架构仍然适合未来的算法,我们对此有多大信心?随着算法的进步超过硬件的发展,即使是最先进的深度学习模型都可以部署在小到5美元的Raspberry Pi上。

在20世纪80年代的处理器上运行最先进的现代算法,和在最先进的处理器上运行20世纪80年代的算法,哪个算得更快?答案令人惊讶,通常都是在旧处理器上跑新算法更快些。

虽然摩尔定律作为电子行业快速发展的驱动力而备受关注,但它只是一个驱动因素而已。我们经常忘记算法的进步其实在很多情况下超过了摩尔定律。

Martin Groetschel教授观察到,在1988年需要花费82年才能解算的一个线性编程问题,在2003年只需要一分钟。其中硬件加速占1000倍,而算法进步占43,000倍。同样,麻省理工学院教授Dimitris Bertsimas的研究表明,1991年至2013年间,混合整数求解器的算法加速是58万倍,而峰值超级计算机的硬件加速仅增加了32万倍。据说,类似的结果也发生在其他类型的约束优化问题和素数因子分解中。

 这对AI意味着什么? 

过去五年来,无论学术界、工业界还是创业界,都见证了人工智能(AI)的爆发。可能最大的拐点发生在2012年,当时来自多伦多大学的AlexNet团队,使用深度学习一举赢得了ImageNet大规模视觉识别挑战赛(ILSVRC)的冠军。从那以后,深度学习成为了人工智能实现的关键配方。

计算机视觉的进步开始蔓延到自然语言处理和其他AI领域。智能音箱、实时计算机翻译、机器人对冲基金,以及网络参考引擎,不再让我们感到惊讶了。

AI也成为了交通运输行业的驱动力(这也是Autotech Ventures公司的投资领域)。我们预见到,高级驾驶辅助系统(ADAS)、自动驾驶、车队检查、制造质量控制,以及车载人机界面等细分市场,具有巨大的发展潜力。到目前为止,Autotech Ventures已经对几家专注于开发该领域AI解决方案的初创公司进行了投资,包括ADAS和自动驾驶、视觉检测和边缘计算。在分析这些商业机会时,算法和硬件之间的相互作用是其投资决策中的一个关键考虑因素。

 公众对AI硬件的关注 

基于深度学习的AI在其拐点之后出现了对图形处理单元(GPU)的强劲需求。由于具有很强的并行计算能力,GPU对于深度学习算法所采用的逻辑恰好具有惊人的运行效率。GPU的主要供应商英伟达(NVIDIA)从竞争中脱颖而出,其股价从2013年到2018年上涨了20倍。

当然,英伟达的竞争对手正在努力追赶。高通、Arm和其他公司将注意力集中在了AI芯片的设计上,而英特尔则收购了AI芯片初创公司Nervana Systems。谷歌、Facebook、苹果和亚马逊都已纷纷为各自的数据中心及其他项目开发他们的AI处理器。也有一些初创公司(例如Graphcore、Mythic、Wave Computing、Cerebras和SambaNova)看到机会加入进来,试图搭建设计得更好的图灵机系统。像D-wave Systems和IBM等其他一些公司也在积极探索后图灵时代的架构。大多数芯片开发的目标是赶上或超过英伟达。然而,据我们所知,大多数处理器都是针对今天的AI算法而设计的。

尽管需要巨大的前期开发成本,各种AI芯片设计的发展仍会进入寒武纪式的大爆炸。人工智能的前景是如此诱人,行业玩家愿意投入巨资开发硬件,以便与基础数学算法相匹配。但是,现有的半导体芯片或正在开发的新计算架构仍然适合未来的算法,我们对此有多大信心?

考虑到算法演变的速度和幅度变化是如此之快,许多替代AI芯片设计可能还没有正式投放市场就已经过时了。我们推测明天的AI算法可能需要不同的计算架构、内存资源,以及数据传输能力等。

尽管深度学习框架已经出现很长时间了,但直到最近才真正付诸实践,这要感谢摩尔定律所预测的硬件的快速发展。最初的数学不一定是为工程实践而设计的,因为早期的研究人员无法想象今天用1000美元就可以得到那么大的算力。现今的许多AI实现都是使用最初的数学模型,朝着更加准确、简单且更深层的方向发展,或者添加更多数据。这样做很快就会消耗掉GPU的计算容量。只有一小部分研究人员专注于改进基础数学和算法框架的难题。

还是有很多机会认识并利用这些创新的的数学进步的。我们了解到的方法包括精简冗余的数学运算而减少计算时间,将卷积压缩到较小的矩阵而减少内存需求,或者对加权矩阵进行二值化而简化数学运算。这些是进入算法进步的第一次尝试,其发展之快已经开始超过硬件的进步。

例如,从加州大学伯克利分校的研究项目剥离出来的DeepScale 就是将用于高级驾驶辅助系统(ADAS)和自动驾驶的AI“挤压”到汽车级芯片中(而不是GPU)。与仅使用算法的物体检测模型相比,他们的神经网络模型的运算速度要快30倍,同时在能耗和内存占用方面也有很大的提升,足以在现有硬件上运行。

另一个算法跨越式进步的例子来自艾伦人工智能研究所(Allen Institute of Artificial Intelligence)的研究人员。他们使用一种采用神经网络二值化的新颖数学方法,已经证明可以大幅提高速度,同时降低功耗和内存要求。这样就可能让最先进的深度学习模型部署在售价仅5美元的Raspberry Pi上。其研究人员最近将这种算法和处理工具独立出来成立专门的公司XNOR.ai,以便在边缘设备上部署AI,并进一步推动AI算法的进步。

有趣的是,新的二值化框架从根本上改变了最佳处理逻辑的类型。它们不再需要解决神经网络所需的32位浮点卷积,而只需要进行位计数操作——将功率平衡从GPU移开。此外,如果这些算法与专门设计的芯片相匹配,则可以进一步降低计算资源需求。

算法的进步不会停止。有时需要数年甚至数十年才能发明(或者可能发现)新的算法。这些突破无法以与摩尔定律推动的计算进步所相同的方式来预测。它们本质上是非确定性的。但是当它们发生时,整个格局的变化往往会使现有的主导者变成脆弱的猎物。

 黑天鹅 

Nassim Nicolas Taleb在他的畅销书《The Black Swan: The Impact of the Highly Improbable(黑天鹅:如何应对不可预知的未来)》中阐明说,最佳决策在很大程度上取决于分析过程是不可预测还是不确定。换句话说,我们是在处理“已知的未知数”还是“未知的未知数”?算法创新从根本上是未知的未知数。投注到这些发展上需要持续关注,因为它们具有不确定的发现时间和不可预测的影响。

然而,在过去的二十年中,在应用数学领域,尤其是人工智能方面,出现了几个颠覆性的算法发现。它们与GPU一起,将AI从一个不起眼的研究领域带到了商业化的最前沿。

我们认识到这些计算领域“黑天鹅”的潜力,它们将使现有芯片架构成为过去,或者一夜之间重新洗牌。对我们来说,这些黑天鹅可能会带来更为安全的自动驾驶汽车,以及许多其他未知的应用。

- Alexei Andreev博士是Autotech Ventures投资公司的执行董事,Jeff Peters博士是公司首席研究员,Autotech Ventures是一家专注于交通相关技术的风险投资公司。(声明:DeepScale和XNOR.ai是Autotech Ventures投资的初创公司)




?往期文章推荐


180页PPT,讲解人工智能技术与产业发展 中国指挥与控制学会首次组队参加中国科协全国学会乒乓球大赛

将AⅠ拉下神坛:Al就是现代统计学


投稿邮箱:liuyali@c2.org.cn

长按下方二维码    免费订阅!

C2

如何加入学会


近期活动:

l 10月13日-14日  湖南长沙  

第六届CICC青年科学家论坛

l 10月15日-21日  陕西西安

2018空天大数据与人工智能高级研修班

l 10月17日-19日  湖北武汉

2018第二届中国海洋发展与指挥控制论坛



注册学会会员:

个人会员:

关注学会微信:中国指挥与控制学会(c2_china),回复“个人会员”获取入会申请表,按要求填写申请表即可,如有问题,可在公众号内进行留言。通过学会审核后方可在线进行支付宝缴纳会费。

单位会员:

关注学会微信:中国指挥与控制学会(c2_china),回复“单位会员”获取入会申请表,按要求填写申请表即可,如有问题,可在公众号内进行留言。通过学会审核后方可缴纳会费。


长按下方学会二维码,关注学会微信

感谢关注


来源:c2_china 中国指挥与控制学会

原文链接:http://mp.weixin.qq.com/s?__biz=MzA4ODcwOTExMQ==&mid=2655584253&idx=6&sn=73fa05b3c1a2a3000a7dd3d5369568a6&scene=0#wechat_redirect

版权声明:除非特别注明,本站所载内容来源于互联网、微信公众号等公开渠道,不代表本站观点,仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有,如有侵权,请联系删除。

电话:(010)86409582

邮箱:kejie@scimall.org.cn

相关推荐 换一换