普林斯顿大学贡三元教授：做 AI 研究要有价值观，数学更是制胜法宝

来源：雷锋网

雷锋网AI 科技评论按：机器学习和神经网络的出现给人工智能领域所带来的极具革命性的影响，如今整个人工智能研究界都有目共睹。作为人工智能神经网络方向的学术界资深科学家，贡三元教授深谙当前深度学习神经网络所存在的问题，对此，他提出了 NN 3.0 的概念，创造性地采用深入学习（Internal Learning）的方法来训练神经网络模型，不仅能够实现内部神经元可学习性，还兼具内部神经元可解释性。对于这一成果，贡三元教授也在 4 月 9 日的第二届全球人工智能应用创新峰会上进行了分享。

会后，雷锋网 AI 科技评论也借此机会与贡三元教授进行了一次交流，围绕他的研究经历、成果以及治学理念进行了深入探讨。

贡三元教授，1977 年获得斯坦福大学电子工程博士学位；1974 年加入美国安达尔公司任职工程师；1977 年至 1987 年，在美国南加州大学电子工程系统专业任职教授；1987 年至今，任职普林斯顿大学电子工程专业教授。同时，他还是斯坦福大学、代尔夫特大学、早稻田大学访问教授，中国科技大学荣誉教授以及香港理工大学荣誉讲座教授。此外，他还是美国 IEEE 终身院士、 Journal of VLSI Signal Processing Systems 主编等等。

贡三元教授的研究领域包括，机器学习、系统建模与识别、人工神经网络、无线传输、传感器阵列处理、多媒体信号处理、生物信息数据挖掘与识别，曾发表 400 余篇（部）论文及专著，包括：《大规模集成电路和现代信号处理》（英文版及俄文版）、《大规模集成电路处理器》（英文版、俄文版及中文版）、《数字神经网络》（英文版）、《主成分神经网络》（英文版）、《生物信息认证：一种现代方法》（英文版）等。鉴于其学术贡献，他曾获得的重要奖项包括：IEEE Signal Processing Society 技术进步奖、最佳论文奖、杰出讲座学者，IEEE Third 千禧年勋章等。

博士毕业于斯坦福大学电子工程专业的贡三元教授一开始的研究方向主要是计算机体系结构、模式识别和多媒体信号处理等，直到 1980 年才转入神经网络领域。当时，神经网络技术取得了一定进展，也为该领域的研究者带来了充足的科研经费，在这样的大背景下，贡三元教授开启了他在神经网络领域的研究并取得了丰硕成果，不仅先后出版了 4 本相关学术专著，还提出一系列创新性和前瞻性的理论。

之后，贡三元教授更是对机器学习领域产生了浓厚的兴趣，而这份兴趣，则是源自于他对整个机器学习发展历程的思考。他提到，机器学习分为监督学习 (supervised learning) 和无监督学习 (unsupervised learning），现在大家所讲的 NN1.0 及 NN2.0 都属于监督学习。同时机器学习系统包括两个子系统——特征工程 (feature engineering) 和标签工程 （label engineering），而 NN1.0、NN2.0 两个阶段对这两个子系统的训练方法是非常不同的：

在 NN1.0 的时代，机器学习只顾得上后半段标签工程，而前半段的特征工程得依赖于领域专家将特征找出来。这样的话，靠机器学习实际完成的部分其实是比较少的。

而在 NN2.0 时代，机器学习的特征工程部分也由神经网络来完成，其使用的学习方法就是今年的图灵奖获得者提出的反向传播算法（BackPropagation， BP），也就是说整个机器学习过程都由同一个 BP 算法来完成。

贡三元教授以一个 Lenet-5 深度学习模型为例，来具体阐述二者在训练方法上的不同：「它的前面 3 层做特征工程, 而后 2 层做标签工程。NN1.0 时代，前 3 层的特征工程依赖于领域专家找出特征；而 NN2.0 所使用的 BP 则能够利用反向传播训练到所有 5 层：包括 3 层特征层及 2 层标签层。这样的话，NN2.0 就摆脱了对领域专家的依赖，NN 因而也正式地进入 NN2.0 （Deep Learning）时代。现在 AI 和机器学习基本上是绑定在一起了，大家也公认 NN2.0 是当下 AI 的领头样，从而也把 NN2.0 及 AI2.0 画上了等号。」

然而， NN2.0 虽然摆脱了对领域专家的依赖，让神经网络进入到一个新的时代，但是它仍存在某种程度上的问题和缺陷。对此，贡三元教授分析到：

由于 NN 2.0 的 Teacher 是摆在外部的, 因此这样的训练过程无法做结构和神经元细粒度优化，也就是说在 NN2.0 时代，机器学习事先设定了固定的架构，只做参数训练，所以对 NN2.0 而言，网络的训练取决于外部优化指标（External Optimization Metric，EOM)。更准确地说，BP 算法取决于相对于 Teacher 的误差，误差越大，修正就越多。

这实际上也暴露了  NN 2.0 所存在的某些问题：首先，当机器学习要学习太多层时，普通 BP 是无法应对过来的，需要使用 Deep BP 的技术；而更严峻的问题是，神经网络的架构一旦确定后就无法改变，也就是说如果网络的大小、宽度和厚度事先都固定好了，一旦无法通过调参来得出好的结果时，就不得不重新训练另外一个网络结构。

在对机器学习以及神经网络的这一探索过程中，贡三元教授也产生了深深的使命感，正是在这种使命感的引导下，他也一直致力于为 NN 2.0 所存在的问题寻找出路。而这一出路便是贡三元教授最新提出的 NN3.0。

NN3.0 也是贡三元教授在本次全球人工智能应用创新峰会上分享的重要成果。他创造性地提出了深入学习（Internal Learning）这一新概念，对神经网络同时做参数和架构的训练，这样的话，整个训练过程就能深入网络内部结构，并实现神经元的优化，不仅能够实现内部神经元可学习性，还兼具内部神经元可解释性。由此，NN 跨入 NN 3.0 时代。

贡三元教授也非常详细地解释了 NN 2.0 及 NN 3.0 的区别，以及  NN 3.0 为机器学习领域所带来的革命性影响。他表示，虽然 NN 3.0 与 NN 2.0 一样，都属于监督学习，需要 Teacher，然而它放置 Teacher 的位置与 NN 2.0 截然不同：NN 2.0 将 Teacher 放置在神经网络外部，只能从神经网络外部进行训练，无法捕捉内部神经元的行为；而 NN 3.0 则将 Teacher 放置于神经网络的内部，既能调参数，同时也能调架构。

另外在对 Teacher 所使用训练方法上，NN3.0 也与 NN2.0 有所不同：除了外部优化指标（External Optimization Metric，EOM）, NN3.0 还采用了内部优化指标（Internal Optimization Metric，IOM）来实现神经网络的内部学习。这样的话，NN3.0 可以直接深入到神经网络内部，利用数学模型就能够很简易地对每一个神经元实现精准计算和衡量。其具体的实现方式是，在机器学习过程中将 Teacher 送进神经网络内部，然后用 IOM 评价标准算出各个神经元的分数，再淘汰掉分数最低的神经元，从而对神经网络结构做出最优化处理。实际上，这也说明了神经元参差不齐的特性，因而机器学习也应该将其作为结构学习的重要指标。

贡三元教授又以一个实际案例对神经元参差不齐的特性以及判断出各个神经元的好坏的重要性，进行了补充说明：「比如说在双人网球赛上，一般大家会认为队伍中每个球员都很重要，缺一不可。然而在大团队计划中, 队员们的水平往往会参差不齐，并且团队最忌讳的就是有破坏性的「猪队友」——它不仅不给团队加分，反而会减分。所以，如果要让神经网络能做结构训练，就必须让它自行判断出哪个神经元好以及哪个不好，然后选择出最坏的、最有破坏性的神经元，并将其丢掉。」

值得一提的是，贡三元教授还表示这一创新理论其实也受到了生物学相关知识的启发。他提到：「人每天起床前，都会有成千上万个脑神经元在睡梦中退化淘汰，经过新陈代谢后，人的思维反而更清晰了。同样的道理，NN2.0 中不好的那些神经元不仅会消耗计算，而且经过训练后也可能会导致过拟合（overtrained）的问题。而 NN3.0 则提供了解决捷径：通过淘汰掉低分数的神经元，神经网络在提升性能的同时，也大幅度节省计算。」

为了加强 NN3.0 的应用，贡三元教授在整个 NN3.0 网络的设计上，也考量了对于机器学习来说至关重要的五项指标：第一，高性能；第二，小体积；第三，快速度；第四：低功耗；第五：延迟性问题。在本次主题演讲里，他也将 NN3.0 模型和最有代表性的 NN2.0 模型做了综合性的比较，结果显示，NN3.0 在以上指标呈现出了相当程度的优势。

贡三元教授表示，其团队目前正在尝试跟鲲云科技合作，希望借助鲲云科技在技术应用落地尤其是人工智能芯片上的积累和优势来加速 NN 及 AI 的应用。

对于 NN3.0 以后的发展，贡三元教授表达了他的信心, 并指出了 NN3.0 可能实现的两种突破性应用：

第一种可能的应用，是 NN3.0 将能够机器互动及机器间互学习方面发挥巨大的价值。「现在我们正在迎接 5G 时代的来临，未来在很小的范围内就有可能同时进行成千上万的机器学习，而机器互动及机器间互学习也会变成数据处理的一个新里程碑。正是得益于 NN3.0 的深入学习让我们在网络结构的训练上有了更深入的了解，我们的团队目前在研究一种加强性的转换学习技术（Reinforced Transferable Learning），该技术有潜能把一个机器学习的结构转换为另外一个机器所用，从而加强另外一个机器的性能。」

另一种可能的应用，则是 NN3.0 的内部神经元可学习性（Internal Neuron Learnability）可以直接应用到 XAI3.0 的内部神经元可解释性（Internal Neuron Explainability），从而解决 BP 算法所存在的不可解释性。对于 AI 可解释性在未来 AI 发展领域的重要性，贡三元教授也用具体实例来进行了说明：「在 80 年代，美国政府曾对 NN1.0 给予了大量经费资助，然而之后停了一大段时期，因此深度学习 NN2.0 的主要发现（获今年图灵奖）反而是靠加拿大政府资助的。为了扭转乾坤，美国政府又奋起直追，将成千上万经费投资在可解释性 AI（XAI）上，这也顺势带领了未来 AI3.0 的趋势——朝着可解释性的人工智能网络发展，也就是所谓的 XAI3.0。」

虽然贡三元教授一直在学术界耕耘，我们在采访中也探讨了关于 AI 技术在实际应用上的现状以及它所面对的挑战，他认为 AI 工业应用有 5 个关键要素：

第一个是架构及芯片设计 (Architecture & Chip Design)

第二个是计算方法 (Algorithm）

第三个是应用（Application）

第四个是通讯网络 （Communication network）

第五个是云端 （Cloud）

对于目前这 5 个关键要素在各个国家的实现程度，贡三元教授特别指出中国虽然在芯片设计、计算方面尚存在不足，但整体而言在其它领域都有相当的规模及深度。

在芯片设计、计算方面的不足在某种程度上也暴露出了中国研究者在 AI 基础性研究方面所存在的不足，而这深根究底就离不开中国目前的教育制度以及研究方法所存在的问题。对此，贡三元教授也从中美两国不同的教育机制角度，表达了他的看法：

目前中国学术界大多是使用论文做基本指标，并且指标周期也是相对短期的：在一两年内要求他们出成果。然而在美国，我认为我的母校斯坦福大学就做得很好，它会给予研究者 2 年到 5 年的研究期限。普林斯顿大学就更是如此，它是全世界最具有学者氛围的高校，一般的研究期限可以达到 5 年到 20 年，这也是我能够有宽裕的时间写出这么多书的原因。在这种科研发展体制下的 AI 研究工作，一开始有可能是不断摸索，甚至于无止境地烧钱，但是一做出成果就相当有分量，甚而有图灵奖级的成果。这是当下中国教育及中国科研发展亟需学习和思考的。

作为一位人工智能领域的前辈研究者以及一位德高望重的教育家，贡三元教授也一直关注着中国后辈研究者的研究动态，对于他们，他也提出了三点建议：

第一，做基础研究要有自己的基本价值观。当下研究圈内跟风、跟热点的现象比较严重，所以研究者们一定要有自己的判断以及长远的眼光，不能被短期的研究热点所迷惑，不能跟风。

第二，要对事情存疑。尤其是中国学生特别容易相信论文或者权威，其实这种思维很危险。研究者们一定要懂得去探究为什么，不然跟错了方向都不自觉，这是我对中国年轻人的期许。

第三，一定要加强对基础知识尤其是数学的重视。特别是博士学生，更是要加强自己在数学方面的积淀，因为如果想把中国的人工智能研究带到全世界顶尖的位置，就必须要借助数学这一制胜法宝。

其中，对于数学的重要性，他更是以自己在教学方面对于数学的看重为例进行强调：「现在我在普林斯顿大学教的课表面上是深度学习、神经网络相关课程，事实上我的授课重点是面向深度学习的数学。这是因为我认为」数学基础对于 AI 科研工作者来说非常重要。

也正是因为中国学生在数学方面无论是质还是量都是达到了世界一流的水平，贡三元教授也看到了他们在 AI 基础研究方面的极高潜能。数学好，才能够在 AI 领域做出革命性的成果。而中国学生在这方面拥有极大的优势，因而对于中国学生而言，AI 绝对是一个千载难逢的机会。