观点 | Yoshua Bengio 经验分享:如何做好学术研究?如何管好实验室?

中国人工智能学会  |   2018-09-03 15:00

转自 晞萌 AI科技评论

CIFAR 机器与大脑学习项目的联合主席 Yoshua Bengio

AI 科技评论按:深度学习三驾马车、四大金刚中,相比于 Yann LeCun 经常以(曾任) Facebook 人工智能研究院 FAIR 负责人以及 Facebook 首席 AI 科学家的身份发表言论、接受采访,Geoffrey Hinton 经常进行对深度学习反思的讲座,吴恩达更是研究兼创业的社交媒体大红人,Yoshua Bengio 似乎要低调得多,我们不常见到 Bengio 的公开采访和新闻。

近日,Graham Taylor 对 Yoshua Bengio 进行了一次采访,聊了聊 Bengio 的学术方法论和如何管理实验室,是一次诚挚的反思,也是一份给年轻博士、教授、实验室管理者们的参考建议。AI 科技评论全文编译如下。

Graham Taylor 是 CIFAR 机器和大脑学习项目的全球学者,任圭尔夫大学和矢量研究所工程学院的副教授。Yoshua Bengio 目前是 CIFAR 机器与大脑学习项目的联合主席,加拿大计算机科学与运筹学系的全职教授,蒙特利尔大学统计学习算法研究主席。

Taylor :能讲讲您第一次任职教授的经历吗?

Bengio:我第一次任职是在蒙特利尔大学,从事机器学习、神经网络研究,当时我是唯一研究这一方向的人,所以我非常有激情,欣然接受了每个来到我身边想学习的学生,现在想起来,我当时应该更谨慎一些。

当时我通过在博士后期间合作过的朋友,与 Geoff ,还有在多伦多从事机器学习、神经网络研究的学者取得了联系。与学界内的人建立联系非常重要,毕竟当时我是蒙特利尔大学唯一从事这一方向的人。我很幸运,很感谢蒙特利尔大学看到了我的潜力,很快就减少了我的授课压力。

Taylor:一开始就减少了课程安排?

Bengio:是的。一般来说教授要教三门课,但前七年,我只需要上两门课程,而在成为加拿大研究主席后,就变成了一门课程。教学负担过重,还要兼顾实验室,这当时对我来说挑战非常大。我有些遗憾,当时的工作太忙,又正逢我的第二个孩子出生,让我有些不知所措。现在回想起来,我当时应该学会平衡自己的工作和生活。

Taylor:在学校里有没有人能给予一些指导呢?

Bengio:没有。事实上我当时应该去向更资深的教授请教经验,即使不一定是同一研究方向的教授,也可以请教一些教学经验。如果我不那么害羞,可能会和资深的教授建立联系并获得他们的反馈。我当时没有意识到的一点 —— 新人应该主动去与资深教授建立联系。尽管资深教授可能不会主动来找你,但只要新教授主动去联系,资深的教授们都很乐意向新人授经验

Taylor:除了校内,您还获得了哪些最佳建议呢?

Bengio:在我担任教授的第一个十年里,我和 Geoff Hinton 经常联系,尽管我们不在同一个城市。他给予了我很大帮助,让我明白了专注的重要性。

不要让自己的精力过于分散;总是追求当前的想法,就会忘记了长期的挑战。建立自我的过程是很难的,我们很容易被当下的事情分散注意力,比如发表足够的论文、然后要申请终身教职等等。但事实上,我们必须要花一些时间专注于长期的事情,这才是事业成功的关键。总是局限于当下,很容易陷入困境,错过一些重要的事情。Geoff 让我理解到了这一点。

Taylor:你认为机器学习成为众人瞩目的焦点是件好事吗?某些公司或其他合作者可能会拿着一个非常具体的应用项目来找你,这同样会分散你的注意力。

Bengio:我想每个人都需要找到自己的路,在某一领域研究透彻,成为专家并取得突破。因此,作为年轻的教员,如果想要做出一些实际应用,就应该专注于一个方向,并成为这个方向内最强大的人。

应用机器学习的一个风险,是它的应用方向很多。90 年代时我就曾接触了许多的应用方向。

Taylor:所以和现在一样多的应用方向吗?

Bengio:在 90 年代,神经网络和机器学习在企业界也有许多研究,加拿大学界鼓励与工业界合作,这能帮助实验室获得更多研究资金,非常有吸引力。我当时把一些合作的资金用于支持一些长期研究。这不是他们预想之内的,但学业界和企业界的合作间接地鼓励并推动了长期发基础研究。我们应该赋予长期的研究更大的价值,因为 AI 如今的惊人的进步都是这些长期研究带来的

我想再多说一下研究授权的事情。我开始时没有意识到,加拿大自然科学和工程研究委员会(NSERC)这样的组织,向他们申请课题经费的时候,他们其实并不太关心你是否按照自己之前描述的去做了,他们会希望你做好研究并能在之后汇报自己的成果。

在研究中,很难预测什么是热门的、会遇到什么问题。学会适应和调整是很重要的,NSERC 允许这样做(但与企业合作的、为了帮助企业的项目可能并不适用)。其实你不需要把自己做事的范围限定的太紧,只要你能让掏钱的人觉得满意就行。NSERC 的要求就只是做好科学、发布研究成果、维持灵活的研究路径。

Taylor:你管理实验室的方法是什么、有没有什么非常推荐的做法?你的实验室有那么多学生、设备和项目。

Bengio:请求别人的帮助。实验室发展的早期我不能给博士后很多工资。通常我会选择对实验室相对熟悉的博士后,他们不需要两年的时间来适应环境,而且还可以帮助管理团队。作为博士后,其实并没有学习过如何去管理团队或领导团队,但这种管理能力正是我们需要的。我发现很有意义的一件事,是去发现学生自身的领导力。我很乐意用实习生,实验室有许多来自其他地方的本科生或研究生,当然也有喜欢并擅长管理的博士生。有时候会有那么一个很会管理的;也有一些学生最终可以一个人指导好几个别的学生。我们不应低估年轻人的管理能力。

Taylor:现在给博士后的工作机会很多,招聘高质量的博士后会更加困难吗?

Bengio:是的,也不是。在这方面,我不认为我是一个好的榜样。

我通常会寻找有一定数学或物理背景并且涉足机器学习的人,这些人可以快速地学习机器学习,因此两到三年的博士后是很值得招募的。他们或许暂时无法进入 Google Brain 这样的地方工作,因为他们还没有证明自己在机器学习方面的能力。这里面有一些运气成分,不过对我来说还成功了好几次。

Taylor:你是如何说服博士后进入实验室而不去企业界工作的呢?

Bengio:来到机器学习实验室并参与到发表研究中,将大大提高他们对于工业界的价值,这对他们之后找到好工作、高薪资都是有帮助的。当然这因人而异,有些博士生毕业以后不需要做博士后就可以找到很好的工作了。所以更重要的因素可能是想不想发展自己的学术生涯,因为钱并不是人们唯一关心的事情。 对于这类博士生,做一个博士后当然是一件好事:了解学术界如何运作,参与管理角色等等。

基础研究实验室的工作和在企业的工作是差别很大的,在企业中,你会成为研究人员或是有大量开发工作的技术人员,而在实验室,你则有更多自由去做基础研究。企业界的具体职位有很多,但是博士后更喜欢的像实验室的那种工作很少。

Taylor:但进入企业界工作的博士生还是会继续增长,对吗?例如在 Google Brain,DeepMind,FAIR这类地方?

Bengio:是的,即使像 Element AI 这样的新公司也有类似的团队。

Taylor:就人数上来说,您认为实验室需要多大规模?

Bengio:这取决于教授,以及其管理团队的经验。我的实验室是从三个人开始的,现在我有一个很棒的团队。一下子是没办法做到这样的,所以我逐渐学会了如何管理更多人,建立基础设施和资金。实验室应该以自己的速度发展,有些教授不喜欢实验室太多人,这当然也可以。但其实当你有更多的学生,你可以生产更多的论文。但是,你花在每个学生上的时间会更少,所以对学生来说可能没那么有意义。

我实验室 15 年的大团队管理经验告诉我,促进学生之间的合作很重要。换句话说,不要将每个学生束缚在他们自己的项目中,而是让他们灵活地合作。另外,学生们与教授不是一对一的关系,应该将整个实验室的人组成一个大的网络

Taylor:所有人互相之间都有沟通。

Bengio:没错,这很管用。如果在工作中一个人只能依赖于某一个人的反馈,而对方又很忙没有时间,那他们会感觉很不舒服。但如果有十几个同事可以给予反馈,这会创造丰富得多的网络,方便大家沟通。

Taylor:通过哪些办法可以创建这种网络式的环境? 有一些措施可能比较具体,有一些就是微妙地改变实验室文化了吧。

Bengio:具体的措施比如,我会要求学生呆在实验室,而不是在家工作。我会给他们自由去选择项目,即使是其他教授的项目也可以,我会帮助他们接触到其他教授,让我们这个小组变得更大,让学生可以与其他教授讨论。我们也会定期组织活动,如阅读小组,研讨会和外部活动。

Taylor:我最近和一位在美国工作的朋友讨论了共同指导学生的问题,他认为几个导师之间的首要议题是讨论谁出多少钱。在加拿大好像并不是这样?

Bengio:在加拿大的实验室工作,和美国很大的一点不同,是这里的学生花费比美国低很多。资金还是挺重要的一个因素对吧,不过可能也和文化有关吧。其实相比于资金怎么分配,我更加考虑的是共同合作这件事本身,而且不一定有什么具体的成果要求。说到这里也和前面谈到过的授权以及合作方式有关系了,就是,我对家长包办的婚姻不是很有信心。换句话说,在共同指导以及合作的事情上,我们不会去搞一个共同指导协议之类的东西,而更多的是因为我们有共同的兴趣,经常交流,这时候共同指导和合作自然而然地就发生了。

希望我解释清楚了,这就像婚姻,是给了鼓励,然后看它会不会发生。如果是一场早已安排好的婚姻,最后的结局有可能是好的,但也更有可能会像是一个监狱,甲乙两个人被迫接受这种特定的关系、被迫在同一个项目里合作。但其实可能甲和丁的关系要处得好得多也有可能。例如,在实验室里,我们有这样一个概念—— 有一个资金池,你可以与任何你想要合作的的人合作,无论如何你都会得到资助。

Taylor:这是因为参与项目的主要研究人员们喜欢资金池的做法吗?

Bengio:我会将自己的研究资金组成共同的资金池。这并不是一种通用的方法,但通常对于有资深教授的实验室来说,这种做法会让学生更容易获得资金。在申请项目经费的时候我也会写明这一点。参与研究的人如果不受到资金的限制,就可以更享受、探索出更多的想法。

Taylor:对于新教授来说,考虑研究什么方向是很重要的,是做一个没有别的人做的全新的领域,还是做已经有别的学校成员、资深教授在做的,可以有充分合作的领域呢?

Bengio:是这样,只要你能和大部队相处得来,那么参与已有的研究领域要容易得多。因此,只要你能接受团队的风格,那么在实验室里,初级教员就可以轻松上手。他们不必受到资金的压力,他们可以提出自己的想法,与其他人一起合作指导学生,也很早就可以获得关于自己的研究的反馈

Taylor:我想谈谈关于招收学生的事情。最近正是深度学习的热潮来临,应该有很多学生申请实验室工作,和以前会很不一样吧。如果你对对方不是很有兴趣你会怎么办?学生们突然增加的这么多兴趣你又是如何应对的?

Bengio:首先,实验室不只是在进行研究,而是让它为人所知。做研究的人可以去参加研讨会和会议,可以去参观其他实验室,你不一定非要等别人邀请你。你可以大方地说,「嘿,我也在这一领域工作,可以与大家交流一下吗?」然后你会慢慢在界内为人所知。另外,如果你通过研究资助进行正式的合作,也会这样的网络效应。

这对实验室的招人来说是一个巨大的帮助,当然也有教学上的帮助。教学的另一作用就是是让学生了解你,特别是你的研究生或者是最后一年的本科生。你可以谈论你关心的事情,与他们建立联系。你可以慢慢发现学生的优点,并试着把它们引入到你的实验室里。

我的实验室里有来自本科生和其他地方的暑期实习生。通过这种方式,可以了解一个人是否具有研究潜力。这样做比面试一次就招募一个人要安全得多,毕竟留下来的人会与你一起共事五年。

我去年收到了 700 份简历申请,今年可能有 1000 个,而其实我需要招募的只有几十个,所以必须有条理,需要秘书去帮助整理。如果不这样的话,可能会淹没在上千份简历里,也没有办法亲自一一回复每一封邮件。

Taylor:我们要讨论的最后一件事是与企业界的合作。你怎么判断是否是合适的合作?

Bengio:没法立刻判断,都是几年后才能意识到。通常情况是双方的期望之间存在不匹配,与企业界的合作必须小心这一点,你需要明确告诉对方,学术界的人可以为他们做什么而不能做什么。重要的是让他们明白学术不是廉价劳动力,也不会产出产品,而是可以创造一些能改变商业模式的想法。企业需要明白,这只是投资的一部分。他们还需要让内部人员将算法和原型转变为产品,否则合作注定要失败。说实话很多人不愿意听到这些,因为这意味着企业要花更多的钱。但是这些话不得不说。

Taylor:您是否曾经放弃过与公司的合作?

Bengio:不会。一般会发生的事情是,双方合作过之后都同意续签合作合同不是很有价值了,就终止了。

Taylor:通常合作都会有固定的时间?

Bengio:是的,这些合同通常是一年,两年或三年。

Taylor:最后您还有什么想要分享的内容吗?

Bengio:倾听你的直觉。许多人缺乏自信,因此他们错过了机会。作为研究人员,我们的主要工作是提供有意义的想法来推动知识进步。这些想法隐藏在我们大脑某个地方,我们需要培养一种能力,让这些想法能够发展成熟并发布出来,因此你需要有足够的时间来思考,而不是一直编程,写作甚至阅读。多考虑一下那些让你烦恼的大问题。

Taylor:谢谢 Bengio。您说的很多东西都是我在工作几年后才明白的经验教训。但是对于有人来说,在第一年或第二年看到这些是非常有价值的。正如您前面提到过的,读博士的目标并不仅仅是管好一个实验室而已。

via www.cifar.ca,AI 科技评论编译


来源:CAAI-1981 中国人工智能学会

原文链接:https://mp.weixin.qq.com/s/w1Af282BN4AkvYJULBJfyw

版权声明:除非特别注明,本站所载内容来源于互联网、微信公众号等公开渠道,不代表本站观点,仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有,如有侵权,请联系删除。

电话:(010)86409582

邮箱:kejie@scimall.org.cn

相关推荐 换一换

  • 张刚
    0
    ?
没有更多了