【CSIG挑战赛】分赛道季军队伍专访!来自北京科技大学自动化学院和中国科学院自动化研究所的学霸们的备战故事!

中国图象图形学学会  |   2020-06-27 23:29

来源:中国图象图形学学会CSIG

比赛回顾

由中国图象图形学学会(CSIG)主办,马达智数(maadaa)和英伟达初创加速计划(NVIDIA Inception Program)联合承办于4月下旬至6月中旬进行的“基于短视频的人脸解析比赛”,受到了多方关注。


本次竞赛成果丰富,促进了业内人士和研究者的学术交流,推动了我国图形图像技术的发展。共吸引到全球121支队伍报名参加,其中30支队伍进入决赛,最终决出冠亚季军,参NCIG2020会议期间举办的CSIG图像图形技术挑战赛总决赛,参与总冠军的角逐。



AI竞赛,给许多业内工作者和高校学生提供了一个证明实力、磨练技能的机会。


人脸解析是一种以人脸为中心的分析,广泛应用于虚拟现实(VR)、视频监控、娱乐社交、人脸表情分析等。它是指将在图像中捕获的人脸分割成多个语义上一致的区域,例如眼睛、嘴巴等。作为一种细粒度的语义分割任务,它比寻找人脸轮廓以及人脸关键点更具挑战性。 


您是否好奇如何在比赛中脱颖而出、拿到奖金?大神们有哪些独门秘籍?


今天马达智数小助手采访到季军队伍“1324A”的学霸,他们分别来自北京科技大学自动化学院和中国科学院自动化研究所,为您揭秘人脸解析和AI竞赛背后的故事!



采访视频





Hanna:Hello,大家好,我是马达智数的Hanna,我负责本次的采访工作,大家好,欢迎1324A团队的各位同学们!


赵义凯:大家好

郑洋:你好

何兴建:你好



Hanna:这次“基于短视频的人脸解析比赛“,一共有100多支队伍参赛,大家从其中脱颖而出,获得第3名,真的是非常优秀的成绩啊,大家为自己鼓鼓掌。


(鼓掌)



Hanna:谢谢大家抽出宝贵的时间接受我们的采访,和我们分享比赛的心得和经验。首先,请大家自我介绍一下,让我们对你们有更深的了解。


赵义凯:我叫赵义凯,现在是北京科技大学自动化学院的一名研二的学生,我的研究方向主要是基于深度学习的图像与视频的语义分割,以及深度网络模型的模型压缩。


郑洋:你好,我叫郑洋。我现在也是北京科技大学自动化学院的一名研二的学生,我主要的研究方向是目标的检测和多目标的跟踪。


何兴建:你好,我叫何兴建。我现在是中科院自动化研究所博士二年级在读。目前的主要研究方向是图像的语义分割,实例分割以及检测等任务。



1. Hanna:好的,谢谢。我知道你们有两位同学来自北京科技大学,有一位来自中科院,请问你们是怎么找到对方,组成这个团队的呢?


赵义凯:这个就说来话长了。因为我大四的时候保研了本校,找到了我现在的学校的一个研究生导师,李江昀导师,当时我们实验室刚刚开始投入AI领域,我们实验室(在AI领域)不是“科班出身”,我们实验室在AI领域积累不是很多,然后当时大四保研后的时候,我的导师决定派我和另外一个同学去自动化所的刘静老师——也就是何兴建的导师——那里,进行一些学习,学习一些比较先进的知识,之后可以回到我们实验室进行一些经验分享,推动整个实验室发展。何兴建是我在自动化所的师兄。郑洋是我六年的室友和同学,然后我们就组成了一个队伍。



2. Hanna:好的。你说到你的实验室曾经不是做AI,那之前是做什么的呢?


赵义凯:我们实验室其实是工业出身的,我们的老师做了很多工业上的一些项目,比如说和一些钢厂有很多的合作。大概在5年之前,AI也在刚刚兴起,没有像现在这么火爆。当时我的老师,很明智地预见了现在这样一个AI的浪潮,所以我们实验室当时开始转型做深度学习。现在我们实验室已经开始将AI算法与工业的一些实际项目进行结合,比如说,钢板的表面缺陷检测,皮带跑偏检测,煤堆体积估计。以及我们实验室去年和北京一家叫天行远景的公司合作了一个无人超市的项目



3. Hanna:请问你们是怎么了解到我们这次的比赛的呢?为什么想参加这个比赛?


郑洋:这个问题我回答一下。实际上这个比赛是我先发起的,因为当时是我的导师付冬梅老师,她在课题组的微信群里面发布了一个这个比赛的信息。然后当时我就比较感兴趣,后来我就也联系到了我现在队友。然后我们一起讨论了一下,首先感觉大家的研究方向就是比较切合。然后大家也有着与分割方面的经验。然后就是想通过这次比赛,检验一下自己平时的研究成果。然后另一方面就是也有很多高校、或者一些公司团体也参加了比赛,我们想在实际中跟这些队伍再切磋一下。挑战一下自我。



4. Hanna:你们挑战自我,然后也取得了很好的成绩,说明你们实力真的很强。你们觉得你们团队获得第三名,有什么获胜的秘诀呢?比如说在模型搭建和数据处理方面有什么技巧吗?


赵义凯:我们团队最终能够获得这样的一个成绩,最主要其实是我们比较脚踏实地。针对这次比赛,或者说针对提供的数据去做这样的人脸解析,(为了完成)这样的一个任务,我们队伍从数据处理、模型搭建、模型训练,还有参数调整、以及最终的模型测试,就是在这些方面我们都做了很多的尝试,都是有我们自己的一个理解在里面。而不是说仅仅就是拿出一些现有的一些理论,直接把它套上去,我们是结合了过去自己的很多经验的。具体的方法的话,我们决赛的时候做PPT会给大家再具体的汇报一下。



5. Hanna:好的,可以问一下你们是从什么时间开始着手准备比赛?每天花了多长时间准备比赛?


赵义凯:我们报名的时候大概应该是五月初了。咱们这个比赛应该是四月末,四月二十几号(开始)的。我们五月初才确认下来说要参加这个比赛。至于我们每天花多长时间,可能前期投入的会比较多一点。因为我们需要做很多调研,以及这种代码上的、以及模型上的一些搭建,对吧,所以我们就是可能会耗费的(时间)相对来说比较多一点。那后期的话其实基本上就是在我们前期的已经商量出来的一些对策上面,然后去做一些更多的一些尝试。其实很多时间还是用GPU去跑模型。然后一般的话,根据这种模型结果,针对具体的问题,然后再去做具体的优化。



6. Hanna:好的,谢谢。你们通过这次比赛就有什么心得和收获呢?然后这对你们未来的一些研究和工作嗯有哪方面的帮助呢?


何兴建:(通过)这次比赛,我们能够更好的了解工业界的一些需求。在以后工作中,我们可以继续沿着这些需求,然后深入挖掘一下哪方面是值得深耕的,哪方面是可能现在已经饱和了,不需要做了。对我们科研有一个指导性的作用。



7. Hanna:可以具体说一下吗?你发现哪方面还值得深耕。


何兴建:比如说人脸解析、短视频这一块,可能就是现在工业需求比较大、比较旺盛的(领域),现在做人又比较少。以后由于这个比赛,更多人知道这个相关的任务以后,做的人就会越来越多,起来,算法也越来越好。



8. Hanna:谢谢。你们对AI的学习,还有数据标注有什么建议可以给其他学习AI和数据标注的人吗? 


何兴建:我觉得现在的AI模型大部分都是数据驱动的。但是数据的数量和质量跟模型的表现具有较大的影响。所以说数据标注是一个很繁琐的过程。比如说标注图像分割的数据集,标注一幅图像可能需要十几分钟、几十分钟甚至一个小时的时间。所以数据标注实际上是一个劳动密集型的任务。但是随着人工智能的发展,我觉得这个任务应该从劳动密集型转向为一个劳动密集和技术密集结合的一个任务。也就是说做好人机结合。人机里面机器也就是指现在AI模型,AI模型可以简单的进行一些初标注,人工再进行确认和细调。


上面我谈到的主要是一个比较简单的人机结合的方法。我觉得比较理想的是,不单单是人机结合,而是人机交互的方式。还是用分割来举例子。标注一个分割的数据集是比较繁琐的,那我们人机交互的话,就可以技术员先用鼠标点击一个位置,然后AI模型就可以根据这个位置,直接标注出一片区域。那技术人员通过不断的点击几个点就可以标注完一整幅图像。那这样就大大减少了技术人员的工作量。所以我觉得,未来还是要逐步过度到这样一个由AI来主导,由人工来辅助的这么一个工作(模式)。



9. Hanna:谢谢你对数据标注的看法。我还想请你们谈一下你们未来的职业规划,你们未来想从事哪个行业呢?AI在你们想从事的行业中又扮演了什么样的角色?


何兴建:那我先说一下吧。关于未来发展我觉得,因为我们已经在这个领域做了很多年了,我还是想在AI这个方面(继续)。我现在和我们团队主要在做的是图像视频的分析和理解。所以我以后的话还是要从事图像视频理解这方面的相关的研究工作。它的前景我觉得还是比较大的。因为之前流行过一个词叫“互联网+”。现在更流行的是“AI+”,比如说“AI+教育”、“AI+农业”、“AI+安防”等等领域中,图像和视频都发挥非常重要的作用。所以以后我还是继续沿着这条路深耕。


郑洋:未来的话,我还是会在计算机视觉领域再深入研究。因为当前我的研究方向主要是视频多目标的检测和跟踪。比如在无人驾驶等领域,它们也有很广泛的应用。因为在无人驾驶中,对场景中的一些行人、车辆的检测和跟踪,判断它的具体的位置和轨迹,然后汽车做出相应的运动方向的判断。我希望在以后能把自己现在研究的方向落实到具体的应用中。


赵义凯:我未来应该也是继续在AI方向上进行发展。因为我现在主要的方向是图像与视频的理解。尤其是在图像与视频的语义分割上面。希望以后研究能够更加深入一些。(我)在这个方向上已经研究几年了,也能够继续研究。这个方向的应用是十分广泛的。现在也有很多待解决的问题。(AI)应用可以举几个例子。比如说咱们这次比赛的人脸解析,再大一点就是人体解析,分人体部位的。在无人驾驶、遥感(等方面),它们都有很广泛的应用。最近非常火的一个方向,就是医疗,通过图像分割的方法,比如说给X光片进行生病区域的分割。这现在确实是非常火的一个方向。



Hanna:好,谢谢。听了你们的分享,我也了解到AI发展非常迅速,应用的前景也非常广阔。我也希望你们的研究将来会推动中国的AI事业发展越来越好。谢谢各位今天的分享,我也感觉学到了很多知识。我相信把这些知识通过我们的公众号,分享给更多的读者,他们也一定会受益匪浅的。那今天的采访就到这里,谢谢!


来源:马达智数


快来观看NCIG2020线上直播,强势围观分赛道季军队伍角逐首届CSIG图像图形技术挑战赛总冠军!

直播时间6月30日 10:15-12:15观看地址



NCIG 2020

第二十届全国图象图形学学术会议(NCIG2020)将于6月28日-30日在线上举办,本届会议主题为“图像图形智能处理”,邀请了北京大学高文院士、浙江大学潘云鹤院士、清华大学胡事民教授和依图科技颜水成博士作大会特邀报告。会议汇聚国内图像图形及相关领域领军人才,聚焦领域热点问题,多角度全方位洞见未来发展趋势,数十位讲者共同带来一场精彩绝伦的学术盛宴,NCIG2020,邀您免费观看!戳这里→NCIG嘉宾总览戳这里→NCIG日程总览会议官网http://ncig2020.csig.org.cn





来源:CSIG1990 中国图象图形学学会CSIG

原文链接:https://mp.weixin.qq.com/s?__biz=MzUxMDE4MzAzOA==&mid=2247489055&idx=4&sn=feb33607e85af3e09edc7f2ccb21dcf9&chksm=f907850ece700c182765211d93afe1365f39bb766a3a01959f6b76311b6deb6ba8b563680722#rd

版权声明:除非特别注明,本站所载内容来源于互联网、微信公众号等公开渠道,不代表本站观点,仅供参考、交流、公益传播之目的。转载的稿件版权归原作者或机构所有,如有侵权,请联系删除。

电话:(010)86409582

邮箱:kejie@scimall.org.cn

相关推荐 换一换