自动化所通过结构化神经信息解码技术重建自然及人脸图像

内容来源：中国科学院

近日，中国科学院自动化研究所类脑智能研究中心神经计算与脑机交互团队的研究人员提出一种结构化神经解码模型，实现根据脑活动模式，进行自然图像、人脸等复杂视觉刺激的高质量重建。相关研究成果发表在IEEE Transactions on Neural Networks and Learning Systems上。 

长期以来，哲学家和科学家试图揣测、观察、理解和破译大脑的运作方式，以使人们能够感知和探索自然世界。其中，作为人类感知世界重要的信息通道，人脑视觉系统的加工机制获得研究人员的关注。较多研究尝试利用神经信息编解码方法，即通过构建外部刺激与神经活动间的定量关系，揭示大脑视觉信息加工的机制。前期，研究人员提出一种基于贝叶斯深度学习的视觉神经信息解码方法（TNNLS 2018），并且能够根据记录到的脑活动信号，重建被试感知到的简单视觉刺激内容（如手写数字、字母等图案）。然而，复杂的自然视觉刺激重建是难题。针对该问题，研究人员提出结构化神经信息解码方法。该方法通过多任务特征解码的方式，揭示出多个典型计算机视觉模型（如VGG、ResNet）与人脑腹侧视觉通路在层次化特征表达方面的联系。通过利用这种层次化特征与人脑视觉皮层信号表达间的关系，新方法能够根据采集到的少量人脑fMRI数据，重建出被试感知到的复杂自然图像和人脸刺激内容。该研究为理解大脑解码过程提供新视角，促进非侵入式脑-机接口技术的进步。神经信息编解码是脑机接口领域的核心研究问题，也是探索人脑复杂功能背后的原理从而促进类脑智能发展的有效途径。 

博士杜长德为论文第一作者，研究员何晖光为论文通讯作者。为促进该领域的持续发展，研究人员已将项目代码及新采集的脑活动数据集开源。研究工作得到国家基金委重点项目、中科院战略性先导科技专项等的支持。 

多任务结构化视觉神经信息编解码框架包含Voxel2Unit和Unit2Pixel两个阶段