“所想即所见”,解码大脑信号再现视觉图像

科技工作者之家  |   2023-05-04 10:29

人工神经网络模型能准确捕捉大脑动态。

图片来源:瑞士洛桑联邦理工学院

是否有可能仅根据大脑信号,就完全重建某人所看到的内容?瑞士洛桑联邦理工学院研究人员朝着这个方向迈出了重要的一步,他们引入了一种新算法构建的人工神经网络模型,能以令人印象深刻的准确度捕捉大脑动态。该研究发表在最新一期《自然》杂志上。

这种新颖的机器学习算法CEBRA植根于数学,可学习神经代码中的隐藏结构。研究人员利用新算法进行了演示。一只老鼠正在观看1960年代的黑白电影片段,其中一名男子跑向一辆打开后备箱的汽车;在另一个屏幕上,人们可看到由CEBRA计算出的电影重建画面,新构建的电影几乎与原版完全吻合,但有一些轻微的怪异扭曲。

CEBRA从原始神经数据中学到的信息可在解码训练后进行测试。团队已证明他们可从模型中解码老鼠在看电影时所看到的东西。但CEBRA不仅限于视觉皮层神经元,甚至大脑数据,它还可用来预测灵长类动物手臂的运动,并重建老鼠在竞技场上自由奔跑时的位置。

用于视频解码的数据由艾伦脑研所提供,大脑信号是通过插入小鼠大脑视觉皮层区域的电极探针,直接测量大脑活动而获得,这些探针被设计成使激活的神经元发出绿光。在训练期间,CEBRA学习将大脑活动映射到特定帧。在以视觉皮层中不到1%的神经元进行测试时,CEBRA表现良好。

CEBRA基于对比学习技术,这是一种学习如何将高维数据排列或嵌入到低维空间的技术。与其他算法相比,CEBRA在重建合成数据方面表现出色,这对于比较算法至关重要。它的优势还在于它能够跨模式组合数据,例如电影功能和大脑数据,并且它有助于限制细微差别,例如由数据收集方式带来的数据变化。

总编辑圈点

CEBRA是揭示复杂结构的“专家”。鉴于大脑就是最复杂的结构,这也可看作是CEBRA的终极测试空间。这一研究将帮助人们深入了解大脑处理信息的过程,成为人类发现神经科学新原理的平台。而该算法的实际意义还不仅限于此,它还能应用于许多涉及时间或联合信息的数据集,包括动物行为、基因表达数据,以及进一步为人们提供高性能脑机接口所需的理论支持。

科技日报记者 张梦然

  • 杨东辉
    0
    人生短短百年,以苦为乐也好,大富大贵也好,冷暖自知,自品自尝。
  • 王淼
    0
    阳光的酒调得很淡,却很醇,浅浅地斟在每一个杯形的小野花里。
  • 吴咏芳
    0
    科情在线是一个很好的平台,让我增长了很多见识也增长了很多知识!
  • 王标
    0
    科技工作者之家是很好的学习平台,让我们学习丰富的知识!
  • 李兰
    0
    科界这个平台很好!是我们学习的好平台,不忘初心牢记使命。
  • 陈小荣
    0
    科学技术是第一生产力生产力,大力发展科技
  • 祝秀荣
    0
    科情在线是一个很好的平台,让我增长了很多见识也增长了很多知识!
  • 阎红菊
    0
       想让日子过得丰富精彩,就要保持积极进取的心态。
  • 阎红菊
    0
       想让日子过得丰富精彩,就要保持积极进取的心态。
  • 杨忠
    0
    祖国繁荣昌盛富强民主文明和谐。
加载更多