“幂律与临界”支配神经网络，深度学习技术要向大脑学习

来源：集智俱乐部

最新的研究表明，神经活动的模式细节丰富且维度很高，它们并不会产生分形，还能保持光滑。

导语

近年来，怎样让深度学习的系统借鉴大脑的编码机制成为了一个热点问题。最近，研究人员从大脑的视觉神经网络中发现了令人惊讶的临界现象和幂律，这一发现对于深度学习系统的设计和稳定性分析都有重要的启发。

近期发表在quantamagazine上的《A Power Law Keeps the Brain’s Perceptions Balanced》上的一篇文章提出了大脑的认知平衡与幂律法则的关系。此文是针对这篇文章的编译，供读者参考。

大脑的认知平衡由幂律来守护！

我们可以用临界点来刻画人类的大脑活动：高活跃度还是低活跃度；密集网络还是稀疏网络；有序还是无序，这些不同状态之间的分界线就是临界点。现在，通过分析有史以来最大数目的神经元的放电模式，研究者发现了另外一个临界点——这个临界点表现在神经编码中——传入大脑的感觉信息和信息的脑神经表征之间的数学关系。他们的研究结果发表在了今年6月的《Nature》杂志上。

论文题目：

High-dimensional geometry of population responses in visual cortex

论文地址：

https://www.nature.com/articles/s41586-019-1346-5

研究表明，大脑在尽可能多地处理信息和灵活地降噪之间达成了某种平衡。这让人类的大脑可以优先处理刺激信号中最显著的部分，而不是没完没了地区分别细枝末节。人脑的这种工作方式，为人工智能系统的设计提供了新思路。

科学家们最初的工作并不是为了发现这种平衡行为。一开始，他们只是在研究一个简单的课题：视觉皮层到底是用不同的模式表示不同的刺激，还是重复使用相同的模式？研究者将后一种情况称之为低维度神经活动，在这种情况下，神经编码的相关词汇匮乏，但是也能应对细微的噪音传入。就好比一个一维的编码，接受到了一个刺激信号只能表示“好”还是“坏”。单个神经元的放电量可能会随着输入而变化，但多个神经元彼此之间是高度相关的，他们的放电模式总是一起增加或减少，即便存在个别误差，但刺激信号仍然可以被正确识别。 

另一个极端情况则是高维度神经活动，此时，神经活动相互之间的相关性要低得多。因为信息可以由多个维度来刻画描述，而不是仅仅使用“好-坏”这一个轴，所以，神经系统可以编码更多的刺激信息。这样做的缺点就是系统缺乏冗余信息，大脑无法从单一的神经信息中推测出整体状态。这会使得系统更容易被淘汰。 

在过去的几十年中，研究普遍显示，神经系统倾向于低维表示。尽管自然界包含着极为丰富的信息，但是我们的大脑却偏好于丢弃大量信息，并使用简单的神经信号描述信息。但是，后来的研究表明：这个结论是可以归结为实验本身的缺陷。被试动物只受到非常少量的、或者非常简单的刺激。而且，研究者一次也只能记录有限数量的神经元信息。

论文题目：

A theory of multineuronal dimensionality, dynamics and measurement

论文地址：

https://www.biorxiv.org/content/10.1101/214262v2

用伦敦大学学院的神经科学家 Kenneth Harris 的话说：“这种实验肯定会得出这样的结论，不然还能怎么样呢？”

伦敦大学学院的神经科学家 Kenneth Harris 和他们同事们通过检测被试动物的 10,000 个神经元。以此来研究视觉刺激的高维度神经活动。 

因此，Harris和他的同事们发明了能同时记录一万个神经元的新技术后，重新开始研究这一课题。他们让小鼠观看了近 3000 幅自然图片，同时检测动物视觉皮层的反应，发现了与高维度的神经活动相适应的一系列模式。

但研究者们也发现了一些与神经活动相关的谜团。神经元并没有对所有的维度都一视同仁：少数维度（或者说放电模式）已经涵盖了绝大多数刺激带来的视觉神经反应，增加其它的维度只是以越来越小的增量进一步提高预测能力。这种递减的模式服从幂律分布，慕尼黑技术大学的计算神经学家 Jakob Macke （并未参与此项研究）表示：“幂律分布非常普遍，只要你去找，几乎在任何地方都可以找到它。”

Harris 和他的同事们对这一现象背后的含义仍然感到困惑。尽管近期的研究对幂律法则的相关性以及普遍性提出了质疑。比如 Harris 就开玩笑说：“你会发现特朗普的推文的感叹号数目的分布也服从幂律分布。”这个规律还是比较特别的。幂律曲线有一个特定的斜率，这个斜率所代表的指数无法用外界刺激的数学规律来解释。