《Nature Neuroscience 》神经网络中类脑功能特化的自发出现

　　人类大脑有独特的、高度专业化的功能区域，用于理解语言、识别人脸和提前计划。然而，神经科学家仍然必须破译观察到的高度功能专门化。

　　

单任务训练的CNN具有明显的人脸和物体表征，而双任务训练的CNN表现良好。(A)三个具有VGG16架构的网络(左)被优化，一个是脸部身份分类网络(Face CNN为红色)，一个是物体分类网络(Object CNN为橙色)，一个是同时进行两个任务的网络(双任务CNN为灰色)。(B)使用从Face CNN和Object CNN的倒数第二层[即(A)中的FC2]提取的激活模式，解码被屏蔽的人脸身份和被屏蔽的对象类别的准确性。Face CNN在人脸解码方面优于Object CNN，反之亦然。因此，为每个任务优化的表示并不自然地支持其他任务。灰色虚线表示几率等级(1%)。误差条显示扫描电镜跨越分类褶皱。(C)双任务CNN在两个任务执行和单独的网络上优化，错误条表示跨类和刺激引导的95%置信区间(CI)。

人类的大脑有独特且高度专业化的功能区域来理解语言、识别人脸和提前计划。然而，神经科学家还必须解释在皮质中观察到的高度的功能专门化。在最近发表在《Science Advances》杂志上的一项新研究中，Katharina Dobs和一组来自麻省理工学院大脑与认知科学系和美国纽约哥伦比亚大学祖克曼大脑与行为研究所的科学家，利用人工神经网络对人脸感知进行研究，以验证大脑中人脸识别的功能分离反映了视觉人脸识别更广泛应用的计算优化这一假设。该团队展示了功能性视觉分离是如何揭示了在机器中创造功能专门化的优化的普遍趋势，并进一步研究了这一现象相对于大脑的复杂性。

功能专业化

几个世纪以来，大脑功能定位的观点一直饱受争议，但现在它得到了压倒性证据的支持。在特定的感知或认知任务中，大脑皮层的某些区域会被选择性地激活，一旦被破坏，就会产生选择性损伤。神经科学家越来越希望了解大脑为什么会表现出这种程度的功能特殊化。可能的情况包括一个偶然的进化，以轻松地添加模块和解决新问题。研究人员还强调了通过功能专门化选择性调节心理过程。第三种可能是计算上的原因，使得我们能够完成一些相对通用的机器无法完成的任务。在这项工作中，Dobs等人测试了第三个假设，以理解大脑中相对于面部视觉识别的功能专门化的最佳案例之一。该团队采用了先进的深度卷积神经网络(CNN)，在一些视觉识别任务上实现了人类水平的性能。基于对对象训练和人脸训练网络在人脸和对象识别方面的广泛研究，Dobs等人揭示了网络中任务分离的一般趋势，打开了研究特定结构的大门，并通过训练饮食来检测将在网络中分离的任务，假设在大脑中也是如此。

 

               

最后一个卷积层的损伤实验揭示了自发的任务分离。(A) VGG16最后一个卷积层病变实验示意图(见图1A中的“Conv13”)。在测量脸部(顶部)和物体(底部)图像的损失时，图层中的每个滤镜都被烧蚀。滤镜根据其相应的损失进行排序，以确定哪些对人脸识别(红色)或物体识别(橙色)贡献最大。(B)在最后一个卷积层中，对人脸任务(顶部)和目标任务(底部)排名最高的20%的过滤器进行损伤后，人脸和目标任务的标准化性能。

仅针对物体训练的网络在人脸识别方面表现不佳            

为了测试经过物体训练的CNN是否提供人脸识别服务，反之亦然，Dobs等人训练了两个随机初始化的VGG16网络，这是由牛津大学的A. Zisserman和K. Simoyan最初提出的，用于人脸识别和物体分类。正如预期的那样，研究小组从经过人脸训练的网络中解码了不熟悉的人脸身份，从经过物体训练的网络中解码了不熟悉的物体。他们注意到，经过物体训练的网络在人脸识别方面的表现明显不如经过物体训练的网络，反之亦然。这表明，为某一特定任务而学习的表征并不容易转化为另一项任务。就像大脑一样，每项任务似乎都受益于特定任务的特殊表征。

               

中等加工阶段面孔和客体任务的自发分离。(A)任务分离，作为面部和对象任务性能成比例下降的差异的综合指标，当20%最高贡献的过滤器在每个卷积层下降。任务分离在第一层卷积层之后增加，最大指数为0.75。阴影区域表示95%的ci引导跨越类和刺激。(B)在卷积层5、9和13(行)中，人脸(左)和物体(右)任务的前10个过滤器中，有3个示例过滤器优化了驱动响应的图像。接受域的大小增加，功能变得更具体的任务在后面的层。

形成双重训练的网络

为了克服局限性，Dobs等人质疑，训练一个网络同时执行两项任务，是否会发现人脸和物体的共同高性能特征空间。为了解决这个问题，他们训练了一个新的人脸识别和物体分类网络。双任务网络出人意料地在每项任务上都表现得几乎一样好，表明双任务网络具有共同的特征空间，这与高任务绩效的功能专用性假说相矛盾。另一种可能性是，该网络学会了将自己分离成面孔和物体识别，尽管该团队没有在网络架构中构建任何东西来促进这一点。为了验证这种可能性，他们进行了一系列的实验，结果表明，尽管没有针对特定任务的归纳偏见来鼓励结果，但在人脸和物体识别方面，网络会自发地分离成不同的子系统。

               

受过双重训练的CNN与行为最相关。从面部CNN(红色)、物体CNN(黄色)和双任务CNN(灰色)的激活模式中获得的面部(左侧，n = 14)或物体(右侧，n = 15)刺激的行为RDMs与相应刺激的层特异性RDMs之间的相关性。带颜色阴影的区域表示参与者靠自身力量的SEM。灰色阴影的水平条表示基于参与者差异的估计噪声上限。

不同层次的任务隔离增加，比如大脑

Dobs等人接着确定任务隔离是否建立在网络的各个层上。在灵长类动物的大脑中，通常的类别在处理的早期阶段(视网膜等)被处理以共享一组初始的共同特征，然后分支到特定类别的路径(脸、身体等)。该团队试图理解这种与双训练CNN(卷积神经网络)的相似之处，并发现任务隔离在早期层中很小，而随着后期层的增加而增加。结果显示，在网络加工的中间阶段，对面孔和物体的加工逐渐分化，在后期阶段变得高度分离，就像在灵长类大脑中观察到的那些特征一样。对这些特征的进一步研究突出了处理层次。结果表明，观察到的高度功能分离不是由数据集偏差引起的，而是由每个任务不同的中高水平视觉特征驱动的。

 

               

自发分离到不同程度的食物或汽车识别。(A)除了人脸和物体的双任务模型(红色)，我们训练了一个食物(绿色)和物体分类的双任务模型，另一个汽车(蓝色)和物体分类的双任务模型。(B)任务隔离是通过在每个卷积层中损伤对人脸、食物和汽车(分别)和物体贡献最大的过滤器来测量的。所有任务都存在不同程度的任务隔离。汽车和物体的任务隔离增加的较晚，但程度要低于食物或面孔和物体。            

功能隔离的网络和不同的功能隔离            

这项研究反映了人类视觉系统的功能专门化，尽管目前还不清楚具有习得特征的物种是否能表现出与人类视觉系统类似的表现。为了检验这一点，Dobs等人进行了两个行为实验来测量面部和物体刺激的相似性。对于每一项任务，该团队将每个参与者的行为表征不同矩阵与每一层经过人脸训练、对象训练和双任务训练的卷积神经网络相关联。双任务网络捕获了人脸和任务中的人类行为，以显示学习解决方案是如何执行类似于人类视觉系统的任务的，并探索了其他视觉类别的这种设置。这一结果表明，尽管在复杂的神经网络中也可以发现大脑中的功能分离，但大脑并不完全像神经网络的细微差别。

前景

通过这种方式，Katharina Dobs和同事们全面研究了大脑组织的功能特化，以验证大脑的特化可能源于对多种自然任务的优化的假设。他们预测，截然不同的计算系统可能会得出相似的解决方案，并在卷积神经网络(CNN)中验证了这一假设，以理解大脑-面孔识别中功能专业化的最成熟案例之一。有趣的是，研究结果强调了大脑为什么会以这种方式组织。结果表明，功能分离是解决多个任务的自然结果。在这项工作中发展起来的方法将使科学家们能够验证这些假设和进一步的想法。

Guangyu Robert Yang et al, Task representations in neural networks trained to perform many cognitive tasks, Nature Neuroscience (2019). DOI: 10.1038/s41593-018-0310-2