DNN与人脑视觉处理在时空间上都具有层级结构的相似性

 

在视觉功能解析研究上,已有很多文章说明了DNN(深度神经网络)与人脑视觉处理机制有层级结构上的相似性,但大...



在视觉功能解析研究上,已有很多文章说明了DNN(深度神经网络)与人脑视觉处理机制有层级结构上的相似性,但大多都是在空间上说明DNN各层与初高级视觉区的对应关系。最近麻省理工大学的Radoslaw等人又使用MEG和fMRI在时间和空间上共同证明了这种层级结构。

他们首先训练了一个针对683类图片识别的DNN网络,每类的图像在1300张左右,又选择了118张图片(每类一张)构造了一个测试集。然后他们让15名健康被试观看这118张图片,分别使用MEG和fMRI对其脑神经活动进行观测记录,使用RSA(Representationalsimilarity analysis,表现形式相似性分析)方法对MEG和fMRI数据进行分析,并与DNN进行比较(如图1)。

图1 基于RSA的MEG、fMRI和DNN图像类别语义理解比较分析
图2 时间上图像表达理解在DNN中与人脑(通过MEG反映)中的对应关系
图3空间上图像表达理解在DNN中与人脑(通过fMRI反映)中的对应关系 
通过DNN与MEG数据的比较分析,研究人员发现了DNN的低层到高层和人脑视觉信号处理的先后顺序有对应关系(如图2),而DNN与fMRI数据的比较分析表明,DNN由低层到高层与视觉初级区到高级区也有类似的对应关系(如图3)。

近几年深度学习的发展已经使得人工智能领域取得了突飞猛进的发展,但其底层机制还不是特别清楚。而通过在视觉功能解析方面与神经科学的结合研究,则有望同时对DNN的底层机制和人脑视觉理解机制两方面都更进一步的了解。路漫漫其修远兮,吾将上下而求索。

参考文献

[1]CichyRM, Khosla A, Pantazis D, et al. Comparison of deep neural networks tospatio-temporal cortical dynamics of human visual object recognition revealshierarchical correspondence [J]. Scientific reports, 2016,6.


    关注 脑功能解析与脑机交互


微信扫一扫关注公众号

0 个评论

要回复文章请先登录注册