Correspondence between the Video-Learning Deep Neural Networks and EEG Brain Activity during Naturalistic Video Viewing
Correspondence between the Video-Learning Deep Neural Networks and EEG Brain Activity during Naturalistic Video Viewing
复制标题
自然视频观看过程中视频学习深度神经网络与脑电图大脑活动的对应关系
DOI：
10.1109/iciibms55689.2022.9971704
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Jun Kaneko
中科院分区：
文献类型：
--
作者：
Hiroki Kurashige;Jun Kaneko
最近的研究结果表明，大脑活动的反应和深度神经网络（DNN）对感觉输入的反应对应良好。这种对应关系有望使DNN能够用作大脑模拟器。然而，之前的研究主要是通过使用时间分辨率较低的功能性磁共振成像来测量响应静态图像的大脑活动来进行的。在这项研究中，我们使用时间分辨率为毫秒级的脑电图（EEG）检查了人类大脑对自然主义视频的反应。因此，我们使用了在自监督学习框架下预训练的视频处理DNN模型。记录视频和短片呈现的EEG响应的功率谱密度都可以从DNN对相同视频输入的响应中预测。预测性能取决于频率带宽，并且对于高频大脑活动（即，β和γ波段动力学）。
Recent findings have suggested that the responses of brain activity and those of deep neural networks (DNNs) to sensory inputs correspond well. Such correspondence is expected to enable the use of DNNs as brain simulators. However, previous studies have been conducted mainly by measuring brain activity responding to static images using functional magnetic resonance imaging, which has a low temporal resolution. In this study, we examined human brain responses to naturalistic videos using electroencephalography (EEG) with time resolution on the order of milliseconds. Therefore, we used a video processing DNN model pre-trained under a self-supervised learning framework. The power spectral density of EEG responses to the presentation of documentary videos and short clips were both predictable from the responses of the DNN to the same video inputs. The prediction performance depended on the frequency bandwidth and was particularly accurate for high-frequency brain activity (i.e., beta- and gamma-band dynamics).
登录
查看更多内容
影响因子：
19.9
作者：
Herweg NA;Solomon EA;Kahana MJ
通讯作者：
Kahana MJ
DOI：
10.1073/pnas.120162397
发表时间：
2000-06-20
影响因子：
11.1
作者：
Haenschel, C;Baldeweg, T;Gruzelier, J
通讯作者：
Gruzelier, J
影响因子：
5.7
作者：
Sander, Myriam C.;Werkle-Bergner, Markus;Lindenberger, Ulman
通讯作者：
Lindenberger, Ulman
影响因子：
25
作者：
Walker, Edgar Y.;Sinz, Fabian H.;Tolias, Andreas S.
通讯作者：
Tolias, Andreas S.
影响因子：
16.2
作者：
Kell, Alexander J. E.;Yamins, Daniel L. K.;McDermott, Josh H.
通讯作者：
McDermott, Josh H.