音声想起の脳波解析に基づく発話支援の基礎研究

本研究課題では，音声を頭の中で想起することにより誘発された脳活動の計測を行い，音声想起の脳活動パターン識別に関する手法について探索研究を行う．まずR4年度では，より高精度に非侵襲な脳活動計測が可能な脳磁界計測による想起音声識別を行った．具体的には，さまざまなBCI（ブレイン・コンピュータ・インターフェース）タスクに適用可能な畳み込みニューラルネットワークであるEEGNetを用いた手法を検討した．EEGNetは神経生理学的信号から解釈可能な抽象的特徴を抽出するだけでなく，少ないデータセットで信頼性の高いモデルを構築することが期待できる．EEGNetは入力をRawデータとし，時間方向の畳み込み，Depthwise畳み込み，Separable 畳み込みからなるネットワークである．まず時間方向の畳み込みにより周波数フィルタを学習し，Depthwise畳み込みで各特徴マップに個別に周波数に応じた空間フィルタを学習する．最後のSeparable畳み込みにより，各特徴マップを時間方向に個別に学習する畳み込みと，特徴マップを最適に加算する畳み込みを行う．また，BCIの識別モデルのサイズが大きくなる程，学習すべきハイパーパラメータが増え，モデル性能のばらつきが大きくなる可能性がある．EEGNetでは，Depthwise畳み込みやSeparable畳み込みを取り入れることにより，パラメータ数を通常の畳み込みに対して減らすことができ，オーバーフィッティングを起こしにくいモデルとなると考えられている．R4年度では実際に計測した脳磁界データによる音声想起の識別実験を行い，EEGNetが同タスクにおいて適用可能であることを示した．

本研究課題では，音声を頭の中で想起することにより誘発された脳活動の計測を行い，音声想起の脳活動パターン識別に関する手法について探索研究を行う．まずR4年度では，より高精度に非侵襲な脳活動計測が可能な脳磁界計測による想起音声識別を行った．具体的には，さまざまなBCI（ブレイン・コンピュータ・インターフェース）タスクに適用可能な畳み込みニューラルネットワークであるEEGNetを用いた手法を検討した．EEGNetは神経生理学的信号から解釈可能な抽象的特徴を抽出するだけでなく，少ないデータセットで信頼性の高いモデルを構築することが期待できる．EEGNetは入力をRawデータとし，時間方向の畳み込み，Depthwise畳み込み，Separable 畳み込みからなるネットワークである．まず時間方向の畳み込みにより周波数フィルタを学習し，Depthwise畳み込みで各特徴マップに個別に周波数に応じた空間フィルタを学習する．最後のSeparable畳み込みにより，各特徴マップを時間方向に個別に学習する畳み込みと，特徴マップを最適に加算する畳み込みを行う．また，BCIの識別モデルのサイズが大きくなる程，学習すべきハイパーパラメータが増え，モデル性能のばらつきが大きくなる可能性がある．EEGNetでは，Depthwise畳み込みやSeparable畳み込みを取り入れることにより，パラメータ数を通常の畳み込みに対して減らすことができ，オーバーフィッティングを起こしにくいモデルとなると考えられている．R4年度では実際に計測した脳磁界データによる音声想起の識別実験を行い，EEGNetが同タスクにおいて適用可能であることを示した．