Feature Representation Learning and Imagined Speech Recognition by Simultaneous Recording of Spoken Language Stimuli and EEG

本研究課題では、口唇、舌、咽頭、喉頭などの発声器官を動かさないで言葉を想起した場合に生じる頭皮脳波(EEG)を用いて、発声しようとした言葉（以降、想起音声と呼ぶ）を認識するシステムを開発する。脳内活動を知るセンサーの中でEEGは脳コンピュータインタフェース（BCI）向けに有望であるが、脳内活動以外の影響が極めて大きく、単純な単語想起でも実用的な精度が得られていない。従来、この種の問題は認識対象を短時間の言語音や数種類の単語の想起内容に限定し、限定された短い区間の脳波信号を用いたパターン認識問題として研究されているが、まだ実用的な認識精度が得られていない。そこで、音声情報処理や深層学習分野での知見を活用し、これまで研究を進めてきたニューラルネットワークに基づく想起音声認識モデルを基本として、脳波の時間的な特徴と空間的な特徴をより良く捉えるための特徴抽出法と認識モデル化手法について改善を図り、新たな方法を提案した。具体的には、音声情報処理分野で有効性が示されていた相対位相の特徴抽出法を応用し、複数チャンネル信号から空間的特徴をよりよく捉える特徴抽出法を考案した。もう一つのアプローチとして、想起音声認識タスク向けの時空間の特徴表現の自動獲得を意図し、畳み込みニューラルネットワークと注意機構を組み合わせた認識モデルの構造を新たに考案した。これらの提案手法の有効性を確認するため、音素を想起した複数の被験者による脳波データを用いて評価実験を行った。その結果、これら二つの提案手法はそれぞれで認識精度の改善が得られ、同データセットを用いた関連研究における結果と比較して顕著に認識精度が改善された。

本研究課題では、口唇、舌、咽頭、喉頭などの発声器官を動かさないで言葉を想起した場合に生じる頭皮脳波(EEG)を用いて、発声しようとした言葉（以降、想起音声と呼ぶ）を認識するシステムを開発する。脳内活動を知るセンサーの中でEEGは脳コンピュータインタフェース（BCI）向けに有望であるが、脳内活動以外の影響が極めて大きく、単純な単語想起でも実用的な精度が得られていない。従来、この種の問題は認識対象を短時間の言語音や数種類の単語の想起内容に限定し、限定された短い区間の脳波信号を用いたパターン認識問題として研究されているが、まだ実用的な認識精度が得られていない。そこで、音声情報処理や深層学習分野での知見を活用し、これまで研究を進めてきたニューラルネットワークに基づく想起音声認識モデルを基本として、脳波の時間的な特徴と空間的な特徴をより良く捉えるための特徴抽出法と認識モデル化手法について改善を図り、新たな方法を提案した。具体的には、音声情報処理分野で有効性が示されていた相対位相の特徴抽出法を応用し、複数チャンネル信号から空間的特徴をよりよく捉える特徴抽出法を考案した。もう一つのアプローチとして、想起音声認識タスク向けの時空間の特徴表現の自動獲得を意図し、畳み込みニューラルネットワークと注意機構を組み合わせた認識モデルの構造を新たに考案した。これらの提案手法の有効性を確認するため、音素を想起した複数の被験者による脳波データを用いて評価実験を行った。その結果、これら二つの提案手法はそれぞれで認識精度の改善が得られ、同データセットを用いた関連研究における結果と比較して顕著に認識精度が改善された。