Feature Representation Learning and Imagined Speech Recognition by Simultaneous Recording of Spoken Language Stimuli and EEG

通过同时记录口语刺激和脑电图进行特征表示学习和想象语音识别

• 批准号: 22K19828
• 负责人: 甲斐 充彦
• 金额: $ 3.99万
• 依托单位: Shizuoka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Research (Exploratory)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-06-30 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K19828/
• 关键词: 脳波; 想起音声認識; 深層学習; 特徴表現; 位相特徴; 注意機構; ブレインコンピュータインターフェース（BCI）; 表現学習

本研究課題では、口唇、舌、咽頭、喉頭などの発声器官を動かさないで言葉を想起した場合に生じる頭皮脳波(EEG)を用いて、発声しようとした言葉（以降、想起音声と呼ぶ）を認識するシステムを開発する。脳内活動を知るセンサーの中でEEGは脳コンピュータインタフェース（BCI）向けに有望であるが、脳内活動以外の影響が極めて大きく、単純な単語想起でも実用的な精度が得られていない。従来、この種の問題は認識対象を短時間の言語音や数種類の単語の想起内容に限定し、限定された短い区間の脳波信号を用いたパターン認識問題として研究されているが、まだ実用的な認識精度が得られていない。そこで、音声情報処理や深層学習分野での知見を活用し、これまで研究を進めてきたニューラルネットワークに基づく想起音声認識モデルを基本として、脳波の時間的な特徴と空間的な特徴をより良く捉えるための特徴抽出法と認識モデル化手法について改善を図り、新たな方法を提案した。具体的には、音声情報処理分野で有効性が示されていた相対位相の特徴抽出法を応用し、複数チャンネル信号から空間的特徴をよりよく捉える特徴抽出法を考案した。もう一つのアプローチとして、想起音声認識タスク向けの時空間の特徴表現の自動獲得を意図し、畳み込みニューラルネットワークと注意機構を組み合わせた認識モデルの構造を新たに考案した。これらの提案手法の有効性を確認するため、音素を想起した複数の被験者による脳波データを用いて評価実験を行った。その結果、これら二つの提案手法はそれぞれで認識精度の改善が得られ、同データセットを用いた関連研究における結果と比較して顕著に認識精度が改善された。

This study aims to develop the understanding of scalp EEG (EEG) and speech lobe (speech lobe) in speech organs such as lips, tongue, throat and larynx. The accuracy of EEG in BCI is expected to be higher than that in BCI, and the accuracy of EEG in BCI is higher than that in BCI. The problem of recognition of speech and speech in short time, the problem of recognition of speech and speech in short time. Sound and acoustic information processing, deep learning, separation of knowledge, application, research, development, basic knowledge, sound recognition, basic knowledge, temporal features, spatial features, good detection, feature extraction, recognition, integration, improvement, new methods Specific acoustic and acoustic information processing is divided into two parts: phase extraction method and feature extraction method. Automatic acquisition of spatial and temporal features of sound recognition and attention mechanisms This is the first time I've ever seen a person who's been in a relationship with someone else. The results of this study were compared with those of the previous study, and the cognitive accuracy was improved.