言語情報のneural decodingによる意思伝達支援システムの開発

使用语言信息的神经解码开发通信支持系统

• 批准号: 18J14871
• 负责人: 渡部 宏樹
• 金额: $ 1.09万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-25 至 2020-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J14871/
• 关键词: 脳情報デコーディング; 脳波; 機械学習

本研究は、音声言語処理時の脳波と音声リズム間の位相が一致する位相同期現象に着目して、音声聴取・発話想像時の脳波からその音声を識別することを目的とした。そのために、音声発話文を聴取時の脳波から聴取した発話文を予測する機械学習モデルの構築を実施した（実験１）。また、体動を必要としない音声コミュニケーション手段として応用することを想定し、実験1と同様の手法で、発話想像時の脳波から想像した発話内容を予測できるかどうかを検証した（実験2）。具体的には、(a) 発話想像時の脳波振動が想像音声のリズムパターンと位相同期するかどうか、 (b) 発話想像時の脳波からどれほど正確に発話想像音声を識別できるかどうかを検証した。実験1では、日本語の発話音声文（3種類）聴取時の脳波からどの音声文を聴取していたかを機械学習モデルを用いて予測した。その結果、2-50 Hz周波数帯の位相情報を特徴量として訓練したテンプレートマッチングが最高識別正解率55.9%を示し、従来手法より有意な改善となった。また、leave-one-subject-out交差検証法によって、この識別手法が異なるユーザーへの汎化性能を有することを明らかにした。実験2では、3種類のリズムが異なる無意味文（「バーバーバババ」等）の発話想像時の脳波を計測した。発話想像音声は観測不可だが、発話音声と発話想像音声は音響特徴が類似するため、音声発話課題時の発話音声を発話想像音声として扱った。発話想像時の脳波から発話音声の音声包絡を回帰した結果、統計的有意な相関係数が得られ、発話想像時の脳波と発話想像音声のリズムが一致することが示唆された。また、テンプレートマッチングにより、発話想像時の脳波から想像した無意味文を予測した結果、識別正解率は有意にチャンスレベル（33.3%）を上回り、発話想像時の位相同期現象を用いた発話想像文識別の有用性を示した。

The purpose of this study is to identify the phase synchronization phenomenon between sound waves and sound waves in speech processing, sound acquisition and speech imagination. The construction of mechanical learning system for the prediction of speech and sound transmission is carried out (Step 1). 1. The same method is used to predict the content of the speech. 2. The method of predicting the content of the speech is used to predict the content of the speech Specifically,(a) the vibration of sound waves during transmission imagination and the identification of imaginary sounds during transmission imagination;(b) the vibration of sound waves during transmission imagination and the identification of imaginary sounds. 1. Japanese sound transmission (3 kinds): The sound transmission time is different from the sound transmission time. The sound transmission time is different from the sound transmission time. The results show that the phase information of 2-50 Hz frequency band is characterized by the highest recognition rate of 55.9%. The difference between leave-one-subject-out cross identification method and the generalization performance of this method is obvious. 2, 3, 4, 5, 6, 7, 8, 9, 10, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 19, 10, 10, 10, 11, 10, 11, 12, 11, 12, 13, 12, 13, 14, 14, 15, 16, 18, 19, 10, 10, 10, The sound characteristics of the imaginary sound are similar to those of the imaginary sound when the sound is transmitted. The acoustic envelope of the transmitted sound and the acoustic wave of the transmitted sound are analyzed, and the statistical correlation coefficient is obtained. The acoustic envelope of the transmitted sound and the acoustic wave of the transmitted sound are consistent. In addition, the results of the prediction of meaningless messages during the speech imagination show that the correct recognition rate is significantly higher than that of the meaningful message (33.3%), and the usefulness of speech imagination recognition is demonstrated by the use of the phase synchronization phenomenon during the speech imagination.

项目成果

Neural Oscillation-Based Classification of Japanese Spoken Sentences During Speech Perception

语音感知过程中基于神经振荡的日语句子分类

• DOI: 10.1587/transinf.2018edp7293
• 发表时间: 2019
• 期刊: IEICE Transactions on Information and Systems
• 影响因子: 0.7
• 作者: Hiroki Watanabe;Hiroki Tanaka;Sakriani Sakti;Satoshi Nakamura
• 通讯作者: Satoshi Nakamura

Sentence classification based on phase patterns in EEG neural oscillation during imagined speech

基于想象语音期间脑电图神经振荡相位模式的句子分类

• 发表时间: 2018
• 作者: Watanabe. H.;Tanaka;H.;Sakti;S. & Nakamura;S.
• 通讯作者: S.