Implementation of Intentional BMI through Large-Scale EEG Data and Calibration-Free Model Construction

通过大规模脑电图数据和免校准模型构建实现有意BMI

• 批准号: 20H00235
• 负责人: 田中 聡久
• 金额: $ 29.45万
• 依托单位: Tokyo University of Agriculture and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H00235/
• 关键词: ブレイン・コンピュータ・インタフェース; 侵襲脳波; 機械学習; 信号処理; ブレイン・マシン・インタフェース; ブレインマシンインタフェース; BMI

侵襲型ブレイン・マシン・インターフェース（BMI）は、人間の脳から直接音声を伝達するための有望なニューロテクノロジーの一分野であるが、多くの課題を抱えている。本年度は、これまでに計測した7人の難治性てんかん患者の侵襲性皮質電位（ECoG）信号に対して、複数のフレーズからなる文章を発話させてある間のECoGから発話内容をデコード（推定）する「sequence-to-sequence」モデルに、Transformerエンコーダを組み込こんだ方法を提案し、実際にデコード性能の評価実験を実施した。脳波のデコードテストの結果、Transformerモデルによるフレーズ誤り率（PER）の最小値は16.4%、7人の中央値（±標準偏差）は31.3%（±10.0%）であった。このようにTransformerを用いた提案モデルは、従来の長期短期記憶モデルよりも有意に優れたデコーディング精度を達成した。また、音響特徴（MFCC）の利用によるTransformerエンコーダの学習への貢献度を確認した。その結果MFCCを加えたモデルは、MFCCを用いないモデルよりも高い精度を達成した。これは、学習段階で使用するMFCCは、必ずしも同一人物の音声から算出されたものである必要はないことを示唆した。これは、侵襲的BMIの将来的な可能性を強く示すものである。以上の成果は、信号処理分野ではトップカンファレンスである IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2022) に採択され、現地で発表した。

Invasion type: BMI, direct sound, and hope. This year, 7 patients were evaluated for their refractory ECoG signals and multiple ECoG signals, and the results were evaluated for their sequence-to-sequence analysis and Transformer performance. The minimum value of the PER of the Transformer is 16.4%, and the median value (± standard deviation) of 7 people is 31.3%(±10.0%). This is the first time that a Transformer has been used to improve the accuracy of long-term memory. To confirm the contribution of the Transformer to the study of acoustic characteristics (MFCC). The result of MFCC is that it can achieve high accuracy. MFCC must be used to calculate the voice of the same person. The future likelihood of BMI invasion is strongly indicated. These results were presented at the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2022).

项目成果

頭蓋内脳波からのエンコーダ・デコーダモデルによる想像音声推定

使用颅内脑电波编码器-解码器模型进行想象语音估计

• 发表时间: 2021
• 作者: R. Miura;S. Shibata;M. Usui;A. Kosuge;M. Hamada;and T. Kuroda;木野彩子，小田直樹，金森政之，新妻邦康，冨永悌二，松浦祐司;林 恒太朗・古明地秀治・三橋 匠・飯村康司・鈴木皓晴・菅野秀宣・篠田浩一・田中聡久
• 通讯作者: 林 恒太朗・古明地秀治・三橋 匠・飯村康司・鈴木皓晴・菅野秀宣・篠田浩一・田中聡久