Implementation of Intentional BMI through Large-Scale EEG Data and Calibration-Free Model Construction

通过大规模脑电图数据和免校准模型构建实现有意BMI

基本信息

批准号：
20H00235
负责人：
田中聡久
金额：
$ 29.45万
依托单位：
Tokyo University of Agriculture and Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (A)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2023-03-31
项目状态：
已结题

项目摘要

侵襲型ブレイン・マシン・インターフェース（BMI）は、人間の脳から直接音声を伝達するための有望なニューロテクノロジーの一分野であるが、多くの課題を抱えている。本年度は、これまでに計測した7人の難治性てんかん患者の侵襲性皮質電位（ECoG）信号に対して、複数のフレーズからなる文章を発話させてある間のECoGから発話内容をデコード（推定）する「sequence-to-sequence」モデルに、Transformerエンコーダを組み込こんだ方法を提案し、実際にデコード性能の評価実験を実施した。脳波のデコードテストの結果、Transformerモデルによるフレーズ誤り率（PER）の最小値は16.4%、7人の中央値（±標準偏差）は31.3%（±10.0%）であった。このようにTransformerを用いた提案モデルは、従来の長期短期記憶モデルよりも有意に優れたデコーディング精度を達成した。また、音響特徴（MFCC）の利用によるTransformerエンコーダの学習への貢献度を確認した。その結果MFCCを加えたモデルは、MFCCを用いないモデルよりも高い精度を達成した。これは、学習段階で使用するMFCCは、必ずしも同一人物の音声から算出されたものである必要はないことを示唆した。これは、侵襲的BMIの将来的な可能性を強く示すものである。以上の成果は、信号処理分野ではトップカンファレンスである IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2022) に採択され、現地で発表した。

侵入性脑机界面（BMI）是直接从人脑传输声音的神经技术的有前途的领域，但它们面临许多挑战。今年，我们提出了一种将变压器编码器纳入“序列到序列”模型的方法，在该模型中，多个短语被解码（估计）ECOG中的语音含量是来自ECOG的语音含量，而侵入性皮质潜力（ECOG）信号（ECOG）的七个患者到目前为止测量了七名难治性癫痫患者并进行了一个实验，以评估解码性能。脑电图的解码测试表明，最小短语错误率（PER）值（16.4％）为16.4％，中位数（±标准偏差）为七人31.3％（±10.0％）。因此，使用变压器的拟议模型比常规的长期短期记忆模型实现了明显更好的解码精度。我们还通过使用声学特征（MFCC）确认了对变压器编码器学习的贡献。结果，与没有MFCC的模型相比，具有MFCC的模型的精度更高。这表明在学习阶段使用的MFCC不一定是根据同一人的音频计算的。这强烈说明了侵入性BMI的未来潜力。这些结果是在IEEE国际声学，语音和信号处理（ICASSP 2022）的IEEE国际会议上选择的，这是信号处理领域的顶级会议，并在现场介绍。

项目成果

期刊论文数量（2）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

TRANSFORMER-BASED ESTIMATION OF SPOKEN SENTENCES USING ELECTROCORTICOGRAPHY

DOI：
10.1109/icassp43922.2022.9747443
发表时间：
2022-01-01
期刊：
2022 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)
影响因子：
0
作者：
Komeiji, Shuji;Shigemi, Kai;Tanaka, Toshihisa
通讯作者：
Tanaka, Toshihisa

頭蓋内脳波からのエンコーダ・デコーダモデルによる想像音声推定

使用颅内脑电波编码器-解码器模型进行想象语音估计

DOI：
发表时间：
2021
期刊：
影响因子：
0
作者：
R. Miura;S. Shibata;M. Usui;A. Kosuge;M. Hamada;and T. Kuroda;木野彩子，小田直樹，金森政之，新妻邦康，冨永悌二，松浦祐司;林　恒太朗・古明地秀治・三橋　匠・飯村康司・鈴木皓晴・菅野秀宣・篠田浩一・田中聡久
通讯作者：
林　恒太朗・古明地秀治・三橋　匠・飯村康司・鈴木皓晴・菅野秀宣・篠田浩一・田中聡久