Implementation of Intentional BMI through Large-Scale EEG Data and Calibration-Free Model Construction

通过大规模脑电图数据和免校准模型构建实现有意BMI

基本信息

  • 批准号:
    20H00235
  • 负责人:
  • 金额:
    $ 29.45万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Scientific Research (A)
  • 财政年份:
    2020
  • 资助国家:
    日本
  • 起止时间:
    2020-04-01 至 2023-03-31
  • 项目状态:
    已结题

项目摘要

侵襲型ブレイン・マシン・インターフェース(BMI)は、人間の脳から直接音声を伝達するための有望なニューロテクノロジーの一分野であるが、多くの課題を抱えている。本年度は、これまでに計測した7人の難治性てんかん患者の侵襲性皮質電位(ECoG)信号に対して、複数のフレーズからなる文章を発話させてある間のECoGから発話内容をデコード(推定)する「sequence-to-sequence」モデルに、Transformerエンコーダを組み込こんだ方法を提案し、実際にデコード性能の評価実験を実施した。脳波のデコードテストの結果、Transformerモデルによるフレーズ誤り率(PER)の最小値は16.4%、7人の中央値(±標準偏差)は31.3%(±10.0%)であった。このようにTransformerを用いた提案モデルは、従来の長期短期記憶モデルよりも有意に優れたデコーディング精度を達成した。また、音響特徴(MFCC)の利用によるTransformerエンコーダの学習への貢献度を確認した。その結果MFCCを加えたモデルは、MFCCを用いないモデルよりも高い精度を達成した。これは、学習段階で使用するMFCCは、必ずしも同一人物の音声から算出されたものである必要はないことを示唆した。これは、侵襲的BMIの将来的な可能性を強く示すものである。以上の成果は、信号処理分野ではトップカンファレンスである IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2022) に採択され、現地で発表した。
Invasion type: BMI, direct sound, and hope. This year, 7 patients were evaluated for their refractory ECoG signals and multiple ECoG signals, and the results were evaluated for their sequence-to-sequence analysis and Transformer performance. The minimum value of the PER of the Transformer is 16.4%, and the median value (± standard deviation) of 7 people is 31.3%(±10.0%). This is the first time that a Transformer has been used to improve the accuracy of long-term memory. To confirm the contribution of the Transformer to the study of acoustic characteristics (MFCC). The result of MFCC is that it can achieve high accuracy. MFCC must be used to calculate the voice of the same person. The future likelihood of BMI invasion is strongly indicated. These results were presented at the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2022).

项目成果

期刊论文数量(2)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
頭蓋内脳波からのエンコーダ・デコーダモデルによる想像音声推定
使用颅内脑电波编码器-解码器模型进行想象语音估计
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    R. Miura;S. Shibata;M. Usui;A. Kosuge;M. Hamada;and T. Kuroda;木野彩子,小田直樹,金森政之,新妻邦康,冨永悌二,松浦祐司;林 恒太朗・古明地秀治・三橋 匠・飯村康司・鈴木皓晴・菅野秀宣・篠田浩一・田中聡久
  • 通讯作者:
    林 恒太朗・古明地秀治・三橋 匠・飯村康司・鈴木皓晴・菅野秀宣・篠田浩一・田中聡久
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

田中 聡久其他文献

線形システム同定の基礎
线性系统辨识基础知识
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    田中 聡久;藤本 悠介;永原 正章
  • 通讯作者:
    永原 正章
グラフ不確定性原理を用いた高速なセンサ配置位置選択法
利用图不确定性原理的快速传感器放置位置选择方法
  • DOI:
  • 发表时间:
    2016
  • 期刊:
  • 影响因子:
    0
  • 作者:
    崎山亮恵;田中雄一;田中 聡久;Ortega Antonio
  • 通讯作者:
    Ortega Antonio
石炭灰施用による酸度矯正がプライミング効果に与える影響の解明ー沖縄県の赤黄色土を用いた事例ー
阐明粉煤灰修正酸度对引发效果的影响 - 以冲绳县红黄土为例 -
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    岩崎 亘典;林 和則;田中 聡久;鹿取 みゆき;小口 高;安野秀瑛・杉原創・関真由子・ 柴田誠・伴琢也・田中治夫
  • 通讯作者:
    安野秀瑛・杉原創・関真由子・ 柴田誠・伴琢也・田中治夫
FOSS4Gとオープンデータを活用した地理情報利用法
如何使用 FOSS4G 和开放数据来使用地理信息
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    岩崎 亘典;林 和則;田中 聡久;鹿取 みゆき;小口 高;安野秀瑛・杉原創・関真由子・ 柴田誠・伴琢也・田中治夫;Hirokazu Sato;岩崎亘典
  • 通讯作者:
    岩崎亘典
脳波処理とブレイン・コンピュータ・インタフェース
脑电波处理和脑机接口
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    東 広志;中西 正樹;田中 聡久
  • 通讯作者:
    田中 聡久

田中 聡久的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('田中 聡久', 18)}}的其他基金

低侵襲脳波からの想像音声のデコードによる意思伝達型BMIの実現
微创脑电解码想象语音实现通讯型BMI
  • 批准号:
    23H00548
  • 财政年份:
    2023
  • 资助金额:
    $ 29.45万
  • 项目类别:
    Grant-in-Aid for Scientific Research (A)
Brain2Music: Decoding of Music Imagery by Fusion of Neuromusicology and Informatics
Brain2Music:通过神经音乐学和信息学的融合解码音乐意象
  • 批准号:
    21K18311
  • 财政年份:
    2021
  • 资助金额:
    $ 29.45万
  • 项目类别:
    Grant-in-Aid for Challenging Research (Pioneering)
画像符号化のための適応線形変換に関する研究
图像编码的自适应线性变换研究
  • 批准号:
    00J10283
  • 财政年份:
    2000
  • 资助金额:
    $ 29.45万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows

相似海外基金

低侵襲脳波からの想像音声のデコードによる意思伝達型BMIの実現
微创脑电解码想象语音实现通讯型BMI
  • 批准号:
    23H00548
  • 财政年份:
    2023
  • 资助金额:
    $ 29.45万
  • 项目类别:
    Grant-in-Aid for Scientific Research (A)
イルカ無侵襲脳波記録への挑戦
海豚无创脑电波记录的挑战
  • 批准号:
    20K21559
  • 财政年份:
    2020
  • 资助金额:
    $ 29.45万
  • 项目类别:
    Grant-in-Aid for Challenging Research (Exploratory)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了