言語情報のneural decodingによる意思伝達支援システムの開発

使用语言信息的神经解码开发通信支持系统

基本信息

  • 批准号:
    18J14871
  • 负责人:
  • 金额:
    $ 1.09万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
  • 财政年份:
    2018
  • 资助国家:
    日本
  • 起止时间:
    2018-04-25 至 2020-03-31
  • 项目状态:
    已结题

项目摘要

本研究は、音声言語処理時の脳波と音声リズム間の位相が一致する位相同期現象に着目して、音声聴取・発話想像時の脳波からその音声を識別することを目的とした。そのために、音声発話文を聴取時の脳波から聴取した発話文を予測する機械学習モデルの構築を実施した(実験1)。また、体動を必要としない音声コミュニケーション手段として応用することを想定し、実験1と同様の手法で、発話想像時の脳波から想像した発話内容を予測できるかどうかを検証した(実験2)。具体的には、(a) 発話想像時の脳波振動が想像音声のリズムパターンと位相同期するかどうか、 (b) 発話想像時の脳波からどれほど正確に発話想像音声を識別できるかどうかを検証した。実験1では、日本語の発話音声文(3種類)聴取時の脳波からどの音声文を聴取していたかを機械学習モデルを用いて予測した。その結果、2-50 Hz周波数帯の位相情報を特徴量として訓練したテンプレートマッチングが最高識別正解率55.9%を示し、従来手法より有意な改善となった。また、leave-one-subject-out交差検証法によって、この識別手法が異なるユーザーへの汎化性能を有することを明らかにした。実験2では、3種類のリズムが異なる無意味文(「バーバーバババ」等)の発話想像時の脳波を計測した。発話想像音声は観測不可だが、発話音声と発話想像音声は音響特徴が類似するため、音声発話課題時の発話音声を発話想像音声として扱った。発話想像時の脳波から発話音声の音声包絡を回帰した結果、統計的有意な相関係数が得られ、発話想像時の脳波と発話想像音声のリズムが一致することが示唆された。また、テンプレートマッチングにより、発話想像時の脳波から想像した無意味文を予測した結果、識別正解率は有意にチャンスレベル(33.3%)を上回り、発話想像時の位相同期現象を用いた発話想像文識別の有用性を示した。
这项研究的重点是相锁的现象,在言语语言处理过程中,脑波和语音节奏之间的阶段重合,并旨在在聆听语音和想象的语音时识别脑波中的语音。为此,我们构建了一个机器学习模型,该模型可以预测聆听语音说话时从脑波中听到的语音句子(实验1)。此外,假设它将被用作不需要身体运动的语音交流手段,我们验证了在想象语音时是否可以使用与实验1相同的方法来预测语音时想象的语音内容(实验2)。具体而言,我们检查了(a)语音想象过程中的脑电图振动是否与虚构声音的节奏模式相结合,并且(b)在语音想象过程中从脑电图中可以从脑电图中识别出想象力的准确性。在实验1中,使用机器学习模型来预测聆听三种类型的日本话语时从脑波中听到哪些语音句子。结果,模板匹配(以功能量为2-50 Hz频段中训练相位信息)显示出最大识别正确的答案率为55.9%,这比常规方法的显着改善。此外,剩余的一个受试者交叉验证方法表明,这种识别方法对不同用户具有泛化性能。在实验2中,测量了用三种不同的节奏(例如“巴巴巴”)的无意义句子的语音时的脑波。尽管无法观察到言语虚构的言语,但语音想象的语音和言语虚构的语音具有相似的声学特征,因此语音话语任务期间的语音虚构语音被视为语音虚构的言语。当我想象语音时,脑波的语音封底回归,导致统计学意义的相关系数,这表明语音想象的节奏与语音想象的节奏相吻合。此外,由于预测了想象言语时从脑波中想象的毫无意义的句子,歧视的正确答案率明显高于机会水平(33.3%),表明在想象言语句子时,使用相锁的现象歧视语音想象的句子有用性。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Neural Oscillation-Based Classification of Japanese Spoken Sentences During Speech Perception
语音感知过程中基于神经振荡的日语句子分类
  • DOI:
    10.1587/transinf.2018edp7293
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    0.7
  • 作者:
    Hiroki Watanabe;Hiroki Tanaka;Sakriani Sakti;Satoshi Nakamura
  • 通讯作者:
    Satoshi Nakamura
Sentence classification based on phase patterns in EEG neural oscillation during imagined speech
基于想象语音期间脑电图神经振荡相位模式的句子分类
  • DOI:
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Watanabe. H.;Tanaka;H.;Sakti;S. & Nakamura;S.
  • 通讯作者:
    S.
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

渡部 宏樹其他文献

多賀城跡出土西辺柵木の樹種
塔贺城遗址出土的西栅栏树种
  • DOI:
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    0
  • 作者:
    矢倉 晴子;田中 宏季;木下 泰輝;渡部 宏樹;本村 駿乃介;須藤 克仁;中村 哲;箱崎真隆・木村勝彦・中塚 武
  • 通讯作者:
    箱崎真隆・木村勝彦・中塚 武
音声文聴取時における意味違反が生じた際の脳波自動判別
听口语句子时出现语义违规时自动脑电波辨别
  • DOI:
  • 发表时间:
    2017
  • 期刊:
  • 影响因子:
    0
  • 作者:
    田中 宏季;渡部 宏樹;真木 勇人;Sakriani Sakti;中村 哲
  • 通讯作者:
    中村 哲
脳波による聴覚定常反応を用いた同時通訳中の認知負荷の検証
使用脑电图通过听觉恒定反应验证同声传译期间的认知负荷
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    0
  • 作者:
    矢倉 晴子;田中 宏季;木下 泰輝;渡部 宏樹;本村 駿乃介;須藤 克仁;中村 哲
  • 通讯作者:
    中村 哲

渡部 宏樹的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('渡部 宏樹', 18)}}的其他基金

A Study on Improvement of Learning Motivation by Personal Optimization of Achievement Goals of Digital Educational Materials Based on Biometric Information
基于生物特征信息的数字教材成绩目标个人优化提高学习动机的研究
  • 批准号:
    23K12841
  • 财政年份:
    2023
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
ポピュラー文化を利用した「感情の政治」時代における市民的主体の可能性
大众文化“情感政治”时代公民代理的可能性
  • 批准号:
    22K13014
  • 财政年份:
    2022
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
南北戦争以降のアメリカにおける大衆文化・消費文化の変遷についての歴史的研究
内战以来美国流行文化和消费文化变迁的历史研究
  • 批准号:
    09J10665
  • 财政年份:
    2009
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows

相似国自然基金

口口相授对股票市场参与问题的研究
  • 批准号:
    71401119
  • 批准年份:
    2014
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
长江来沙锐减背景下河口口门区冲淤调整的初步研究
  • 批准号:
    40576043
  • 批准年份:
    2005
  • 资助金额:
    44.0 万元
  • 项目类别:
    面上项目
面向口腔临床操作模拟训练系统的触觉再现技术研究
  • 批准号:
    50275003
  • 批准年份:
    2002
  • 资助金额:
    25.0 万元
  • 项目类别:
    面上项目

相似海外基金

精神疾患患者における小型脳波計および機械学習を用いた睡眠脳波自動解析の精度向上
使用小型脑电图仪和机器学习提高精神疾病患者自动睡眠脑电波分析的准确性
  • 批准号:
    24K18716
  • 财政年份:
    2024
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
口腔状態の健康寿命への寄与が大きい集団を機械学習と因果推論で解明する国際共同研究
国际联合研究利用机器学习和因果推理来阐明口腔状况对健康预期寿命做出重大贡献的人群
  • 批准号:
    24K02658
  • 财政年份:
    2024
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
Development of a correlational algorithm between oral function examination and oral-related QoL using machine learning.
使用机器学习开发口腔功能检查和口腔相关生活质量之间的相关算法。
  • 批准号:
    23K09302
  • 财政年份:
    2023
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
顎口腔と全身の機能の因果:生体データ、シミュレーション、機械学習の応用による検証
口颌功能与全身功能之间的因果关系:通过生物数据、模拟和机器学习的应用进行验证
  • 批准号:
    23K09286
  • 财政年份:
    2023
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
Application to machine learning using discomfort detected by EEG as a feedback index
以脑电图检测到的不适作为反馈指标在机器学习中的应用
  • 批准号:
    23K11209
  • 财政年份:
    2023
  • 资助金额:
    $ 1.09万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了