权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

言語情報のneural decodingによる意思伝達支援システムの開発

使用语言信息的神经解码开发通信支持系统

基本信息

批准号：
18J14871
负责人：
渡部宏樹
金额：
$ 1.09万
依托单位：
Nara Institute of Science and Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2018
资助国家：
日本
起止时间：
2018-04-25 至 2020-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J14871/
关键词：
脳情報デコーディング脳波機械学習

项目摘要

本研究は、音声言語処理時の脳波と音声リズム間の位相が一致する位相同期現象に着目して、音声聴取・発話想像時の脳波からその音声を識別することを目的とした。そのために、音声発話文を聴取時の脳波から聴取した発話文を予測する機械学習モデルの構築を実施した（実験１）。また、体動を必要としない音声コミュニケーション手段として応用することを想定し、実験1と同様の手法で、発話想像時の脳波から想像した発話内容を予測できるかどうかを検証した（実験2）。具体的には、(a) 発話想像時の脳波振動が想像音声のリズムパターンと位相同期するかどうか、 (b) 発話想像時の脳波からどれほど正確に発話想像音声を識別できるかどうかを検証した。実験1では、日本語の発話音声文（3種類）聴取時の脳波からどの音声文を聴取していたかを機械学習モデルを用いて予測した。その結果、2-50 Hz周波数帯の位相情報を特徴量として訓練したテンプレートマッチングが最高識別正解率55.9%を示し、従来手法より有意な改善となった。また、leave-one-subject-out交差検証法によって、この識別手法が異なるユーザーへの汎化性能を有することを明らかにした。実験2では、3種類のリズムが異なる無意味文（「バーバーバババ」等）の発話想像時の脳波を計測した。発話想像音声は観測不可だが、発話音声と発話想像音声は音響特徴が類似するため、音声発話課題時の発話音声を発話想像音声として扱った。発話想像時の脳波から発話音声の音声包絡を回帰した結果、統計的有意な相関係数が得られ、発話想像時の脳波と発話想像音声のリズムが一致することが示唆された。また、テンプレートマッチングにより、発話想像時の脳波から想像した無意味文を予測した結果、識別正解率は有意にチャンスレベル（33.3%）を上回り、発話想像時の位相同期現象を用いた発話想像文識別の有用性を示した。

In this study, sound speech theory, sound wave, sound, sound, When the sound and sound information is collected, the information is collected and the information is sent to the mechanical science of the machine and the machine. It is necessary to listen to sound, sound, Specific speech, (a) imagine sound, sound, phase, phase and phase. During the first half of the year, the sound text of the Japanese language (category 3) is used to learn how to use the sound text of the Japanese language. The results show that the maximum correct resolution rate is 55.9% in 2-50 Hz wavenumber cycle, the highest correct resolution rate is 55.9%, and the method is intended to improve the performance. There are significant differences in the performance of different methods, such as the difference between the two methods, the difference between the two methods, and the difference between them. In the second and third years, it means to imagine the time wave and calculate the time in order to imagine the time. Imagine the sound of the speech, the sound of the voice, the Imagine time to talk, sound package to talk, sound package to echo the results, statistics of intentional correlation to be satisfactory, imagination to imagine time to speak, sound to imagine, sound to speak in unison to express instigation. You can imagine the results of the test results, and the correct solution is intended to change the response time (33.3%). The phase of the speech imagination phase is similar to the usefulness of the text.