脳波を用いた文脈理解の評価

使用脑电图评估情境理解

• 批准号: 22K12758
• 负责人: 井原 綾
• 金额: $ 2.58万
• 依托单位: National Institute of Information and Communications Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12758/
• 关键词: 言語理解; 脳波; 文脈; 自然発話; 音声; 意味処理; 脳機能

日常、我々が耳にすることばは不完全な情報であることも多いが、迅速かつ柔軟にことばを理解することができる。脳がそれを実現しているのは、音響的特徴の抽出から言語情報への変換、意味表象の活性化、文構造の解析といった一連のボトムアップ処理に加えて、文脈や非言語的な情報の状況など様々な情報を利用して内容を解釈するといったトップダウン処理が働いているからである。これまで、言語の文脈処理に関する研究は、言語刺激を単語など短い単位で離散的に呈示するパラダイムが用いられており、話の進行とともに文脈が形成され、理解が進むときの脳活動を経時的に捉えた研究はない。本研究では、１）連続的な言語情報（発話）を聴いて文脈を形成し理解するときの脳活動の経時的変化を明らかにすること、２）文脈理解を反映する脳波指標を用いて、個人の脳波から文脈理解を推定可能な機械学習モデルを構築することを目的とした。初年度は、１）の目的を達成するため、日本語母語話者がニュース音声を聞いているときに取得した脳波の解析を行った。ニュース音声から内容語開始の時間情報を抽出し、内容語に対する脳波の時間応答関数を算出した。各ニュースは序盤、中盤、終盤に３分割し、内容語の位置によって、時間応答関数が変化するかを調べた。その結果、時間応答関数のピークが約400msの陰性成分（N400相当）の振幅では、統計的に有意な単語位置の主効果が認められ、序盤から終盤になるにつれて、振幅が減少する傾向が見られた。発話の理解において、文脈情報が使用される過程を脳波指標によって可視化できる可能性を示唆する。

Everyday, I am not completely informed, I am quickly soft, I am understanding. The extraction of acoustic features, the transformation of speech information, the activation of meaning images, the analysis of text structure, the processing of continuous speech information, the analysis of context and the status of non-speech information, the utilization of information, the analysis of content and the processing of non-speech information. The study of language context processing is based on the study of language stimuli, short words, discrete presentations, context formation, and understanding of language activities. This study includes: (1) context formation and understanding of continuous speech information (speech);(2) context understanding;(3) use of wave indicators;(4) estimation of mechanical learning; and (5) context construction. In the beginning of the year, the goal was achieved, and the Japanese native speaker was able to hear the sound. The time information for the start of the content language is extracted, and the time information for the content language is calculated. Each page is divided into three parts: the sequence, the middle and the end, the position of the content language, and the number of time responses. As a result, the amplitude of the negative component (equivalent to N400) of the time response count on the computer is approximately 400ms, the main effect of the statistical intentional language position is recognized, and the amplitude tends to decrease from the beginning to the end. The process of understanding speech and the use of contextual information is indicated by the possibility of visualization.