脳波を用いた文脈理解の評価

日常、我々が耳にすることばは不完全な情報であることも多いが、迅速かつ柔軟にことばを理解することができる。脳がそれを実現しているのは、音響的特徴の抽出から言語情報への変換、意味表象の活性化、文構造の解析といった一連のボトムアップ処理に加えて、文脈や非言語的な情報の状況など様々な情報を利用して内容を解釈するといったトップダウン処理が働いているからである。これまで、言語の文脈処理に関する研究は、言語刺激を単語など短い単位で離散的に呈示するパラダイムが用いられており、話の進行とともに文脈が形成され、理解が進むときの脳活動を経時的に捉えた研究はない。本研究では、１）連続的な言語情報（発話）を聴いて文脈を形成し理解するときの脳活動の経時的変化を明らかにすること、２）文脈理解を反映する脳波指標を用いて、個人の脳波から文脈理解を推定可能な機械学習モデルを構築することを目的とした。初年度は、１）の目的を達成するため、日本語母語話者がニュース音声を聞いているときに取得した脳波の解析を行った。ニュース音声から内容語開始の時間情報を抽出し、内容語に対する脳波の時間応答関数を算出した。各ニュースは序盤、中盤、終盤に３分割し、内容語の位置によって、時間応答関数が変化するかを調べた。その結果、時間応答関数のピークが約400msの陰性成分（N400相当）の振幅では、統計的に有意な単語位置の主効果が認められ、序盤から終盤になるにつれて、振幅が減少する傾向が見られた。発話の理解において、文脈情報が使用される過程を脳波指標によって可視化できる可能性を示唆する。

日常、我々が耳にすることばは不完全な情報であることも多いが、迅速かつ柔軟にことばを理解することができる。脳がそれを実現しているのは、音響的特徴の抽出から言語情報への変換、意味表象の活性化、文構造の解析といった一連のボトムアップ処理に加えて、文脈や非言語的な情報の状況など様々な情報を利用して内容を解釈するといったトップダウン処理が働いているからである。これまで、言語の文脈処理に関する研究は、言語刺激を単語など短い単位で離散的に呈示するパラダイムが用いられており、話の進行とともに文脈が形成され、理解が進むときの脳活動を経時的に捉えた研究はない。本研究では、１）連続的な言語情報（発話）を聴いて文脈を形成し理解するときの脳活動の経時的変化を明らかにすること、２）文脈理解を反映する脳波指標を用いて、個人の脳波から文脈理解を推定可能な機械学習モデルを構築することを目的とした。初年度は、１）の目的を達成するため、日本語母語話者がニュース音声を聞いているときに取得した脳波の解析を行った。ニュース音声から内容語開始の時間情報を抽出し、内容語に対する脳波の時間応答関数を算出した。各ニュースは序盤、中盤、終盤に３分割し、内容語の位置によって、時間応答関数が変化するかを調べた。その結果、時間応答関数のピークが約400msの陰性成分（N400相当）の振幅では、統計的に有意な単語位置の主効果が認められ、序盤から終盤になるにつれて、振幅が減少する傾向が見られた。発話の理解において、文脈情報が使用される過程を脳波指標によって可視化できる可能性を示唆する。