マルチメディア利用の外国語学習プロセスにおける映像支援効果の解明

●視線行動と脳活動を連動測定する方法の再検討を総合的に行った。過去2年間に開発あるいは改良した計測手法により得られた、次の3つの観点のデータをすり合わせ、その妥当性と問題点を検討した(宮本他、2007;Kinoshita, et. al.,2007)。1)学習後のリコールテストおよびストラテジーについてのインタビュー結果2)視線行動を注視点軌跡、視線移動距離と速度、視線停留時間から調査した結果3)課題遂行中の学習者の脳血流量変化を光トポグラフィで測定した結果視線軌跡の定性データだけでなく、移動距離と移動速度、瞳孔径の時系列変化など量的データが得られ、従来よりも高い精度で視線行動が解明できた。また、読解活動の各側面(文字解読、映像視聴など)における脳活動を、部分的であるが、明らかにすることができ、妥当性が保証できた。ただ、一方で、問題点も浮かび上がった。視線行動と脳活動の関係について、各測定器を厳密には同期させることができず、また、同期タイムスタンプもとれなかったために、同調傾向の確証を得ることができなかった。●マルチメディアの読解過程を直接的・多層的に解明した(木下他、2007;宮本他、2007)1)英語力により異なる3つの音声追従読みパターンが明らかになった。初級:テキスト読みに音声が加わると文字列を視認することが困難になりパニックに陥る。読解頓挫。中級:音声による文字列の同時視認は可能だが、意味解釈の深化は困難。上級:音声追従で文字列視認を行い、同時に意味解釈を行う。文字列単独視認〜音声誘導文字視認〜直読(音声・文字列一致・解釈)と順次高次の理解に至る。2)メタ認知ストラテジーの成功と失敗が視線行動(瞳孔径)と脳活動(脳血流量)から裏付けられた。

●視線行動と脳活動を連動測定する方法の再検討を総合的に行った。過去2年間に開発あるいは改良した計測手法により得られた、次の3つの観点のデータをすり合わせ、その妥当性と問題点を検討した(宮本他、2007;Kinoshita, et. al.,2007)。1)学習後のリコールテストおよびストラテジーについてのインタビュー結果2)視線行動を注視点軌跡、視線移動距離と速度、視線停留時間から調査した結果3)課題遂行中の学習者の脳血流量変化を光トポグラフィで測定した結果視線軌跡の定性データだけでなく、移動距離と移動速度、瞳孔径の時系列変化など量的データが得られ、従来よりも高い精度で視線行動が解明できた。また、読解活動の各側面(文字解読、映像視聴など)における脳活動を、部分的であるが、明らかにすることができ、妥当性が保証できた。ただ、一方で、問題点も浮かび上がった。視線行動と脳活動の関係について、各測定器を厳密には同期させることができず、また、同期タイムスタンプもとれなかったために、同調傾向の確証を得ることができなかった。●マルチメディアの読解過程を直接的・多層的に解明した(木下他、2007;宮本他、2007)1)英語力により異なる3つの音声追従読みパターンが明らかになった。初級:テキスト読みに音声が加わると文字列を視認することが困難になりパニックに陥る。読解頓挫。中級:音声による文字列の同時視認は可能だが、意味解釈の深化は困難。上級:音声追従で文字列視認を行い、同時に意味解釈を行う。文字列単独視認〜音声誘導文字視認〜直読(音声・文字列一致・解釈)と順次高次の理解に至る。2)メタ認知ストラテジーの成功と失敗が視線行動(瞳孔径)と脳活動(脳血流量)から裏付けられた。