英語聴解モデルの提唱とそれに基づく英語字幕・日本語字幕の最適提示タイミングの提案

点击翻译按钮获取中文摘要

英語のビデオに字幕を付加した場合、言語情報は音と文字によって提示される。このように情報を異なるモダリティによって提示した場合には、ワーキングメモリ内の異なるサブシステムによって、それぞれ言語音声情報と言語文字情報が処理されるために、記憶や理解にプラスの影響をもつものとされている。吉野・野嶋(1996)は4つの情報量の異なるビデオにそれぞれ字幕を付加し、聴解に与える字幕の効果を検証した。その結果、字幕の付加は確かに英語聴解に効果があったが、その効果は提示される情報量が多くなると相対的に減少していた。情報を受ける人間が一定時間内に処理できる情報量には限界があることから、字幕を提示する場合にも、視聴者の情報処理容量を超えないような提示方法が望ましいと思われた。そこで、発話間の音声情報のない時間帯(「間」;ポーズ)を利用して字幕を提示し、情報量を操作するとともに、字幕特性による聴解への影響(字幕が視聴者の注意をひきつけてしまい、英語音声に注意が向かなくなること)を少なくし、字幕の効果を高めることを考えた。実験の結果、英語字幕では字幕を音声よりも先に提示した場合に、英語聴解が促進されたが、日本語字幕では、字幕の提示タイミングによる差は認められなかった。また、視聴中の注意について被験者に主観的に評価してもらった結果、字幕が英語であっても日本語であっても、約半数以上の被験者が字幕に注意を向けており、視聴者の視線をひきつける字幕特性は提示タイミングを工夫しても崩れないと考えられた。このことから、字幕の提示タイミングを操作することによって、字幕を同時に提示するよりも、情報量を適正に抑えることができ、字幕効果を高めることができること、ただし、提示タイミングの操作による情報量の軽減は、日本語字幕のように異なる言語間の情報を処理するような高い認知的負荷をも軽減するほどには生じないこと、さらに、字幕特性が解消されないことから、字幕は音声よりも先に提示するほうがよいことが示唆された。今後は以上の結果を先行研究に照らし合わせ、字幕が提示された際の聴解の仕組みを考えていく。