音声と口唇動画像を併用した英語発音練習システムの開発

点击翻译按钮获取中文摘要

音声言語認識メカニズムや幼児の発音習得過程に着目し、学習者の口唇の動きをCCDカメラで取り込み、パソコン画面上でモデルスピーカの口唇の動きと比較しながら発音練習を行うCAIシステム"Lip Reading"を開発している。学習者の口唇の動きを画面上に表示し、モデルスピーカのものと比較しながら発音の練習が行える発音練習システムは未だかつて開発されていない新規性に富むシステムである。本CAIシステムを用いた学習者の学習前後における発音上達度を調べた結果、自分の口唇の動きを見て、モデルスピーカと比較しながら発音練習する方法は非常に効果的であることが確認できた。また、音声分析装置を用いて学習前後の日本人学生の/l/-/r/のフォルマント変化を調べた結果からも明らかな学習効果が確認できた。平成13年度は、日本人学習者の発音時の誤りを指摘するシステムの開発に向けて、/l/-/r/発音時の日本人学習者とネーティブスピーカの口唇動画像を比較調査し、/l/と/r/における口唇動作の違いについて分析した。8人のネーティブスピーカが/l/-/r/ミニマルペア5組を発音した時の口唇動作を1秒間に3-フレームの静止画ファイルに保存し、口唇動作を分析した結果、/l/において口唇が縦方向に大きく開いた時と/r/において口唇がすぼめられた時では、口唇の形状(縦幅、横幅)が異なることが確認できた。T検定を行った結果からも、/l/-/r/の特徴が現れた口唇画像における口唇の横幅、縦幅の平均比率には0.01%水準の有意差が認められた。したがって、/l/-/r/ミニマルペア発音時における口唇の縦幅の変化(時間特性)も全く異なっている。一方、発音学習ができていない日本人学習者の場合、一般に/l/において口唇の縦方向の開きが小さく、/r/において口唇がすぼまらないため、/l/-/r/発音時の口唇の形に違いが現れない。しかしし、"Lip Reading"による練習が進むと、口唇の縦方向の動きが大きくなり、モデルスピーカと同様に/l/と/r/で明らかに口唇動作が異なってくることが確認できた。以上の口唇動作分析結果やシステムによる学習効果については"見真似による/l/-/r/発音練習システムの効果"(教育工学会論文誌Vol.26・No.3)において詳細を述べている。