音声と口唇動画像を併用した英語発音練習システムの開発

使用音频和口型视频开发英语发音练习系统

• 批准号: 12780137
• 负责人: 小田 まり子
• 金额: $ 1.22万
• 依托单位: Kurume Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 2000
• 资助国家: 日本
• 起止时间: 2000 至 2001
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-12780137/
• 关键词: CAIシステム; 口唇動画像; 英語発音; Lip Reading; 動画像認識

音声言語認識メカニズムや幼児の発音習得過程に着目し、学習者の口唇の動きをCCDカメラで取り込み、パソコン画面上でモデルスピーカの口唇の動きと比較しながら発音練習を行うCAIシステム"Lip Reading"を開発している。学習者の口唇の動きを画面上に表示し、モデルスピーカのものと比較しながら発音の練習が行える発音練習システムは未だかつて開発されていない新規性に富むシステムである。本CAIシステムを用いた学習者の学習前後における発音上達度を調べた結果、自分の口唇の動きを見て、モデルスピーカと比較しながら発音練習する方法は非常に効果的であることが確認できた。また、音声分析装置を用いて学習前後の日本人学生の/l/-/r/のフォルマント変化を調べた結果からも明らかな学習効果が確認できた。平成13年度は、日本人学習者の発音時の誤りを指摘するシステムの開発に向けて、/l/-/r/発音時の日本人学習者とネーティブスピーカの口唇動画像を比較調査し、/l/と/r/における口唇動作の違いについて分析した。8人のネーティブスピーカが/l/-/r/ミニマルペア5組を発音した時の口唇動作を1秒間に3-フレームの静止画ファイルに保存し、口唇動作を分析した結果、/l/において口唇が縦方向に大きく開いた時と/r/において口唇がすぼめられた時では、口唇の形状(縦幅、横幅)が異なることが確認できた。T検定を行った結果からも、/l/-/r/の特徴が現れた口唇画像における口唇の横幅、縦幅の平均比率には0.01%水準の有意差が認められた。したがって、/l/-/r/ミニマルペア発音時における口唇の縦幅の変化(時間特性)も全く異なっている。一方、発音学習ができていない日本人学習者の場合、一般に/l/において口唇の縦方向の開きが小さく、/r/において口唇がすぼまらないため、/l/-/r/発音時の口唇の形に違いが現れない。しかしし、"Lip Reading"による練習が進むと、口唇の縦方向の動きが大きくなり、モデルスピーカと同様に/l/と/r/で明らかに口唇動作が異なってくることが確認できた。以上の口唇動作分析結果やシステムによる学習効果については"見真似による/l/-/r/発音練習システムの効果"(教育工学会論文誌Vol.26・No.3)において詳細を述べている。

In the sound and speech, you can learn how to listen to your eyes, the students, the CCD, the baby, the baby, the On the screen of the student's lip movement, there is an indication of the sound, the sound, the sound This CAI system is based on the results of the students' study before and after the study. The results show that the mouth and lips are divided, and that the method is very effective. Before and after the application of the acoustics and acoustics analysis device, the Japanese students

项目成果

小田まり子: "口唇動画像と音声によるWWW上の/l/-/r/発音学習CAIシステム"教育システム情報学会論文誌. 17巻・3号. 443-454 (2000)

Mariko Oda：“使用唇形视频和音频在 WWW 上学习 /l/-/r/ 发音的 CAI 系统”，《教育系统和信息研究学会汇刊》第 17 卷，第 3 期。443-454 (2000)。

Kohei Arai: "English Pronunciation Practice System Using Voice and Video Recognition Based on Optical Flow"Proc. of 2nd International Conference on Information Technology Based Higher Education and Training. 243-248 (2001)

Kohei Arai：“基于光流的语音和视频识别英语发音练习系统”Proc。

小田まり子: "見真似による/l/-/r/発音練習システムの効果"教育工学会論文誌. 26・3(発表予定)(未定). (2002)

Mariko Oda：“基于模仿的 /l/-/r/ 发音练习系统的效果”，教育技术学会汇刊 26/3（演示文稿计划）（待定）。

小田誠雄: "WWW上のCAI 教材作成ツールの開発とその効果"教育システム情報学会論文誌. 17巻・3号. 435-442 (2000)

Masao Oda：“WWW 上的 CAI 教材制作工具的开发及其效果”，教育系统和信息工程师协会学报，第 17 卷，第 3 期，435-442（2000 年）。