Development of Immersive VR Examination System for English 4-skill Testing

産学官でグローバル人材の育成に取り組む中、入学試験など様々な場面において英語４技能評価試験は非常に重要となっている。しかしグローバル標準化試験では、日本人のスピーキング力が多く分布するレベルを細かく分別できないといった問題があり、ローカルテストの開発が行われてきた。本研究プロジェクトは、日本人が英語４技能評価試験を受ける際、とくにスピーキング評価の大きな課題であった不安感やコストの高さについて、これらの問題を解決し、遠隔対応も可能なプラットフォームとして、没入体感型バーチャル・リアリティ（VR）英語コミュニケーション能力評価システムを開発し、従来型試験と比較し効果や運用性を測ることである。2022年度の計画で挙げた基礎分析として、検証実験で用いる具体的なシーンを想定し、テストの模擬問題を設定すること、パイロット分析用の模擬面接シーンの360度動画撮影、検証実験で用いる生体センサの事例調査、ジェスチャ分析の先行研究の調査があった。2022年度では、上記のうち、テストの模擬問題について、語彙レベルのチェックを行いつつリーディング問題の模擬問題を策定した。また、研究代表者の冬野の要件定義に基づき、研究分担者の野上が生体センサの事例調査を行い、実験で用いることが可能な技術をリストアップした。ジェスチャ分析の先行研究について、研究分担者の土屋がマルチモダリティに基づく複数の研究を調査した。また、研究分担者の齊藤が複数人シーンにおけるジェスチャ分析のトラッキング処理について、技術をブラッシュアップし検証した。更に、計画には挙げていなかったが、冬野がＶＲライティングシステムのプロトタイプを開発した。

産学官でグローバル人材の育成に取り組む中、入学試験など様々な場面において英語４技能評価試験は非常に重要となっている。しかしグローバル標準化試験では、日本人のスピーキング力が多く分布するレベルを細かく分別できないといった問題があり、ローカルテストの開発が行われてきた。本研究プロジェクトは、日本人が英語４技能評価試験を受ける際、とくにスピーキング評価の大きな課題であった不安感やコストの高さについて、これらの問題を解決し、遠隔対応も可能なプラットフォームとして、没入体感型バーチャル・リアリティ（VR）英語コミュニケーション能力評価システムを開発し、従来型試験と比較し効果や運用性を測ることである。2022年度の計画で挙げた基礎分析として、検証実験で用いる具体的なシーンを想定し、テストの模擬問題を設定すること、パイロット分析用の模擬面接シーンの360度動画撮影、検証実験で用いる生体センサの事例調査、ジェスチャ分析の先行研究の調査があった。2022年度では、上記のうち、テストの模擬問題について、語彙レベルのチェックを行いつつリーディング問題の模擬問題を策定した。また、研究代表者の冬野の要件定義に基づき、研究分担者の野上が生体センサの事例調査を行い、実験で用いることが可能な技術をリストアップした。ジェスチャ分析の先行研究について、研究分担者の土屋がマルチモダリティに基づく複数の研究を調査した。また、研究分担者の齊藤が複数人シーンにおけるジェスチャ分析のトラッキング処理について、技術をブラッシュアップし検証した。更に、計画には挙げていなかったが、冬野がＶＲライティングシステムのプロトタイプを開発した。