3D mouth shape recognition for sound pronunciation training

点击翻译按钮获取中文摘要

本年度の研究実績としては、下記の５つである。①発音する被験者の唇の領域を自動的に切り出し、その３次元点群の形状を入力することで、点群データのモデルのクラス分けが行える機械学習用のモデルを作成した。これを用いて日本語の母音識別実験を行い、被験者の唇の領域の３次元点群のみでの日本語母音識別法を確立させた。②本年度の研究で確立した機械学習による日本語発音時の母音識別法及びこの方法を用いたさまざまな検証実験の実験結果をまとめ、専門分野の査読付き国際ジャーナル（IF2.7）に投稿し、2022年5月に掲載された。③口の形状による日本語母音認識で得られた知見を基に、本研究の目的を達成するための口の形状による日本語の言葉の認識を行うための調査研究を始めた。言葉に対する認識は音声や唇の形状による認識が考えられるが、音声による言葉の認識では、英語に対する研究が多いが、日本語に対する研究があまり行われていない。また唇の形状による言葉の認識では、英語に対しては音声認識と一緒に使う研究が行われているが、日本語に対しては研究例が見当たらない。④③の調査結果に踏まえ、まず機械学習を用いた音声による言葉の認識に関連するさまざまな手法について調査を行い、基礎実験などで確認し、どのように利用できるのかを検討した。⑤基礎実験より、口の形を用いる日本語の言葉に対する認識では、言葉と言葉の区切りを認識することが重要であることが分かったので、まずは言葉と言葉の区切りを認識できるようにする方法の調査及びその関連実験を行った。