3D mouth shape recognition for sound pronunciation training

3D口型识别,进行发音训练

基本信息

  • 批准号:
    20K11220
  • 负责人:
  • 金额:
    $ 2.83万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
  • 财政年份:
    2020
  • 资助国家:
    日本
  • 起止时间:
    2020-04-01 至 2024-03-31
  • 项目状态:
    已结题

项目摘要

本年度の研究実績としては、下記の5つである。①発音する被験者の唇の領域を自動的に切り出し、その3次元点群の形状を入力することで、点群データのモデルのクラス分けが行える機械学習用のモデルを作成した。これを用いて日本語の母音識別実験を行い、被験者の唇の領域の3次元点群のみでの日本語母音識別法を確立させた。②本年度の研究で確立した機械学習による日本語発音時の母音識別法及びこの方法を用いたさまざまな検証実験の実験結果をまとめ、専門分野の査読付き国際ジャーナル(IF2.7)に投稿し、2022年5月に掲載された。③口の形状による日本語母音認識で得られた知見を基に、本研究の目的を達成するための口の形状による日本語の言葉の認識を行うための調査研究を始めた。言葉に対する認識は音声や唇の形状による認識が考えられるが、音声による言葉の認識では、英語に対する研究が多いが、日本語に対する研究があまり行われていない。また唇の形状による言葉の認識では、英語に対しては音声認識と一緒に使う研究が行われているが、日本語に対しては研究例が見当たらない。④③の調査結果に踏まえ、まず機械学習を用いた音声による言葉の認識に関連するさまざまな手法について調査を行い、基礎実験などで確認し、どのように利用できるのかを検討した。⑤基礎実験より、口の形を用いる日本語の言葉に対する認識では、言葉と言葉の区切りを認識することが重要であることが分かったので、まずは言葉と言葉の区切りを認識できるようにする方法の調査及びその関連実験を行った。
This year's research achievements, the next record of 5. 1. The lip area of the speaker is automatically cut out, and the shape of the three-dimensional point group is input. The point group is divided into two parts. This paper introduces the Japanese vowel recognition method based on the 3D point group of the lips of the victim.② This year's research established the Japanese vowel recognition method for mechanical learning and the application of this method in the verification of practical results. The results were submitted to the International Journal of Research (IF2.7) in May 2022. 3. The study of Japanese vowel recognition is the beginning of the study. The study of language and sound is very important. The shape of the lips, the sound of the leaves, the sound of the leaves. (4) The investigation results include the investigation results, the investigation results and the investigation results. (5) Basic knowledge, mouth shape, and use of Japanese language, language, and leaf segmentation knowledge, important knowledge, and analysis of language, leaf, and leaf segmentation knowledge, method of investigation, and implementation of related knowledge.

项目成果

期刊论文数量(1)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Identification of 3D Lip Shape during Japanese Vowel Pronunciation Using Deep Learning
使用深度学习识别日语元音发音期间的 3D 唇形
  • DOI:
    10.3390/app12094632
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Yoshihiro Sato;Yue Bao
  • 通讯作者:
    Yue Bao
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

包 躍其他文献

包 躍的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了