手話コーパス，深層学習向けラベル付き手話データ半自動生成システムの開発

点击翻译按钮获取中文摘要

本研究の目的は，深層学習を用いた手話翻訳システムの開発に必要なアノテーション済みの教師データを半自動的に生成するシステムを作成することである．手話翻訳システムの開発には，手話コーパスの構築や教師あり学習による深層学習向けのアプリケーション済みデータが大量に必要であるが，アノテーションを行うに手間がかかる．そこで本研究ではラベルがない手話動画に対して，アノテーションを半自動的に行うシステムを開発・公開する．このシステムはアノテーション前の教師データに対して，程度認識が可能な手話認識エンジンを用いて，認識できる単語にはラベル付を行い，認識ができなかった単語は人手でラベル付を行う．本年度は，コアとなる手話認識エンジンとGUIの設計を行った．手話認識エンジンはConformerをベースとしたネットワークを作成し，学習を行わせている．現在，手話技能検定試験　4級レベルの手話文に対して，約80%程度の認識率を得ている．しかし，教師データは約5,000個であり，そこに含まれる単語は，4級までのすべての単語を含んではいないため，認識できる単語には限りがある（４級までに含まれる約800語彙のうち150語彙程度）．そのため，現状ではアプリケーションに組み込むには貧弱である．今年度は教師データを増やして，認識できる語彙数を増加させる．GUIに関しては基本的な構成の設計を終えており，レビューをした後，手話認識エンジンを組み込んで，試作を行う．また，手話翻訳システムが完成した後のアプリへの応用も検討している．具体的には，ウェアラブルな全方位カメラを用いた翻訳システムの開発である．これを用いて日常的に手話翻訳システムが利用できることを目指している．