テキストレベルの手話-日本語ニューラル機械翻訳のための手話表現形式の検討

点击翻译按钮获取中文摘要

本研究では手話翻訳の問題から手話動作認識の問題を切り離して手話-日本語間の言語的な変換処理に研究の焦点をあてるために，手話文に含まれる単語とその語形変化，非手指要素による文法標識などが正しく認識されたものと仮定して，テキスト形式の手話文を原言語文とした手話から日本語へのニューラル機械翻訳（NMT）を考え，NMTに適した手話のテキスト表現形式やベクトル表現形式などについて検討する。書記体系を持たない手話にはNMTに利用可能な言語データがほとんど存在しないため，当該年度は主に対訳データの収集とデータ拡張手法の検討を行った。手話の学習教材と日本語-手話辞典から対訳文と対訳フレーズを合計約13700件収集し，訓練・検証・テスト用データセットを作成した。手話のテキスト表現としては基本的にJJS表記法を用いた。手話単語を表す日本語の語句（手話単語名）は教材によってまちまちであるため，基本的に『日本語-手話辞典』における手話イラスト名を用い，辞書にない単語やパントマイム的な表現には適宜名前を付けた。データ拡張手法としては，類義語・対義語の置換による方法と，日本語単言語データから疑似手話文を生成する手法を試み，拡張前後の翻訳精度を比較した。類義語・対義語の置換による疑似対訳文の生成では，単語置換による不自然な日本語文を除外するためにMLM Scoringを用い，一定のスコアが得られた文だけを訓練データとして用いた。実験の結果，同義語置換より対義語置換によるデータ拡張の方が良い結果が得られた。日本語単言語コーパスを利用した疑似対訳文の生成では，日本語文中の助詞の削除と用言の終止形への変換などの簡単な処理により疑似手話文を生成し，得られた疑似対訳データを訓練データに加えて翻訳実験を行ったところ，言語資源が少ない現状では逆翻訳による疑似対訳文生成手法よりも良い結果が得られることが確認できた。