Construction of JSL (Japanese Sign Language) Video Corpus Using Super High Resolution Cameras and Information Technologies

点击翻译按钮获取中文摘要

現在のコロナ禍による、手話熟達者から直接、語の動作を得ることが難しい状況を鑑み、既存の映像内の該当データを活用することや、研究計画内の解決すべき小課題の順序を入れ替え、主に次の4テーマを推進した。1. 会話映像の記録と蓄積：ここまでの撮影環境の設計を受け、新型コロナウイルス感染症の状況を勘案し、自然会話風景の撮影機会に恵まれていない。そこで、いったん研究者らの環境内で撮影可能な手話会話風景を、複数台の高解像度カメラを設置し10時間程度記録、蓄積した。2. 映像内の言語要素の自動認識：静止画内の人の主要部位を自動認識するOpenPoseとMeidaPipeというAIライブラリを活用し、映像内の人ごとに言語要素を特徴付けるための3次元位置を推定し、データ化した。言語要素のなかで、手指要素については他課題でも策定しており、そのまま活用している。非手指要素については、眉や口の動き、顔の傾きなどを、認識情報からモデル化した。たとえば、眉の動きについては、左右で眉部分を眉頭から眉尻へのベクトルの単位時間当たりの相対的変化で捉えることができる。3. 欠損がある時系列ベクトルに基づいた情報検索技術開発：2のようなかたちでモデル化された手話要素の情報検索は、認識もれがある、つまり欠損がある時系列ベクトルに対する処理に帰着される。今年度はナイーブな方法で、単位時間ごとのベクトル間のコサイン類似度の蓄積で定量化する方法を実装した。検索キー映像、対象映像ともに同じ時間ペース、同質映像では、安定的な精度が得られる。一方、処理時間が長く、計算資源も不効率である。4. 手話学習メディアなどからの手話会話映像の活用：手話の自然会話を直接撮影する以外にも、さまざまなメディアに存在する手話会話を、本課題に活用する。さらに、今後の手話研究への新展開の端緒とする可能性について検討した。