Efficient Compilation of a Comprehensive Synonym Dictionary of Finger-Arm Motion in Japanese Sign Language Using Also Information Technologies

点击翻译按钮获取中文摘要

前年度に行った研究小課題の順序の入れ替えに基づきつつ、今年度は主に次の3テーマを重点的に推進した。1.姿勢・手指形推定情報の奥行きの信頼性検証：静止画内の人の主要部位を自動認識するOpenPoseとMeidaPipeを活用し、映像内の人ごとに手指・腕動作を特徴付けるための3次元位置を推定し、データ化している。3つめの次元（いわゆるz、高さ、深さ）の奥行きはこれまでも、モデル上は組み込みつつも、実験では経験的な精度の不安定さからは省いて行ってきた。実際の手話動作と推定された奥行きを照合し、それらを省いた方が良いこと、本課題の類似動作の検出には大きく影響がないことを確認した。2.特徴点の変化に基づく手指・腕動作の類似計算モデル：昨年度までの類似計算モデルは、腕形は肩を、手指形は手首を不動点と考え、フレームごとの位置情報として手話表現を捉えていた。今年度、フレーム間の手指・腕動作の特徴点の相対的な移動距離と方向の変化で手話表現を捉え、類似度を計算する枠組みを与えた。昨年度のモデル同様、欠損があるベクトル表現に帰着され、昨年度モデルとは独立で組み合わせも可能である。3.手話表現間の類似度計算の高速化：ダイナミックタイムワーピング距離という、動的計画法に基づき2つの時系列データに対する最小距離とその経路を見出す方法を導入した。境界条件を本課題に応じて改変し、適用する。類似度の算出時間もこれまでの素朴な方法に比べ、大幅に改善し、予備データでは計算結果も良好である。今後、評価実験を行う。