手話の言語的特徴を考慮した深層学習による多次元時系列データを用いた手話認識

点击翻译按钮获取中文摘要

2022年度は、これまでの連続指文字認識システム実験の成果について国際ジャーナルへ投稿し、採択された。また、これまでに開発してきた連続指文字システムを手話認識に発展させるため、センサグローブの改良を行った。さらに、手話認識用データ採取実験のために、新たな実験プロトコルを作成し、筑波技術大学倫理審査委員会の承認を得た。これまでに開発してきたセンサグローブは、USBケーブルでPCに接続しデータ採取する必要があり、実験参加者が自然な手話をしづらく、データにノイズが入ることがあった。今回、Bluetooth 5.0を使用し、ケーブルレスでPCやスマートフォンと接続するシステムを実現することで、自然な手話データの取得が可能になった。組込みボードには、IMU（6軸加速度）が内蔵されているTensorFlow Lite対応のSeeed Studio XIAO nRF52840 Senseを採用した。また、左利きのユーザや両手を用いる手話表現に対応するため、左右両方のデータグローブを製作した。日本手話には約5,000語の単語があると言われており、全ての単語データを収集するのは非常に困難である。また、単一の単語の表現する場合と、複数の単語からなる文章を表現する場合では、文章表現における単語間の連結作用により単語表現が一部異なる。本研究では、手話認識を使用する環境を限定し、その特定環境でよく使用される手話を対象としたデータ採取を行う。これにより、当該環境で実用的な手話認識システムが実現できることが期待される。