聴覚障害者福祉の向上を目指したDeep Learning手話認識システムの開発

点击翻译按钮获取中文摘要

○研究目的手話をコンピュータに画像認識させる研究が行われる中で課題とされている手の形状認識の難しさに対し、近年話題となっているDeep Learningを用いた画像認識の学習によるアプローチが有用ではないかという着想のもと、同手法による手の形状認識の有効性について検証を行った。○研究方法手の形状認識の能力を調べるため、手話で五十音を表現するために用いられる指文字の画像分類タスクを学習させた。ネットワークには、画像認識に広く用いられ、その有効性が示されているConvolutional Neural Networkを用いた。また、学習用のデータとして大量の写真が必要となるが、撮影により用意できる枚数には限りがあるため、公開されているデータセット画像とのクロマキー合成を行うなどの工夫により、一枚の指文字画像から複数のデータを作成することで、大量の学習用データを用意した。本研究では、「あ」「い」「う」「え」「お」の五つの指文字画像の分類を学習させた。学習結果については、テストデータの認識率を計測することで確認した。また、Webカメラで実際に撮影した映像でも認識が可能かどうか調査した。それらの結果をもとに、ネットワークの層数やカーネルサイズなどを調整し、認識精度を高められるようシステムの最適化を図った。○研究成果五種類の指文字画像分類の学習の結果、テストデータに対して96%ほどの認識精度を達成した。また、認識精度は下がるものの、Webカメラによりリアルタイムに撮影された映像からも指文字の認識が可能であることを確認した。手話の認識を行うためにまず重要となる手の形状の認識が、Deep Learningによる画像認識手法により可能であることを示すことができた。