Deep LearningとKinectセンサによる手話認識システムの開発

使用深度学习和 Kinect 传感器开发手语识别系统

• 批准号: 17H00380
• 负责人: 松木 俊貴
• 金额: $ 0.35万
• 依托单位: Oita University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Scientists
• 财政年份: 2017
• 资助国家: 日本
• 起止时间: 2017 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-17H00380/
• 关键词: Deep Learning; 画像認識; 手話

本研究では、Deep Learningによる画像認識技術を応用した手話認識システムの実現を目指し、Deep Leaningによる手の形状認識システムの開発を行った。前年度に科研費(奨励研究)の助成を受け、大量の指文字画像から学習したニューラルネット(NN)により指文字の画像を分類するシステムを開発したが、学習データが手先を写した写真ばかりであったため、話者の全身を写したような画像から指文字を認識することが困難であるという課題が残った。そこで、Microsoft製のKinectセンサの骨格推定機能を利用し、画像から手のみを正確に捉えた画像を切り取って指文字認識システムへ送ることで, リアルタイムに撮影する話者の全身画像から指文字の分類を可能とするシステムの開発を行った。システムはKinect v1とWindows PCで構成し、プログラミング言語C#を用いて開発を行った。Kinectの関節推定により得られた手先の座標をもとに手の画像を切り出し、データをNNに送り画像の分類を行った。当初、切り出した画像を前年度の分類システムに認識させたところ十分な認識精度を得ることができなかった。この原因は学習データを別のカメラで用意したためであると考えられたため、Kinectにより学習データを撮影するモードを用意し、改めて学習データを作成しNNを学習させた。その結果、認識精度は向上しKinectで撮影した実環境画像から認識を行うことが可能となった。Kinectで撮影した話者の手先の位置を推定し、その形状を認識し分類するシステムを開発することができた。しかし、実際の手話は手の形だけではなくその動きも併せて表現されるものであるため、それらの認識も含めて学習することが必要となる。そこで、時系列データ処理が可能なリカレントニューラルネットに手話者の動作の認識をさせることが今後の課題となった。

This study aims at the application of Deep Learning in the field of image recognition, and the development of Deep Learning in the field of image recognition. In the past year, scientific research expenses (incentive research) have been received, and a large number of finger portraits have been developed from learning to classification. Learning is the first step in writing photos, and the whole body of speakers has been written. Microsoft Kinect Server's skeleton estimation function can be used to extract images from hand images, correctly capture images, and extract character recognition information. Kinect v1 and Windows PC are configured to run on Windows PC. Kinect's joint estimation is based on the coordinate of the hand. First, cut out the previous year's classification, recognition, recognition, accuracy, recognition, recognition. The reason for this is that learning is different from learning. The result, the recognition accuracy, the reflection, the environmental portrait, the recognition, the line, the possibility Kinect is the first to estimate the position of the speaker's hand and to recognize the shape of the speaker's hand. It is necessary for us to learn from each other. This paper discusses the problem of how to deal with the problem of time series and how to recognize the action of the caller.