权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

手話の言語的特徴を考慮した深層学習による多次元時系列データを用いた手話認識

使用考虑手语语言特征的深度学习，使用多维时间序列数据进行手语识别

基本信息

批准号：
19K11411
负责人：
白石優旗
金额：
$ 2.75万
依托单位：
Tsukuba University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

2022年度は、これまでの連続指文字認識システム実験の成果について国際ジャーナルへ投稿し、採択された。また、これまでに開発してきた連続指文字システムを手話認識に発展させるため、センサグローブの改良を行った。さらに、手話認識用データ採取実験のために、新たな実験プロトコルを作成し、筑波技術大学倫理審査委員会の承認を得た。これまでに開発してきたセンサグローブは、USBケーブルでPCに接続しデータ採取する必要があり、実験参加者が自然な手話をしづらく、データにノイズが入ることがあった。今回、Bluetooth 5.0を使用し、ケーブルレスでPCやスマートフォンと接続するシステムを実現することで、自然な手話データの取得が可能になった。組込みボードには、IMU（6軸加速度）が内蔵されているTensorFlow Lite対応のSeeed Studio XIAO nRF52840 Senseを採用した。また、左利きのユーザや両手を用いる手話表現に対応するため、左右両方のデータグローブを製作した。日本手話には約5,000語の単語があると言われており、全ての単語データを収集するのは非常に困難である。また、単一の単語の表現する場合と、複数の単語からなる文章を表現する場合では、文章表現における単語間の連結作用により単語表現が一部異なる。本研究では、手話認識を使用する環境を限定し、その特定環境でよく使用される手話を対象としたデータ採取を行う。これにより、当該環境で実用的な手話認識システムが実現できることが期待される。

In 2022, the results of the study of Chinese characters were submitted to the International Journal of Literature and Literature. The development and improvement of communication technology In addition, the company has been recognized by the Ethics Review Committee of Tsukuba University of Technology. This is the first time that a PC has been connected to the Internet, and the first time that a PC has been connected to the Internet. Now, Bluetooth 5.0 is available, and it's possible to get the phone number naturally. Set up the TensorFlow Lite for Seeed Studio XIAO nRF52840 Sense The left and right sides of the phone are connected. Japanese sign language is about 5,000 words, and it is very difficult to collect all the words. The expression of a single language is different from that of a plural language. This study focuses on the environment of mobile phone usage, and the specific environment of mobile phone usage. This is the first time that the environment has been used.