Construction of JSL (Japanese Sign Language) Video Corpus Using Super High Resolution Cameras and Information Technologies

使用超高分辨率相机和信息技术构建 JSL（日本手语）视频语料库

• 批准号: 20H01262
• 负责人: 田中 省作
• 金额: $ 11.23万
• 依托单位: Ritsumeikan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H01262/
• 关键词: 日本手話; コーパス; 手話映像検索; 手話コーパス研究; 映像認識・処理; 非手指要素; 欠損があるベクトル; 映像検索; 手話データ; 超高解像度カメラ; 手話検索; 言語要素; 記録環境

現在のコロナ禍による、手話熟達者から直接、語の動作を得ることが難しい状況を鑑み、既存の映像内の該当データを活用することや、研究計画内の解決すべき小課題の順序を入れ替え、主に次の4テーマを推進した。1. 会話映像の記録と蓄積：ここまでの撮影環境の設計を受け、新型コロナウイルス感染症の状況を勘案し、自然会話風景の撮影機会に恵まれていない。そこで、いったん研究者らの環境内で撮影可能な手話会話風景を、複数台の高解像度カメラを設置し10時間程度記録、蓄積した。2. 映像内の言語要素の自動認識：静止画内の人の主要部位を自動認識するOpenPoseとMeidaPipeというAIライブラリを活用し、映像内の人ごとに言語要素を特徴付けるための3次元位置を推定し、データ化した。言語要素のなかで、手指要素については他課題でも策定しており、そのまま活用している。非手指要素については、眉や口の動き、顔の傾きなどを、認識情報からモデル化した。たとえば、眉の動きについては、左右で眉部分を眉頭から眉尻へのベクトルの単位時間当たりの相対的変化で捉えることができる。3. 欠損がある時系列ベクトルに基づいた情報検索技術開発：2のようなかたちでモデル化された手話要素の情報検索は、認識もれがある、つまり欠損がある時系列ベクトルに対する処理に帰着される。今年度はナイーブな方法で、単位時間ごとのベクトル間のコサイン類似度の蓄積で定量化する方法を実装した。検索キー映像、対象映像ともに同じ時間ペース、同質映像では、安定的な精度が得られる。一方、処理時間が長く、計算資源も不効率である。4. 手話学習メディアなどからの手話会話映像の活用：手話の自然会話を直接撮影する以外にも、さまざまなメディアに存在する手話会話を、本課題に活用する。さらに、今後の手話研究への新展開の端緒とする可能性について検討した。

The current situation of the problem, the user of the manual speech, the user of the speech, the user of the existing image, the existing image, the user of the existing image, the user 1. Recording and accumulation of session images: design of the image environment, investigation of the status of new types of infections, and opportunities for image capture in natural session landscapes In the environment of the researcher, it is possible to capture images in the conversation landscape, and the high resolution of multiple stations is set to 10 degrees of recording and accumulation. 2. Automatic recognition of speech elements in the image: automatic recognition of the main parts of the person in the still picture. Speech elements, finger elements, other topics, etc. Non-finger elements, eyebrows, mouth, face, cognitive informationたとえば、眉の动きについては、左右で眉部分を眉头から眉尻へのベクトルの単位时间当たりの相対的変化で捉えることができる。3. The development of information search technology for loss of time series is as follows: 2. The information search technology for mobile phone elements is as follows: 1. The information search technology for mobile phone elements is as follows: 2. The information search technology for mobile phone elements is as follows: 3. The information search technology for mobile phone elements is as follows: 4. The information search technology for mobile phone elements is as follows: 3. The information search technology for mobile phone elements is as follows: 4. The information search technology for mobile phone elements is as follows: 4. The information search technology for mobile phone elements is as follows: 5. The information search technology for mobile phone elements is as follows: 4. The information search technology for mobile phone elements is as follows: 5. The information search technology for mobile phone elements is as follows: 4. The information search technology for mobile phone elements is as follows: 5. The information search technology for mobile phone elements is as follows: 6. The information search technology for mobile phone elements is as follows: 4. The information search technology for mobile phone elements is as follows: 5. The information search technology for mobile phone elements is as follows: 6. The information search technology is as follows: 5 This year, the method of quantitative accumulation of similarity between two groups is implemented. Search image, image, time, homogeneity, stability, accuracy One side, processing time is too long, computing resources are too low. 4. The use of mobile conversation mapping in mobile learning: in addition to the direct influence of natural conversation, the use of mobile conversation exists in mobile learning, and the use of this topic. The possibility of new developments in future research on mobile phones is discussed.

项目成果

MediaPipeを利用した指文字学習支援のためのWebアプリケーション開発

使用 MediaPipe 开发支持手指字母学习的 Web 应用程序

• 发表时间: 2021
• 作者: Endo;T.;山下晃平;風間伸次郎;上村知也・本田久平・長谷川由美・田中省作
• 通讯作者: 上村知也・本田久平・長谷川由美・田中省作

6th International Conference on Intelligent Informatics and Biomedical Sciences

第六届智能信息学与生物医学科学国际会议

• 发表时间: 2021

姿勢・手指形推定に基づいた手話動作類語の試行的同定

基于姿势和手形估计的手语动作同义词试验识别

• 发表时间: 2022
• 期刊: 統計数理研究所共同研究リポート
• 作者: 新井博文;Blanco Negrete Salvador;Rollyn Labuguen;柴田智広;夏目季代久;武井洋子;田中省作・本田久平・バイティガザカリ
• 通讯作者: 田中省作・本田久平・バイティガザカリ

New Image Processing Application for Life Signs Detection

用于生命体征检测的新图像处理应用程序

• 发表时间: 2020
• 期刊: Journal of Advanced Control, Automation and Robotics
• 作者: Zacharie Mbaitiga ;Tanaka;Shosaku
• 通讯作者: Shosaku

日本手話初学者の指文字読取の誤り分析

日本手语初学者指纹读取错误分析

• 发表时间: 2021
• 作者: 渡邉孝継;竹森亜美;坂本真季;和田恵;木下愛;佐藤亜美;荻野梨紗子;佐々木水穂;濵田佳那;大石幸二;高橋秀俊;渡辺弥生;柴田直人;田中省作
• 通讯作者: 田中省作