Efficient Compilation of a Comprehensive Synonym Dictionary of Finger-Arm Motion in Japanese Sign Language Using Also Information Technologies

利用信息技术高效编制日语手语指臂动作综合同义词词典

• 批准号: 20K20848
• 负责人: 田中 省作
• 金额: $ 3.99万
• 依托单位: Ritsumeikan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Research (Exploratory)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-07-30 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K20848/
• 关键词: 日本手話; 手指・腕形動作; 姿勢・手指形推定; 奥行き; 動的計画法; ダイナミックタイムワーピング距離; 欠損があるベクトル表現; 単純語; 手指動作; 類語; 画像認識; 言語処理

前年度に行った研究小課題の順序の入れ替えに基づきつつ、今年度は主に次の3テーマを重点的に推進した。1.姿勢・手指形推定情報の奥行きの信頼性検証：静止画内の人の主要部位を自動認識するOpenPoseとMeidaPipeを活用し、映像内の人ごとに手指・腕動作を特徴付けるための3次元位置を推定し、データ化している。3つめの次元（いわゆるz、高さ、深さ）の奥行きはこれまでも、モデル上は組み込みつつも、実験では経験的な精度の不安定さからは省いて行ってきた。実際の手話動作と推定された奥行きを照合し、それらを省いた方が良いこと、本課題の類似動作の検出には大きく影響がないことを確認した。2.特徴点の変化に基づく手指・腕動作の類似計算モデル：昨年度までの類似計算モデルは、腕形は肩を、手指形は手首を不動点と考え、フレームごとの位置情報として手話表現を捉えていた。今年度、フレーム間の手指・腕動作の特徴点の相対的な移動距離と方向の変化で手話表現を捉え、類似度を計算する枠組みを与えた。昨年度のモデル同様、欠損があるベクトル表現に帰着され、昨年度モデルとは独立で組み合わせも可能である。3.手話表現間の類似度計算の高速化：ダイナミックタイムワーピング距離という、動的計画法に基づき2つの時系列データに対する最小距離とその経路を見出す方法を導入した。境界条件を本課題に応じて改変し、適用する。類似度の算出時間もこれまでの素朴な方法に比べ、大幅に改善し、予備データでは計算結果も良好である。今後、評価実験を行う。

Line before the annual に っ た の の order for small project in れ for え に base づ き つ つ, our は に の 3 テ ー マ を key に propulsion し た. 1. Posture, finger presumed intelligence の Mr Line き の 頼 sex 検 l: static painting within の を の main regions automatically know す る OpenPose と MeidaPipe を within appropriate し, image の ご と に fingers, wrist action を 徴 pay especially け る た め の 3 dimensional position を presumption し, デ ー タ change し て い る. 3 つ め の yuan (い わ ゆ る z, high さ, deep さ) line の Mr き は こ れ ま で も, モ デ ル は group on み 込 み つ つ も, be 験 で は 経 験 な precision の unrest さ か ら は province い て line っ て き た. Be interstate の hand words presumption action と さ れ た Mr Line き を according し, そ れ ら を province い た good party が い こ と, this topic の similar action の 検 out に は big き く influence が な い こ と を confirm し た. 2. Special の 徴 point - the に base づ く fingers, wrist action の similar calculation モ デ ル : yesterday's annual ま で の similar calculation モ デ ル は, wrist を は shoulder, finger は hand first え を fixed point と test, フ レ ー ム ご と の location intelligence と し て hand was を catch え て い た. This year, フ レ ー ム の between fingers, wrist action の 徴 point の phase polices of な mobile distance と direction の - performance を catch え で hand words, similar degree を computing す る 枠 group み を and え た. Yesterday's annual の モ デ ル with others, less damage が あ る ベ ク ト ル performance に 帰 the さ れ, yesterday's annual モ デ ル と は independent group で み わ せ も may で あ る. 3. の similar degree between hand was high speed computing の : ダ イ ナ ミ ッ ク タ イ ム ワ ー ピ ン グ distance と い う, dynamic planning law に base づ き 2 つ の series when デ ー タ に す seaborne る minimum distance と そ の を 経 road shows す method を import し た. The conditions for the realm を this subject に応じて is modified to を and applicable to する. The similarity <s:1> calculates the time <s:1> <s:1> れまで <s:1> the simple な method に is significantly に improved compared to べ, and the prepared デ, タで, タで and <s:1> calculation results are <s:1> good である. In the future, evaluate 価 practical experience を conduct う.

项目成果

日本手話初学者の指文字読取の誤り分析

日本手语初学者指纹读取错误分析

• 发表时间: 2021
• 作者: 渡邉孝継;竹森亜美;坂本真季;和田恵;木下愛;佐藤亜美;荻野梨紗子;佐々木水穂;濵田佳那;大石幸二;高橋秀俊;渡辺弥生;柴田直人;田中省作
• 通讯作者: 田中省作

手関節の AI 認識を用いた指文字学習支援 Web システム

使用腕关节AI识别的手指字符学习支持网络系统

• 发表时间: 2023
• 作者: 本田久平 ; 田中省作 ; 長谷川由美 ; 宮崎佳典
• 通讯作者: 宮崎佳典

Parallel Navigation of Multi-Drones using City Information for Search and Rescue Operations

使用城市信息进行搜索和救援行动的多无人机并行导航

• 发表时间: 2022
• 期刊: Journal of Information and Communication Engineering (JICE),Applied Science and Computer Science Publications
• 作者: Mbaitiga Zacharie;Tanaka Shosaku
• 通讯作者: Tanaka Shosaku

姿勢・手指形推定を活用した手話動作類語の単純な同定法

一种基于姿势和手指形状估计的手语动作同义词简单识别方法

• 发表时间: 2022
• 作者: 田上雄也;和田政輝;土田泰子;外山茂浩;堀 薫夫;中村耕作・早川冨美子;田中省作・本田久平・バイティガザカリ
• 通讯作者: 田中省作・本田久平・バイティガザカリ

指文字学習支援システムの開発

手指字母学习支持系统的开发

• 发表时间: 2021
• 作者: Takeshima Masahiro;Ohta Hidenobu;Hosoya Tomoko;Okada Masakazu;Iida Yukako;Moriwaki Aiko;Takahashi Hidetoshi;Kamio Yoko;Mishima Kazuo;齋礼・岡田大爾;徳永和彦・本田久平・長谷川由美・田中省作
• 通讯作者: 徳永和彦・本田久平・長谷川由美・田中省作