Efficient Compilation of a Comprehensive Synonym Dictionary of Finger-Arm Motion in Japanese Sign Language Using Also Information Technologies

利用信息技术高效编制日语手语指臂动作综合同义词词典

• 批准号: 20K20848
• 负责人: 田中 省作
• 金额: $ 3.99万
• 依托单位: Ritsumeikan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Research (Exploratory)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-07-30 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K20848/
• 关键词: 日本手話; 手指・腕形動作; 姿勢・手指形推定; 奥行き; 動的計画法; ダイナミックタイムワーピング距離; 欠損があるベクトル表現; 単純語; 手指動作; 類語; 画像認識; 言語処理

前年度に行った研究小課題の順序の入れ替えに基づきつつ、今年度は主に次の3テーマを重点的に推進した。1.姿勢・手指形推定情報の奥行きの信頼性検証：静止画内の人の主要部位を自動認識するOpenPoseとMeidaPipeを活用し、映像内の人ごとに手指・腕動作を特徴付けるための3次元位置を推定し、データ化している。3つめの次元（いわゆるz、高さ、深さ）の奥行きはこれまでも、モデル上は組み込みつつも、実験では経験的な精度の不安定さからは省いて行ってきた。実際の手話動作と推定された奥行きを照合し、それらを省いた方が良いこと、本課題の類似動作の検出には大きく影響がないことを確認した。2.特徴点の変化に基づく手指・腕動作の類似計算モデル：昨年度までの類似計算モデルは、腕形は肩を、手指形は手首を不動点と考え、フレームごとの位置情報として手話表現を捉えていた。今年度、フレーム間の手指・腕動作の特徴点の相対的な移動距離と方向の変化で手話表現を捉え、類似度を計算する枠組みを与えた。昨年度のモデル同様、欠損があるベクトル表現に帰着され、昨年度モデルとは独立で組み合わせも可能である。3.手話表現間の類似度計算の高速化：ダイナミックタイムワーピング距離という、動的計画法に基づき2つの時系列データに対する最小距離とその経路を見出す方法を導入した。境界条件を本課題に応じて改変し、適用する。類似度の算出時間もこれまでの素朴な方法に比べ、大幅に改善し、予備データでは計算結果も良好である。今後、評価実験を行う。

根据上一年进行的小型研究主题的顺序，今年我们专注于以下三个主要主题。 1。验证姿势和手指形状估计的深度信息：使用openpose和meidapipe，它们会自动识别一个人在静止图像中的主要部分，我们估算了三维位置，以表征图像中每个人的手指和手臂运动并将其转换为数据。该模型已纳入了第三维的深度（所谓的Z，高度，深度），但已从实验中的经验不稳定性中省略了。我们确认，最好将实际的手语动作与估计的深度进行比较，并且最好省略它们，并且对在该主题中对类似动作的检测没有显着影响。 2。基于特征点的变化，针对手指和手臂运动的类似计算模型：直到去年，类似的计算模型将手臂形状和手腕的手腕视为固定点，并将手语表达式捕获为每个帧的位置信息。今年，我们提供了一个框架，用于通过更改框架之类的手和手臂运动的相对运动距离以及特征点的相对运动距离和方向，并计算相似性。像去年的模型一样，它来自缺少的向量表示，并且独立于去年的模型，并且可以合并。 3。手语表达式之间的快速相似性计算：引入动态时间扭曲距离，一种基于动态编程的两个时间序列数据的最小距离及其路径的方法。边界条件根据此主题进行修改和应用。与迄今为止的幼稚方法相比，相似性的计算时间也得到了显着改善，并且初步数据的计算结果也很好。我们将来将进行评估实验。

项目成果

日本手話初学者の指文字読取の誤り分析

日本手语初学者指纹读取错误分析

• 发表时间: 2021
• 作者: 渡邉孝継;竹森亜美;坂本真季;和田恵;木下愛;佐藤亜美;荻野梨紗子;佐々木水穂;濵田佳那;大石幸二;高橋秀俊;渡辺弥生;柴田直人;田中省作
• 通讯作者: 田中省作

姿勢・手指形推定に基づいた手話動作類語の試行的同定

基于姿势和手形估计的手语动作同义词试验识别

• 发表时间: 2022
• 期刊: 統計数理研究所共同研究リポート
• 作者: 新井博文;Blanco Negrete Salvador;Rollyn Labuguen;柴田智広;夏目季代久;武井洋子;田中省作・本田久平・バイティガザカリ
• 通讯作者: 田中省作・本田久平・バイティガザカリ

手の関節情報とDTWを用いた手話動画の類似検索

使用手关节信息和 DTW 的手语视频的类似搜索

• 发表时间: 2023
• 作者: Kuroda Miho;Kawakubo Yuki;Kamio Yoko;Yamasue Hidenori;Kono Toshiaki;Nonaka Maiko;Matsuda Natsumi;Kataoka Muneko;Wakabayashi Akio;Yokoyama Kazuhito;Kano Yukiko;Kuwabara Hitoshi;川上 貴;柴田直人;八島永知・本田久平・田中省作
• 通讯作者: 八島永知・本田久平・田中省作

姿勢・手指形推定を活用した手話動作類語の単純な同定法

一种基于姿势和手指形状估计的手语动作同义词简单识别方法

• 发表时间: 2022
• 作者: 田上雄也;和田政輝;土田泰子;外山茂浩;堀 薫夫;中村耕作・早川冨美子;田中省作・本田久平・バイティガザカリ
• 通讯作者: 田中省作・本田久平・バイティガザカリ

指文字学習支援システムの開発

手指字母学习支持系统的开发

• 发表时间: 2021
• 作者: Takeshima Masahiro;Ohta Hidenobu;Hosoya Tomoko;Okada Masakazu;Iida Yukako;Moriwaki Aiko;Takahashi Hidetoshi;Kamio Yoko;Mishima Kazuo;齋礼・岡田大爾;徳永和彦・本田久平・長谷川由美・田中省作
• 通讯作者: 徳永和彦・本田久平・長谷川由美・田中省作