Construction of JSL (Japanese Sign Language) Video Corpus Using Super High Resolution Cameras and Information Technologies

使用超高分辨率相机和信息技术构建 JSL（日本手语）视频语料库

• 批准号: 20H01262
• 负责人: 田中 省作
• 金额: $ 11.23万
• 依托单位: Ritsumeikan University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H01262/
• 关键词: 日本手話; コーパス; 手話映像検索; 手話コーパス研究; 映像認識・処理; 非手指要素; 欠損があるベクトル; 映像検索; 手話データ; 超高解像度カメラ; 手話検索; 言語要素; 記録環境

現在のコロナ禍による、手話熟達者から直接、語の動作を得ることが難しい状況を鑑み、既存の映像内の該当データを活用することや、研究計画内の解決すべき小課題の順序を入れ替え、主に次の4テーマを推進した。1. 会話映像の記録と蓄積：ここまでの撮影環境の設計を受け、新型コロナウイルス感染症の状況を勘案し、自然会話風景の撮影機会に恵まれていない。そこで、いったん研究者らの環境内で撮影可能な手話会話風景を、複数台の高解像度カメラを設置し10時間程度記録、蓄積した。2. 映像内の言語要素の自動認識：静止画内の人の主要部位を自動認識するOpenPoseとMeidaPipeというAIライブラリを活用し、映像内の人ごとに言語要素を特徴付けるための3次元位置を推定し、データ化した。言語要素のなかで、手指要素については他課題でも策定しており、そのまま活用している。非手指要素については、眉や口の動き、顔の傾きなどを、認識情報からモデル化した。たとえば、眉の動きについては、左右で眉部分を眉頭から眉尻へのベクトルの単位時間当たりの相対的変化で捉えることができる。3. 欠損がある時系列ベクトルに基づいた情報検索技術開発：2のようなかたちでモデル化された手話要素の情報検索は、認識もれがある、つまり欠損がある時系列ベクトルに対する処理に帰着される。今年度はナイーブな方法で、単位時間ごとのベクトル間のコサイン類似度の蓄積で定量化する方法を実装した。検索キー映像、対象映像ともに同じ時間ペース、同質映像では、安定的な精度が得られる。一方、処理時間が長く、計算資源も不効率である。4. 手話学習メディアなどからの手話会話映像の活用：手話の自然会話を直接撮影する以外にも、さまざまなメディアに存在する手話会話を、本課題に活用する。さらに、今後の手話研究への新展開の端緒とする可能性について検討した。

考虑到当前的COVID-19大流行，很难直接从具有专家手语技能的人那里获得单词，我们已经在现有视频中使用了相关数据，并更改了在研究计划中解决的小问题的顺序，从而促进了以下四个主要主题。 1。对话素材的记录和积累：到目前为止，随着拍摄环境的设计，考虑到Covid-19的状况，我们没有机会拍摄自然对话场景。因此，我们安装了多个高分辨率摄像头，以记录和存储手语对话场景，这些场景可以在研究人员的环境中拍摄约10个小时。 2。视频中对语言元素的自动识别：使用称为OpenPose和Meidapipe的AI库，它们会自动识别静态图像中人的主要部分，我们估计了为视频中每个人表征语言元素的三维位置，并将其转换为数据。在语言元素中，手和手指元素在其他问题中已被提出，并正在按原样使用。对于非手指元素，眉毛，口感，倾斜度等是根据识别信息建模的。例如，对于眉运动，可以通过从眉毛开始到眉毛末端的向量的每单位时间的相对变化来捕获眉毛部分。 3。基于时间序列向量的信息检索技术开发缺失：以2的形式模拟的手语元素的信息检索是时间序列向量的结果，即识别损失，即缺失。今年，我们实施了一种幼稚的方法来量化每个单位时间矢量之间的余弦相似性。搜索密钥视频和目标视频都具有相同的时间段和相同质量的视频，可以获得稳定的精度。另一方面，处理时间很长，计算资源效率低下。 4。利用手语学习媒体等手语对话素材等：除了直接拍摄自然手语对话外，我们还将利用各种媒体中存在的手语对话来完成此任务。此外，我们研究了这可能是未来手语研究中新发展的起点的可能性。

项目成果

姿勢・手指形推定に基づいた手話動作類語の試行的同定

基于姿势和手形估计的手语动作同义词试验识别

• 发表时间: 2022
• 期刊: 統計数理研究所共同研究リポート
• 作者: 新井博文;Blanco Negrete Salvador;Rollyn Labuguen;柴田智広;夏目季代久;武井洋子;田中省作・本田久平・バイティガザカリ
• 通讯作者: 田中省作・本田久平・バイティガザカリ

MediaPipeを利用した指文字学習支援のためのWebアプリケーション開発

使用 MediaPipe 开发支持手指字母学习的 Web 应用程序

• 发表时间: 2021
• 作者: Endo;T.;山下晃平;風間伸次郎;上村知也・本田久平・長谷川由美・田中省作
• 通讯作者: 上村知也・本田久平・長谷川由美・田中省作

6th International Conference on Intelligent Informatics and Biomedical Sciences

第六届智能信息学与生物医学科学国际会议

• 发表时间: 2021

全国手話検定試験で学ぶ基本単語に関する一考察：親密度と出現頻度の観点から

国家手语认证考试所学基本词汇研究——基于熟悉度和出现频率的视角

• 发表时间: 2020
• 作者: Tatsumi Tomoko;Chang Franklin;Pine Julian M.;Hideo Iwasaki;長谷川由美
• 通讯作者: 長谷川由美

日本手話初学者の指文字読取の誤り分析

日本手语初学者指纹读取错误分析

• 发表时间: 2021
• 作者: 渡邉孝継;竹森亜美;坂本真季;和田恵;木下愛;佐藤亜美;荻野梨紗子;佐々木水穂;濵田佳那;大石幸二;高橋秀俊;渡辺弥生;柴田直人;田中省作
• 通讯作者: 田中省作