Improving Keyword Search Performance in Sign Language with Hand Shape Features
Improving Keyword Search Performance in Sign Language with Hand Shape Features
复制标题
利用手形特征提高手语关键词搜索性能
DOI：
--
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
M. Saraçlar
中科院分区：
文献类型：
--
作者：
Nazif Can Tamer;M. Saraçlar
。手形和人体姿势估计是手语识别中最常用的预训练特征之一。在本研究中，我们开发了一种用于手语的基于手形的关键字搜索（KWS）系统，并比较了不同的基于姿势和基于手形的编码器，用于大词汇量手语检索任务。通过在后期融合方法中结合基于姿势和手形的 KWS 模型，我们将手语中的 KWS 性能提高了 3.5%，将注释搜索的 mAP 分数提高了 3.5%，将跨语言 KWS 的 mAP 分数提高了 1.6%。
. Handshapes and human pose estimation are among the most used pretrained features in sign language recognition. In this study, we develop a handshape based keyword search (KWS) system for sign language and compare different pose based and handshape based encoders for the task of large vocabulary sign retrieval. We improved KWS performance in sign language by 3.5% mAP score for gloss search and 1.6% for cross-lingual KWS by combining pose and handshape based KWS models in a late fusion approach.