The Sem-Lex Benchmark: Modeling ASL Signs and their Phonemes
The Sem-Lex Benchmark: Modeling ASL Signs and their Phonemes
复制标题
Sem-Lex 基准：ASL 符号及其音素建模
DOI：
10.1145/3597638.3608408
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Pontecorvo, Elana
中科院分区：
文献类型：
--
作者：
Kezar, Lee;Thomason, Jesse;Caselli, Naomi;Sehyr, Zed;Pontecorvo, Elana
手语识别和翻译技术有可能增加聋人手语社区的访问和包容，但研究进展受到缺乏代表性数据的阻碍。我们介绍了一个新的资源，美国手语（ASL）建模，Sem-Lex基准。基准是目前同类产品中最大的，由超过84 k的聋人手语签名者制作的独立签名视频组成，这些签名者给予了知情同意并获得了赔偿。人类专家将这些视频与其他手语资源（包括ASL-LEX，SignBank和ASL Citizen）进行了比对，从而为手语和语音特征识别提供了有用的扩展。我们提出了一套实验，利用ASL-LEX中的语言信息，评估的实用性和公平性的Sem-Lex基准孤立标志识别（ISR）。我们使用的SL-GCN模型表明，语音特征是可识别的85%的准确率，他们是有效的作为一个辅助目标ISR。学习识别语音特征以及光泽的结果，在一个6%的提高少数镜头ISR的准确性和2%的提高ISR的准确性整体。下载数据的说明可在https://github.com/leekezar/SemLex上找到。
Sign language recognition and translation technologies have the potential to increase access and inclusion of deaf signing communities, but research progress is bottlenecked by a lack of representative data. We introduce a new resource for American Sign Language (ASL) modeling, the Sem-Lex Benchmark. The Benchmark is the current largest of its kind, consisting of over 84k videos of isolated sign productions from deaf ASL signers who gave informed consent and received compensation. Human experts aligned these videos with other sign language resources including ASL-LEX, SignBank, and ASL Citizen, enabling useful expansions for sign and phonological feature recognition. We present a suite of experiments which make use of the linguistic information in ASL-LEX, evaluating the practicality and fairness of the Sem-Lex Benchmark for isolated sign recognition (ISR). We use an SL-GCN model to show that the phonological features are recognizable with 85% accuracy, and that they are effective as an auxiliary target to ISR. Learning to recognize phonological features alongside gloss results in a 6% improvement for few-shot ISR accuracy and a 2% improvement for ISR accuracy overall. Instructions for downloading the data can be found at https://github.com/leekezar/SemLex.
登录
查看更多内容
手语的法律认可：世界各地的倡导和成果，de De Meulder、Murray i Mckee、Raquel Veiga Busto 撰写
DOI：
--
发表时间：
2021
期刊：
影响因子：
--
作者：
Raquel Veiga Busto
通讯作者：
Raquel Veiga Busto
聋还是不聋：这是一个问题
DOI：
--
发表时间：
2019
期刊：
Psychology
影响因子：
--
作者：
Kimberly K. Pudans‐Smith;Katrina R. Cue;Ju;M. Clark
通讯作者：
M. Clark
影响因子：
--
作者：
J. Hochgesang;O. Crasborn;Diane C. Lillo
通讯作者：
Diane C. Lillo
关于用符号语言定义词位
影响因子：
0.8
作者：
T. Johnston;Adam Schembri
通讯作者：
Adam Schembri
如何将手语作为第二语言来学习？
DOI：
10.1111/lnc3.12403
发表时间：
2020
期刊：
Lang. Linguistics Compass
影响因子：
--
作者：
C. Marshall;Aurora Bel;Sannah Gulamani;G. Morgan
通讯作者：
G. Morgan