Sprecherunabhängige Gebärdenspracherkennung mit großem Vokabular auf der Basis von Untereinheiten-Modellen

基于子单元模型的大词汇量与说话人无关的手语识别

• 批准号: 13983024
• 负责人: Professor Dr.-Ing. Karl-Friedrich Kraiss
• 金额: --
• 依托单位: Institut für Mensch-Maschine-Interaktion (MMI)
• 依托单位国家: 德国
• 项目类别: Research Grants
• 财政年份: 2005
• 资助国家: 德国
• 起止时间: 2004-12-31 至 2009-12-31
• 项目状态: 已结题
• 来源: https://gepris.dfg.de/gepris/projekt/13983024?language=en
• 关键词: Sprecherunabh; ngige; Geb; rdenspracherkennung; mit

Gegenwärtig wird ein bestehendes System zur Erkennung der deutschen Gebärdensprache weiterentwickelt, welches simultan Gestik und Mimik eines Gebärdensprechers videobasiert erfassen kann. Unter Verwendung von Ganzwortmodellen werden kontinuierliche Gebärdensätze sprecherabhängig mit einer Akkuratheit von 91,9% erkannt. Es wird erwartet, dass sich durch eine Unterteilung von Gebärden in kleinere Untereinheiten – ähnlich den Phonemen in der Lautsprache – der Trainingsaufwand erheblich reduzieren lässt. Im Rahmen des Projekts konnten auf dem Weg zur sprecherunabhängigen Erkennung eines großen Vokabulars auf Basis von Untereinheiten-Modellen bereits viele Teilziele erfolgreich umgesetzt werden. Der im Aufbau befindliche Gebärdensprachkorpus ist in seinem Umfang, was die Größe des Vokabulars und der Trainingspopulation betrifft, weltweit einzigartig. Eine Merkmalsnormierung und -selektion führte zu einer Steigerung der sprecherunabhängigen Erkennungsleistung von 45,5 % auf 68,1 %. Eine weitere Steigerung ergibt sich durch den Einsatz eines kombinierten Ansatzes zur Sprecheradaption, der eine schnelle Adaption der Modelle an einen unbekannten Sprecher gewährleistet. Das entwickelte Verfahren zur automatischen Transkription von Gebärden in Untereinheiten ermöglicht derzeit, für einen Sprecher bei verschiedenen Ausführungen derselben Gebärde eine recht stabile Unterteilung zu erhalten. Zwischen den Sprechern allerdings unterscheiden sich die Transkriptionen bislang noch teils sehr deutlich. Die Behandlung dieses Problems ist daher das primäre Ziel des vorliegenden Fortsetzungsantrags. Die Umsetzung erfordert eine weiterführende Erforschung sprecherinvarianter Merkmale sowie geeigneter Verfahren zur Sprechernormierung. Zudem muss der Gebärdensprachkorpus um weitere Trainingssprecher erweitert werden, um ein stabiles Aussprachelexikon schätzen zu können. Die automatische Transkription von Gebärden soll zukünftig nicht mehr rein datengetrieben erfolgen sondern auch Erkenntnisse aus manuell durchgeführten Unterteilungen einbeziehen. Ferner wird ein Speaker Clustering Verfahren zur schnellen Sprecheradaption implementiert, das von einer erweiterten Trainingspopulation profitiert.

Gegenwärtig wird ein bestehendes System zur Erkennung der deutschen Gebärdensprache weiterentwickelt，welches simultan Gestik und Mimik eines Gebärdensprechers videobasiert erfassen kann.通过对Ganzwortmodellen韦尔登的测试，可持续地获得91.9%的可再生能源。这将是一个很好的例子，它通过一个小的Untereinheiten - ähnlich den Phonemen in der Lautsprache - der Trainingsaufwand erheblich reduzieren lässt的Gebärden的Unterteilung来实现。Im Rahmen des Projekts konnten auf dem Weg zur sprecherunabhängigen Erkennung eines greßen Vokabulars auf Basis von Untereinheiten-Modellen bereits viele Teilziele erfolgreich umgesetzt韦尔登. Der im Aufbau befindliche Gebärdensprachkorpus ist in seinem Umfang，was die Größe des Vokabulars und der Trainingspopulation betrifft，weltweit einzigartig. Eine Merkmalsnormierung und -selektion führte zu einer Steigerung der sprecherunabhängigen Erkennungsleistung von 45，5% auf 68，1%.另一种方法是通过一种组合的Sprecher适应性分析，一种模型的schnelle适应性分析，一种不确定的Sprecher适应性分析。Das entwickelte Verfahren zur automatischen Transkription von Gebärden in Untereinheiten ermöglicht derzeit，für einen Sprecher bei verbedenen Ausführungen derselben Gebärde eine recht stabile Unterteilung zu erhalten.如果你想让我们的翻译更好一些，请点击这里。这些问题的处理是最主要的问题。Die Umsetzung erfordert eine weiterfückle de Erforschung sprecherinvarianter Merkmale sowie geeigneter Verfahren zur Sprechernormierung. Zudem muss der Gebärdensprachkorpus um weitere Trainingssprecher erweitert韦尔登，um ein stabiles Aussprachelexikon schätzen zu können. Die automatische Transkription von Gebärden soll zukünftig nicht梅尔rein datengetrieben erfolgen sondern auch Erkenntnisse aus manuell durchgeführten Unterteilungen einbeziehen.因此，我们将设计一个Speaker Clustering Verfahren来实现Sprecheradaption，这将为培训人员带来更多的好处。