SmartKom: adaptive and flexible multimodal access to multiple applications
SmartKom: adaptive and flexible multimodal access to multiple applications
复制标题
SmartKom：对多个应用程序的自适应且灵活的多模式访问
DOI：
10.1145/958432.958454
复制
发表时间：
2003
期刊：
影响因子：
--
通讯作者：
Valentin Tschernomas
中科院分区：
文献类型：
--
作者：
Norbert Reithinger;J. Alexandersson;Tilman Becker;Anselm Blocher;Ralf Engel;Markus Löckelt;Jochen Müller;Norbert Pfleger;P. Poller;M. Streit;Valentin Tschernomas
开发一个支持多模式访问多个应用程序的智能用户界面是一项具有挑战性的任务。在本文中，我们提出了一个通用的多模态界面系统，用户使用语音和自然手势与拟人化的个性化界面代理进行交互。SmartKom基于知识的统一方法使我们能够实现一个全面的系统，该系统能够理解不精确，模糊或不完整的多模态输入，并为三种场景生成协调，连贯和连贯的多模态演示，目前解决了14个应用程序的50多种不同功能。我们展示了主要的想法，通过步行的主要处理步骤，从模态融合到模态裂变。
The development of an intelligent user interface that supports multimodal access to multiple applications is a challenging task. In this paper we present a generic multimodal interface system where the user interacts with an anthropomorphic personalized interface agent using speech and natural gestures. The knowledge-based and uniform approach of SmartKom enables us to realize a comprehensive system that understands imprecise, ambiguous, or incomplete multimodal input and generates coordinated, cohesive, and coherent multimodal presentations for three scenarios, currently addressing more than 50 different functionalities of 14 applications. We demonstrate the main ideas in a walk through the main processing steps from modality fusion to modality fission.