Exploitation d'interactions 3d multimodales pour remplacer ou renforcer un retour visuel dans un environnement d'utilisation non-contrôlé.

点击翻译按钮获取中文摘要

Bien que l'être humain dispose de plusieurs sens, les interfaces utilisateurs standards ont tendance à se focaliser sur l'utilisation de la vision. Lorsque la vue est occupée par d'autres tâches, il apparaît que l'utilisation des canaux haptiques et/ou sonores peut contribuer à une amélioration de la communication entre l'humain et la machine. Le programme de recherche proposé s'inscrit dans cette initiative. Il vise l'étude de nouveaux outils (matériels et logiciels) exploitant plusieurs modalités sensori-motrices dans le but d'améliorer la communication entre un utilisateur et l'environnement numérique. Plus particulièrement, il entend concevoir, mettre en oeuvre et évaluer de nouveaux paradigmes multimodaux de perception et d'interaction de sorte à remplacer ou renforcer un retour visuel. Pour deux applications, nous nous intéressons au rendu multisensoriel et à l'intégration de ces informations par un utilisateur humain. La première application concerne l'utilisation de l'haptique comme canal de médiation d'informations. La seconde porte sur l'exploitation des gestes du pied et de rendus haptiques et sonores pour améliorer l'expérience d'interaction avec les périphériques mobiles. La recherche proposée se distingue à plusieurs niveaux des travaux de la littérature. En effet, en plus d'études approfondies sur les techniques de rendu multisensoriel, pour une tâche donnée, notre recherche entend arriver à une fine analyse des interactions pouvant exister entre les différents canaux sensorimoteurs. De plus, elle se propose d'étudier l'impact du contexte d'utilisation sur la perception. Par ailleurs, l'originalité de cette recherche repose sur l'utilisation d'un membre peu exploité (le pied) dans la communication entre l'humain et la machine. Enfin, au-delà des connaissances liées aux capacités de perception multisensorielles de l'humain, soulignons que du fait des deux applications considérées, la recherche proposée peut avoir un impact significatif sur la qualité de vie des personnes âgées ainsi que sur l'industrie des jeux pour périphériques mobiles.