Modélisation 3D d'environnement à grande échelle à partir de nuages de points destinée à des expériences artistiques et créatives de réalité augmentée

点击翻译按钮获取中文摘要

L'objectif de ce projet de recherche est d'évaluer la faisabilité de mise en oeuvre d'une solution de réalité augmentée sans marqueurs reposant sur l'exploitation de nuages de points LiDAR. Cette recherche préliminaire a pour finalité d'être en mesure de proposer au public des expériences artistiques et créatives de réalité augmentée dans des environnements à grande échelle sans devoir y intégrer des marqueurs physiques. Ce projet vise en particulier à résoudre deux difficultés qui ont été mises en évidence dans le cadre de la demande SEP initiale: la première difficulté concerne la mise en oeuvre de la réalité augmentée sur la base de marqueurs. Leur usage est à la fois invasif dans les lieux extérieurs et peu pérenne vis-à-vis des conditions climatiques. La deuxième difficulté concerne l'imprécision du recalage de l'objet graphique virtuel dans la scène réelle. Cette imprécision est due, entre autres, à l'imprécision du positionnement du marqueur dans l'environnement virtuel vis-à-vis de sa localisation effective dans l'environnement extérieur réel. Pour réaliser ce projet, nous proposons de procéder en trois étapes : la première étape portera sur la génération des nuages de points issus des images optiques et caractérisant les régions d'intérêt. Nous ferons appel à une technologie à code ouvert à cet effet (i.e. Visual SFM). La deuxième étape portera sur le recalage 3D SFM - 3D LiDAR. La troisième étape se consacrera à la détection puis au recalage sur les régions d'intérêt à partir du flux vidéo de la tablette. La faisabilité de mise en oeuvre des approches proposées sera évaluée dans l'environnement intérieur contrôlé puis dans l'espace extérieur à grande échelle numérisés puis modélisés en 3D lors du projet appuyé par la demande SEP initiale. Les résultats attendus à la fin de ce projet sont : une approche préliminaire pour la mise en oeuvre d'une solution de réalité augmentée sans marqueurs reposant sur l'exploitation de nuages de points LiDAR, un rapport technique détaillant la démarche et l'approche élaborée, une identification des problématiques, obstacles, défis restant à résoudre, et des recommandations quant à la suite à donner à cette recherche.