Entraînement de réseaux de neurones profonds à faible énergie en exploitant les compromis énergie-fiabilité

点击翻译按钮获取中文摘要

Les algorithmes d'apprentissage automatique basés sur des réseaux de neurones profonds ont révolutionné le domaine de l'intelligence artificielle (IA) en surpassant largement les approches existantes sur un grand nombre de tâches difficiles telles que la reconnaissance vocale ou la vision par ordinateur. Cependant, pour atteindre les meilleures performances, ces réseaux doivent être très complexes et être entraînés avec une grande quantité de données, ce qui requiert une importante dépense d'énergie. Il est donc d'une importance capitale de chercher à réduire la consommation d'énergie des tâches d'entraînement, d'autant plus que les progrès réalisés en IA ont toujours été fortement liés à la disponibilité de matériel de calcul performant. Le programme de recherche présenté vise à développer des approches pour grandement réduire la consommation d'énergie liée à l'entraînement des réseaux de neurones profonds et à leur utilisation. La portion du programme financée par la subvention Découverte se concentre sur l'entraînement et obtiendra des réductions d'énergie en éliminant une source d'inefficacité des systèmes de calcul qui est actuellement négligée, spécifiquement les compromis que l'on retrouve dans ces systèmes entre consommation d'énergie et fiabilité. Plusieurs méthodes seront proposées permettant d'obtenir des résultats d'entraînement équivalents même en présence d'erreurs de calcul occasionnelles, d'identifier les configurations du système qui minimisent la consommation d'énergie, et de garantir la qualité des systèmes de calcul fabriqués. De plus un prototype d'accélérateur de calcul à faible consommation d'énergie sera fabriqué afin de démontrer les réductions d'énergie obtenues. En réduisant significativement l'énergie requise pour entraîner un réseau de neurones, les travaux proposés permettront de réduire le coût monétaire des tâches d'entraînement et donc de rendre les méthodes d'apprentissage profond accessibles à un groupe d'utilisateurs plus grand et plus diversifié, tout en permettant aux chercheurs de continuer à explorer les possibilités offertes par des modèles encore plus complexes.