Entraînement de réseaux de neurones profonds à faible énergie en exploitant les compromis énergie-fiabilité

神经元研究的诱捕和不可靠的能量与妥协的能量不稳定性的开发

• 批准号: RGPIN-2021-04242
• 负责人: LeducPrimeau, François
• 金额: $ 2.04万
• 依托单位: École Polytechnique de Montréal
• 依托单位国家: 加拿大
• 项目类别: Discovery Grants Program - Individual
• 财政年份: 2021
• 资助国家: 加拿大
• 起止时间: 2021-01-01 至 2022-12-31
• 项目状态: 已结题
• 来源: https://www.nserc-crsng.gc.ca/ase-oro/Details-Detailles_eng.asp?id=742882
• 关键词: Entra; nement; de; seaux; neurones

Les algorithmes d'apprentissage automatique basés sur des réseaux de neurones profonds ont révolutionné le domaine de l'intelligence artificielle (IA) en surpassant largement les approches existantes sur un grand nombre de tâches difficiles telles que la reconnaissance vocale ou la vision par ordinateur. Cependant, pour atteindre les meilleures performances, ces réseaux doivent être très complexes et être entraînés avec une grande quantité de données, ce qui requiert une importante dépense d'énergie. Il est donc d'une importance capitale de chercher à réduire la consommation d'énergie des tâches d'entraînement, d'autant plus que les progrès réalisés en IA ont toujours été fortement liés à la disponibilité de matériel de calcul performant. Le programme de recherche présenté vise à développer des approches pour grandement réduire la consommation d'énergie liée à l'entraînement des réseaux de neurones profonds et à leur utilisation. La portion du programme financée par la subvention Découverte se concentre sur l'entraînement et obtiendra des réductions d'énergie en éliminant une source d'inefficacité des systèmes de calcul qui est actuellement négligée, spécifiquement les compromis que l'on retrouve dans ces systèmes entre consommation d'énergie et fiabilité. Plusieurs méthodes seront proposées permettant d'obtenir des résultats d'entraînement équivalents même en présence d'erreurs de calcul occasionnelles, d'identifier les configurations du système qui minimisent la consommation d'énergie, et de garantir la qualité des systèmes de calcul fabriqués. De plus un prototype d'accélérateur de calcul à faible consommation d'énergie sera fabriqué afin de démontrer les réductions d'énergie obtenues. En réduisant significativement l'énergie requise pour entraîner un réseau de neurones, les travaux proposés permettront de réduire le coût monétaire des tâches d'entraînement et donc de rendre les méthodes d'apprentissage profond accessibles à un groupe d'utilisateurs plus grand et plus diversifié, tout en permettant aux chercheurs de continuer à explorer les possibilités offertes par des modèles encore plus complexes.

基于深度神经元网络的自动识别算法是人工智能（IA）领域的一次革命，它超越了现有的语音识别或视觉识别等难度较大的方法。然而，为了达到最佳性能，这些网络非常复杂，而且有大量的电力，需要一个重要的能源消耗。Il is don c d'une importance capital de chercher à réduire la consommation d'énement des tâches d'entraumnement，d'autant plus que les progrès réalisés en IA ont toujours été fortement liés la disponibilité de matériel de calcul performant. Le programme de recherche présenté vise à déreches des approaches pour grandement réduire la consommation d'énergie liée à l'entraquinement des réseaux de neurones profounds et à certainly utilization.通过补助金提供的方案资金部分集中于能源的投入和产出，以消除实际能源消耗和可靠性计算系统效率低下的根源，特别是在能源消耗和可靠性计算系统中恢复的损害。许多人提出的方法都是通过计算误差的存在来获得等效的结果，确定最小化能耗的系统配置，并保证计算系统的质量。此外，一个计算能量消耗的加速器原型也可以用来模拟获得的能量。在为进入神经元网络而进行的有意义的能源需求研究中，建议的研究工作包括：为一个大型和多样化的应用组提供可获得的深度学习方法，并继续探索通过再核心复合物模型提供的可能性。