Architectures intermédiaires pour l'inférence et l'entraînement de réseaux de neurones embarqués

神经网络中的推理和介入的架构

• 批准号: RGPIN-2018-04478
• 负责人: Langlois, Pierre
• 金额: $ 3.35万
• 依托单位: École Polytechnique de Montréal
• 依托单位国家: 加拿大
• 项目类别: Discovery Grants Program - Individual
• 财政年份: 2020
• 资助国家: 加拿大
• 起止时间: 2020-01-01 至 2021-12-31
• 项目状态: 已结题
• 来源: https://www.nserc-crsng.gc.ca/ase-oro/Details-Detailles_eng.asp?id=712933
• 关键词: Architectures; interm; diaires; pour; inf

Les bonds prodigieux des cinq dernières années en apprentissage automatique pointent vers un monde où l'intelligence artificielle aura une incidence grandissante dans nos vies. Pourtant, ces réalisations impressionnantes sont souvent le résultat de longues explorations algorithmiques par des serveurs de calcul très énergivores. Compléter la révolution de l'apprentissage machine nécessitera l'accès à des dispositifs embarqués qui apprendront par eux-mêmes à partir du monde qui les entoure : téléphones intelligents, lunettes, jouets, montres, drones, robots, informatique vestimentaire et véhicules autonomes. Il y a plusieurs choix pour l'implémentation de l'inférence et de l'apprentissage pour des réseaux de neurones. Les CPU traditionnels ne conviennent pas à la tâche dès que la charge de traitement est importante. Les GPU capitalisent sur la parallélisation des calculs. Cependant, leur efficacité énergétique laisse à désirer et les rend mal adaptés à des applications embarquées. Les circuits sur mesure (ASIC) sont les plus performants, mais ils souffrent de coûts non récurrents faramineux et de longs délais de développement. Les FPGA semblent offrir un compromis idéal : ils ont un faible coût unitaire, offrent un grand parallélisme et consomment peu de puissance par rapport aux GPU. Cependant, ils souffrent de deux problèmes principaux : (1) la productivité atteinte avec les GPU (dizaines de minutes pour implémenter un algorithme) est beaucoup plus grande que celle avec les FPGA (dizaines d'heures) et (2) la latence de reconfiguration (cycle synthèse-placement-routage) peut être excessive. Les architectures intermédiaires (overlays) ont été proposées afin de pallier ces problèmes. Un FPGA peut être vu comme une architecture intermédiaire à grain très fin : bascules, tables de conversion (LUT) et multiplieurs. Une architecture intermédiaire à grain grossier comporte des unités de traitement plus complexes et mieux adaptées à une classe d'applications. Une architecture intermédiaire nécessite un compilateur pour porter une application vers l'architecture. Le programme de recherche proposé s'attaquera donc au problème de la conception, de l'implémentation, de la programmation et de la reconfiguration rapide d'architectures intermédiaires pour l'inférence et l'entraînement de réseaux de neurones embarqués. Les objectifs du programme incluent le développement de nouvelles architectures intermédiaires et d'outils de conception appropriés, la proposition de nouvelles structures de calcul et d'entreposage, puis la conception de nouveaux supports matériels pour ces architectures. L'atteinte de ces objectifs facilitera le déploiement d'applications d'apprentissage machine dans des systèmes embarqués indépendants et démocratisera l'accès au développement de ces applications, qui est présentement réservé à quelques initiés hautement spécialisés.

这些债券在过去的五年里自动地向一个人工智能的世界发出了巨大的影响。然而，这些现实化的印象sont souvent le resultat de longues explorations algorithmiques par des serveurs de calcul très énergivores。完成信息机器的革命必须要有这样的处理器：智能电话、月球机、飞行器、月球机、无人机、机器人、信息储存器和飞行器。 Il y a plusieurs choix pour l'implémentation de l'inférence et de l'authorisage pour des réseaux de neurones. Les CPU traditionnels ne conviennent pas à la tâche dès que la charge de treitement est importante. Les GPU capitalisent sur la parallélisation des calculs.同时，提高能源效率，使其适应禁运的应用。测量电路（ASIC）是高性能的，但迈斯不受电流影响，而且长期处于不稳定状态。FPGA似乎提供了一个理想的折衷方案：它提供了一个不可靠的统一概念，提供了一个大的并行性，并通过与GPU的关系实现了强大的功能。然而，他们面临着两个主要问题：（1）GPU的生产率下降（dizaines de minutes pour implémenter un algorithme）与FPGA的策勒增长（dizaines d 'heures）非常之大，（2）重新配置的延迟（cycle delayèse-placement-routage）可能过多。 Les architectures intermediaires（overlays）ont été proposées afin de pallier ces problèmes. Un FPGA peut être vu comme une architecture intermediaire à grain très fin：bascules，tables de conversion（LUT）et multiplieurs. Une architecture interédiaire à grossier comporte des unités de traitement plus complex et mieux adaptées à une classe d 'applications. Une architecture intermédiaire néprofiteur un compilateur pour porter une application vers l'architecture. Le programme de recherche proposé s'attaquera donc Au problème de拉康塞普雄，de l'implémentation，de la programmation et de la reconfiguration rapide d'architectures intermediaires pour l'inférence et l'entraadernement de réseaux de neurones embarqués. 方案的目标包括发展新的中间建筑和适当的概念，提出新的计算和创业结构，以及新的概念支持这些建筑的材料。L'atteinte de ces objectifs facilitera le déploiement d'applications d'automissage machine dans des systèmes embarqués indépendants et démocratisera l'accès Au dépément de ces applications，qui est présentement réservé à quelques initiés hautement spécialisés.