Monitoring and Debugging of High Performance Distributed Heterogeneous Cloud Applications

高性能分布式异构云应用的监控和调试

• 批准号: 554158-2020
• 负责人: Dagenais, Michel
• 金额: $ 24.98万
• 依托单位: École Polytechnique de Montréal
• 依托单位国家: 加拿大
• 项目类别: Alliance Grants
• 财政年份: 2021
• 资助国家: 加拿大
• 起止时间: 2021-01-01 至 2022-12-31
• 项目状态: 已结题
• 来源: https://www.nserc-crsng.gc.ca/ase-oro/Details-Detailles_eng.asp?id=721314
• 关键词: Monitoring; Debugging; Performance; Distributed; Heterogeneous

The communication and computing infrastructure is getting ever more sophisticated at an extremely rapid pace. Recent applications include 5G connected mobile devices, autonomous cars, smart robots and intelligent digital assistants powered by Machine Learning. These advances are made possible by a number of technological developments at the hardware and software levels, such as computer central processing units with tens of cores, coprocessors for graphics and intensive computations (GPGPU) with thousands of cores and over 18 billion logic elements, 5G low latency high speed networking, and Cloud based infrastructures that execute their requests in parallel.As a result, even a simple operation such as initiating a phone call, making a Web search, routing a packet or displaying a video frame, can involve many parallel cores on more than one processing unit, possibly on several servers. Moreover, the same operation, a few seconds later, may be served in a different way by different cores and physical servers in the Cloud. Therefore, understanding the performance of these operations has become extremely difficult and the tools for that purpose are severely lacking. In this project, the tracing, profiling, debugging and monitoring tools for High Performance Distributed Systems will be extended to efficiently extract information from all units in all layers, from the hardware to the applications, and cope with the large number of cores and computers. The project has a specific focus on Cloud applications connecting to mobile and Internet of Things devices through Edge servers and 5G networks, High Performance Computing exploiting the new generation of shared memory GPGPUs, Machine Learning applications, and a new modular architecture for more integrated software development tools. As a result, the designers and operators of High Performance Distributed Systems will have the tools in hand to quickly analyse their system performance, automatically or manually find problems, and optimise operations.#(cr)#(lf)L'infrastructure de calcul et de communication évolue très rapidement et devient toujours plus sophistiquée. Des exemples de nouvelles applications incluent l'informatique mobile avec les réseaux 5G, les voitures autonomes, les robots et assistants numériques intelligents et l'apprentissage machine. Ceci devient possible grâce à plusieurs avancées technologiques, tant matérielles que logicielles, comme les unités centrales de traitement avec des dizaines de coeurs, les coprocesseurs pour le graphisme et les calculs scientifiques (GPGPU) avec des milliers de coeurs, les réseaux 5G à haute vitesse et faible latence, et les infrastructures infonuagiques qui exécutent un grand nombre de requêtes en parallèle.En conséquence, une simple requête, comme faire une recherche sur la Toile ou afficher une image d'un vidéo, peut impliquer un grand nombre de coeurs en parallèle, possiblement sur plusieurs serveurs. Plus encore, la même opération, quelques secondes plus tard, pourrait être servie de manière différente, par différents coeurs et noeuds physiques, dans l'infonuagique. Ainsi, comprendre la performance de telles opérations devient extrêmement difficile et les outils disponibles présentent de nombreuses lacunes. Dans le cadre de ce projet, les outils pour le traçage, profilage, débogage et monitoring de systèmes répartis seront étendus pour efficacement extraire l'information de toutes les unités, à tous les niveaux, du matériel jusqu'aux applications. Le projet se concentre plus spécifiquement sur les applications infonuagiques connectant l'Internet des Objets à travers les réseaux 5G, l'utilisation des processeurs hétérogènes de type GPGPU pour les applications de haute performance, les applications d'apprentissage machine, et les architectures modulaires pour les environnements intégrés de développement. Ceci permettra aux concepteurs et opérateurs de systèmes répartis de haute performance d'avoir les outils en main pour rapidement

通信和计算基础设施正以极快的速度变得越来越复杂。最近的应用包括5G连接的移动的设备、自动汽车、智能机器人和由机器学习驱动的智能数字助理。这些进步是通过硬件和软件层面的许多技术发展实现的，例如具有数十个核心的计算机中央处理器，具有数千个核心和超过180亿个逻辑元件的图形和密集计算协处理器（GPGPU），5G低延迟高速网络以及并行执行其请求的基于云的基础设施。因此，即使是诸如发起电话呼叫、进行Web搜索、路由分组或显示视频帧的简单操作，也可能涉及在多于一个处理单元上（可能在若干服务器上）的许多并行核。此外，几秒钟后，相同的操作可能会由云中的不同核心和物理服务器以不同的方式提供服务。因此，了解这些行动的业绩变得极为困难，而且严重缺乏这方面的工具。在这个项目中，高性能分布式系统的跟踪，分析，调试和监控工具将被扩展，以有效地提取从硬件到应用程序的所有层中的所有单元的信息，并科普大量的核心和计算机。该项目特别关注通过边缘服务器和5G网络连接到移动的和物联网设备的云应用程序、利用新一代共享内存GPGPU的高性能计算、机器学习应用程序以及用于更集成软件开发工具的新模块化架构。因此，高性能分布式系统的设计者和操作者将拥有工具来快速分析他们的系统性能，自动或手动发现问题，并优化操作。(cr)#（lf）L'infrastructure de calcul et de communication évolue très rapidement et devient toujours plus sophistiquée.新应用程序的种类包括移动的信息技术，以及5G网络、移动机器人、智能机器人和数字助理。Ceci devient possible grâce à plusieurs avancées technologiques，tant matérielles que logicieles，comme les unités centrales de traitement avec des dizaines de coeurs，les copesseurs pour le graphisme et les calculs scientifiques（GPGPU）avec des milliers de coeurs，les réseaux 5G à haute vitesse et faible latence，et les infonuagiques qui executent un grand nombre de requêtes en parallèle.En conséquence，une simple requête，通过对纺织品的研究或对视频图像的影响，可以得出一个平行的大的核心名称，可能会对多个服务器产生影响。再加一次，同样的操作，第二次加第三次，在信息技术中，通过不同的心脏和身体来提供不同的服务。Ainsi，comprendre la performance de telles opérations devient extrêmement difficile et les outils disponibles présentent de nombreuses lacunes.在该项目的框架内，对系统进行处理、分析、调试和监测，以提高所有单元、图斯和材料应用程序的外部信息的效力。该项目集中并专门针对连接到5G网络的物联网的信息应用程序，利用GPGPU类型的hétérogènes处理器来实现高性能应用程序，实现机器的应用程序，以及实现分布式集成的模块化架构。Ceci permettra aux conceptualline et opérastance de systèmes répartis de haute performance d'avoir les outils en main pour rapidement