ANR Multimodal analysis and knowledge inference for musical orchestration (MAKIMOno)

点击翻译按钮获取中文摘要

Ce projet aborde de façon scientifique un des aspects les plus complexes de la musique: l'utilisation du timbre afin de façonner la musique par l'orchestration. En interaction étroite avec une entreprise canadienne, OrchPlayMusic Inc., ce projet novateur conduira à la création de technologies de l'information pour l'inter- action humaine avec les médias numériques qui changeront radicalement la pédagogie de l'orchestration, fourniront de meilleurs outils pour la création musicale assistée par ordinateur et amélioreront la compréhen- sion des principes perceptifs qui sous-tendent la pratique de l'orchestration. Le timbre est l'ensemble des couleurs sonores qui différencient les sons des instruments ou leurs mélanges. L'orchestration est l'art de combiner les instruments pour atteindre un objectif de couleur sonore. La pédagogie de l'orchestration se focalise uniquement sur la façon dont les compositeurs arrangent les instruments plutôt que sur les raisons de ces choix. Nous aborderons scientifiquement le pourquoi selon les méthodes de l'informatique, du traitement de signal et de la psychologie expérimentale. Fondé sur les résultats de nos subventions préalables, ce projet créera de nouvelles techniques d'analyse, d'apprentissage et d'interaction qui révèleront les bases théoriques de l'orchestration. Ces techniques comprennent l'analyse multi-variée de séries temporelles et l'inférence de connaissances par "apprentissage profond" qui décryptera automatiquement la structure des représentations musicales multimodales (symboles musicaux, propriétés acoustiques, résultats perceptifs) afin de fournir des descripteurs optimaux pour la compréhension des principes de l'orchestration. Des principes perceptifs solides et des exemples d'orchestration caractérisés empiriquement nous permettrons d'élaborer une théorie scientifique de l'orchestration à partir d'une grande base de données multimodales. Résoudre ces problématiques dans une collaboration étroite avec la France nous conduira vers la conception de techniques génériques d'apprentissage multimodal et d'analyse qui pourront être généralisées aux domaines de l'apprentissage par ordinateur et de la perception computationnelle, ce qui placera le Canada au premier plan de l'innovation interdisciplinaire.