相補的な音楽と画像の構成要素間における共起性を考慮した解釈可能な検索・変換の実現

本年度は、音楽と画像におけるコンテンツデータの差異を超えて、相補的な音楽と画像を双方向に検索可能なクロスモーダル技術の研究開発を実施した。従来の研究における音楽と画像クロスモーダル検索技術の多くは、感情タグやムードタグいったメタデータを利用していた。しかしながら、そのようなメタデータが付与されている音楽と画像のデータは限られており、また、そのようなメタデータを含むデータセットを構築することは多くの労力を要する。この問題に対するアプローチとして、メタデータを利用せず、音楽と画像のコンテンツに基づく検索手法を研究開発した。楽曲とその代表画像（ジャケット画像、サムネイル画像など）といったペアデータに着目し、それらの特徴ベクトルが近くに配置されるような音楽と画像が共有する特徴量空間を構築した。この音楽と画像が共有する特徴量空間を構築する際、学習過程の特徴ベクトルをメモリ上に保存しておき、保存した特徴ベクトルを再度学習に利用する新しいメモリ機構を開発した。実験の結果、従来のコンテンツに基づく検索手法およびメモリ機構と比較して、正しいペアの音楽と画像を検索できることを示した。また、この音楽と画像が共有する特徴量空間では、性質の似たコンテンツ（音楽ジャンルなど）の特徴ベクトルが配置されていることを可視化した。そのためこの技術を用いることで、例えばポピュラー音楽の音楽音響信号をクエリとして、そのクエリにあった画像をメタデータを使わずに検索することが可能となった。これらの成果をまとめた論文がコンピュータビジョンの主要な国際会議であるIEEE/CVF WACV 2023に採択され、２０２３年１月に口頭、及びポスターで発表した。

本年度は、音楽と画像におけるコンテンツデータの差異を超えて、相補的な音楽と画像を双方向に検索可能なクロスモーダル技術の研究開発を実施した。従来の研究における音楽と画像クロスモーダル検索技術の多くは、感情タグやムードタグいったメタデータを利用していた。しかしながら、そのようなメタデータが付与されている音楽と画像のデータは限られており、また、そのようなメタデータを含むデータセットを構築することは多くの労力を要する。この問題に対するアプローチとして、メタデータを利用せず、音楽と画像のコンテンツに基づく検索手法を研究開発した。楽曲とその代表画像（ジャケット画像、サムネイル画像など）といったペアデータに着目し、それらの特徴ベクトルが近くに配置されるような音楽と画像が共有する特徴量空間を構築した。この音楽と画像が共有する特徴量空間を構築する際、学習過程の特徴ベクトルをメモリ上に保存しておき、保存した特徴ベクトルを再度学習に利用する新しいメモリ機構を開発した。実験の結果、従来のコンテンツに基づく検索手法およびメモリ機構と比較して、正しいペアの音楽と画像を検索できることを示した。また、この音楽と画像が共有する特徴量空間では、性質の似たコンテンツ（音楽ジャンルなど）の特徴ベクトルが配置されていることを可視化した。そのためこの技術を用いることで、例えばポピュラー音楽の音楽音響信号をクエリとして、そのクエリにあった画像をメタデータを使わずに検索することが可能となった。これらの成果をまとめた論文がコンピュータビジョンの主要な国際会議であるIEEE/CVF WACV 2023に採択され、２０２３年１月に口頭、及びポスターで発表した。