权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

相補的な音楽と画像の構成要素間における共起性を考慮した解釈可能な検索・変換の実現

考虑互补音乐和图像成分共现的可解释搜索和转换的实现

基本信息

批准号：
22K18017
负责人：
中塚貴之
金额：
$ 3万
依托单位：
National Institute of Advanced Industrial Science and Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K18017/
关键词：
画像処理音楽情報処理クロスモーダル機械学習

项目摘要

本年度は、音楽と画像におけるコンテンツデータの差異を超えて、相補的な音楽と画像を双方向に検索可能なクロスモーダル技術の研究開発を実施した。従来の研究における音楽と画像クロスモーダル検索技術の多くは、感情タグやムードタグいったメタデータを利用していた。しかしながら、そのようなメタデータが付与されている音楽と画像のデータは限られており、また、そのようなメタデータを含むデータセットを構築することは多くの労力を要する。この問題に対するアプローチとして、メタデータを利用せず、音楽と画像のコンテンツに基づく検索手法を研究開発した。楽曲とその代表画像（ジャケット画像、サムネイル画像など）といったペアデータに着目し、それらの特徴ベクトルが近くに配置されるような音楽と画像が共有する特徴量空間を構築した。この音楽と画像が共有する特徴量空間を構築する際、学習過程の特徴ベクトルをメモリ上に保存しておき、保存した特徴ベクトルを再度学習に利用する新しいメモリ機構を開発した。実験の結果、従来のコンテンツに基づく検索手法およびメモリ機構と比較して、正しいペアの音楽と画像を検索できることを示した。また、この音楽と画像が共有する特徴量空間では、性質の似たコンテンツ（音楽ジャンルなど）の特徴ベクトルが配置されていることを可視化した。そのためこの技術を用いることで、例えばポピュラー音楽の音楽音響信号をクエリとして、そのクエリにあった画像をメタデータを使わずに検索することが可能となった。これらの成果をまとめた論文がコンピュータビジョンの主要な国際会議であるIEEE/CVF WACV 2023に採択され、２０２３年１月に口頭、及びポスターで発表した。

This year, the research and development of technology for exploring the possibility of two-way communication between sound and image has been carried out. In recent years, research has been carried out on the use of sound and image technologies. The music and pictures are limited to the music and pictures, and the music and pictures are limited to the pictures. The problem is to develop a basic search method for the use of sound and image. The representative image of the song ( When constructing the feature space shared by the sound and image, the feature space of the learning process is preserved, the feature space is preserved, and the new feature space is utilized for re-learning. The result of the experiment is that the basic search method and the mechanism are compared, and the sound and image are displayed The feature space of the sound and image is visualized. For example, if you want to use the technology, you can use the technology. The results were presented at major international conferences such as IEEE/CVF WACV 2023, and in January 2023.