音と映像の複合分析による動画コンテンツ理解の研究

平成27年度には、音楽動画の内容理解技術に関連した研究として、主に以下の二点に取り組んだ。①従来の特徴表現を用いない音楽のモデリング手法とそれを応用したアプリケーションの開発。②動画の音声と映像の内容に依存した動画伸縮手法を提案。具体的には、従来の特徴表現を用いないモデリング手法では、トピックモデルという自然言語処理分野において活発に研究されている機械学習のモデリング手法を用いて、音楽集合から、意味を持った特徴（トピック）を学習し、その特徴を用いて音楽の内容を記述する新たな手法を提案した（①）。特にユニークな点として、音楽における記号と自然言語における単語（Word）との間を繋ぐ特徴の表現手法であり、この手法は音楽動画における音楽の特徴表現として利用可能なものである。また、研究計画の立案当初は、大量の動画の分析に際して、スケーリング手法を考慮しておらず、マシンパワーに頼って時間をかけるアプローチを考えていたが、本年度の成果の一つとして、動画の音と映像のエッセンスを保持したままで動画を圧縮する手法を提案した（②）。これにより、大量の動画の分析を元のまま分析するよりも高速に行うことを可能とした。それぞれの成果は国内学会における発表の後に国際会議での発表も行った。具田的には、①の成果については国際会議ACE2015及びMMM2016にて、②の成果についてはMMM2016にて発表した。上記の研究成果に加えて、本年度は、本研究課題の最終年度としてこれまでの研究成果の中で、未発表であった研究成果を積極的に対外発表していった。特に、これまでに機会が少なかった国際会議での発表を増やし、実際に５本の主著国際会議論文を発表することができた。また、本年度は申請者の博士論文の審査があり、本研究課題で取り組んだ内容のほとんどがその論文の中核として重要な役割を果たした。

平成27年度には、音楽動画の内容理解技術に関連した研究として、主に以下の二点に取り組んだ。①従来の特徴表現を用いない音楽のモデリング手法とそれを応用したアプリケーションの開発。②動画の音声と映像の内容に依存した動画伸縮手法を提案。具体的には、従来の特徴表現を用いないモデリング手法では、トピックモデルという自然言語処理分野において活発に研究されている機械学習のモデリング手法を用いて、音楽集合から、意味を持った特徴（トピック）を学習し、その特徴を用いて音楽の内容を記述する新たな手法を提案した（①）。特にユニークな点として、音楽における記号と自然言語における単語（Word）との間を繋ぐ特徴の表現手法であり、この手法は音楽動画における音楽の特徴表現として利用可能なものである。また、研究計画の立案当初は、大量の動画の分析に際して、スケーリング手法を考慮しておらず、マシンパワーに頼って時間をかけるアプローチを考えていたが、本年度の成果の一つとして、動画の音と映像のエッセンスを保持したままで動画を圧縮する手法を提案した（②）。これにより、大量の動画の分析を元のまま分析するよりも高速に行うことを可能とした。それぞれの成果は国内学会における発表の後に国際会議での発表も行った。具田的には、①の成果については国際会議ACE2015及びMMM2016にて、②の成果についてはMMM2016にて発表した。上記の研究成果に加えて、本年度は、本研究課題の最終年度としてこれまでの研究成果の中で、未発表であった研究成果を積極的に対外発表していった。特に、これまでに機会が少なかった国際会議での発表を増やし、実際に５本の主著国際会議論文を発表することができた。また、本年度は申請者の博士論文の審査があり、本研究課題で取り組んだ内容のほとんどがその論文の中核として重要な役割を果たした。