音楽の意味構造に基づくマルチメディアデータベースの開発に関する研究

本研究では,ミュージカルのためのマルチメディアデータベースを例にとり,音楽の意味構造に基づくマルチメディア情報の構造化を行ない,データベースに格納し,この意味構造に基づく検索を行なえるようにすることで,より柔軟な音楽の検索を許すことを目標とした.そこで本研究では、まず,Jackendoffの調性音楽の生成理論に基づいて、楽曲の構造を分析し、表示するシステムの設計と実装を行なった。このシステムではJackendoffの調整音楽の生成理論に基づいて,楽曲のリズムや和音進行などからなる楽曲構造を解析する.現在、このシステムではグル-ピング構造とビ-ト構造の解析を行なうことができる。このようにして音楽より抽出された意味構造はデータベースに音楽を蓄積し,検索する際のスキーマとすることができる.さらに,マルチメディアデータベースにおいてメディア間の意味的な同期を表現する手段として適応型連続同期を提案した.たとえば,音楽メディアが映像の音声を表現している場合,両メディアの再生は連続的に同期している必要があるが,システムの負荷の変動などによってこの同期が失われてしまう.通常はどちらかのメディアの再生をとばすことで負荷の変動に追随するがこれだと両メディアの意味的な同期も失われてしまう.そこで,ここでは単に再生を飛ばすのではなく,両メディアが同期を保ちながら,再生を遅らせる適応型連続同期を提案した.

本研究では,ミュージカルのためのマルチメディアデータベースを例にとり,音楽の意味構造に基づくマルチメディア情報の構造化を行ない,データベースに格納し,この意味構造に基づく検索を行なえるようにすることで,より柔軟な音楽の検索を許すことを目標とした.そこで本研究では、まず,Jackendoffの調性音楽の生成理論に基づいて、楽曲の構造を分析し、表示するシステムの設計と実装を行なった。このシステムではJackendoffの調整音楽の生成理論に基づいて,楽曲のリズムや和音進行などからなる楽曲構造を解析する.現在、このシステムではグル-ピング構造とビ-ト構造の解析を行なうことができる。このようにして音楽より抽出された意味構造はデータベースに音楽を蓄積し,検索する際のスキーマとすることができる.さらに,マルチメディアデータベースにおいてメディア間の意味的な同期を表現する手段として適応型連続同期を提案した.たとえば,音楽メディアが映像の音声を表現している場合,両メディアの再生は連続的に同期している必要があるが,システムの負荷の変動などによってこの同期が失われてしまう.通常はどちらかのメディアの再生をとばすことで負荷の変動に追随するがこれだと両メディアの意味的な同期も失われてしまう.そこで,ここでは単に再生を飛ばすのではなく,両メディアが同期を保ちながら,再生を遅らせる適応型連続同期を提案した.