大規模マルチモーダルアーカイブの視覚情報に基づく解析

本研究では、複数の文化、特に複数の国にわたる大規模マルチモーダルアーカイブの構造化並びにその探索技術の検討を行う。ニュースを主たる対象とする。特に、ニュースにまつわるメディア情報、すなわち放送映像やWeb情報等からなり、画像・映像・テキスト・音響等の複数のメディア情報、さらには人物、場所、時間、話題等の意味的重層構造をなし、それらが互いに関連しあっているような情報を適切に構造化し、特に複数階層のグラフ構造として表現する手法、またその構造との対話や可視化等の探索技術について検討する。さらには、特に日本とフランスにおいてこうした構造を抽出し、文化や国の違いに基づく相違点や共通点等を適切に探索可能とする。これにより、計算機科学における関連技術の進展が見込める他、社会科学やメディア学等に全く新たな研究手段を提供しうる。平成28年度は、日仏アーカイブの探索システムを実装し、当該システムの実利用者として想定している社会学者との共同研究を通して、当該システムを利用してもらい、その有効性を確認した。以上を要するに、本研究全般の有効性を確認した。

本研究では、複数の文化、特に複数の国にわたる大規模マルチモーダルアーカイブの構造化並びにその探索技術の検討を行う。ニュースを主たる対象とする。特に、ニュースにまつわるメディア情報、すなわち放送映像やWeb情報等からなり、画像・映像・テキスト・音響等の複数のメディア情報、さらには人物、場所、時間、話題等の意味的重層構造をなし、それらが互いに関連しあっているような情報を適切に構造化し、特に複数階層のグラフ構造として表現する手法、またその構造との対話や可視化等の探索技術について検討する。さらには、特に日本とフランスにおいてこうした構造を抽出し、文化や国の違いに基づく相違点や共通点等を適切に探索可能とする。これにより、計算機科学における関連技術の進展が見込める他、社会科学やメディア学等に全く新たな研究手段を提供しうる。平成28年度は、日仏アーカイブの探索システムを実装し、当該システムの実利用者として想定している社会学者との共同研究を通して、当該システムを利用してもらい、その有効性を確認した。以上を要するに、本研究全般の有効性を確認した。