映像の知的構造化による大規模ニュース映像コーパスからの検索・情報発見に関する研究

点击翻译按钮获取中文摘要

本研究では、ニュース映像中を構成する、動画像・主音声(日本語)・副音声(英語)・字幕放送を連日取得・蓄積して研究に供する。本年度中に、これらのデータをのべ約150時間分、導入したハードディスクアレイに蓄積した。これらのデータに対し、(1)蓄積するためのデータベースの構築、(2)アクセスするためのプログラムライブラリの開発、(3)映像の閲覧のためのインタフェースの開発、(4)映像への索引付けに関する研究、(5)映像の構造化及び分類に関する研究、(6)映像データマイニングに関する研究を行った。(1)、(2)では、商用データベースシステムOracle上に映像データを蓄積し、それにアクセスするための機構を実現した。(3)では(1)、(2)の機構を利用して、蓄積したデータを容易に閲覧できるようにした。また、字幕放送及び電子番組表と連動させることにより、簡単な検索機能も実現した。これらの実現により、今後研究を遂行するうえで必要となる、映像の管理のために最低限必要な準備ができた。(4)では、ニュース映像中に出現する人物の名前と顔の画像の対応付けを完全に自動化したシステムを実現した。(5)では、画像特徴量に基づき、ニュース映像を階層的に構造化し、内容に応じて構造化された映像を自動的に分類した。(6)では、ニュース映像中に共起する人物名を抽出することにより、ニュースで話題となっている人物の人間関係に関する知識の抽出及び可視化を行った。また、これらを実現するために必要な基礎的技術として、顔画像の照合に関する研究、移動する人物を追跡する研究、画像中からの繰り返し動作の検出に関する研究も併せて行った。