言語-非言語情報間の有機的結合モデルによる画像理解システムに関する研究

点击翻译按钮获取中文摘要

認識・理解対象に依存せず、認識・理解の様々なゴールに対処できるような柔軟な画像理解法を実現するために、以下のような研究を行った。画像の持つ定量的な情報と言語が持つ抽象的な情報とを有機的に関係付ける知識表現モデルを用いた画像理解システムをワークステーション上に構築した。本システムは、画像に関するプリミティブな知識以外は全てモデル上に表現する様にしており、教師付き学習、教師無し学習によって獲得した知識はモデル上に蓄えられる。構築されたモデルは、それをどの様に利用するかにより、知識にも理解にも対処可能である点が本システムの特徴である。この画像理解システムに対し以下のような改定を行った。まず、本認識・理解システムと接続可能で、プログラムにより直接制御可能な、画像処理用VTRを設備備品費により購入し、本システムへの提示画像を静止画から動画に変更するためのシステム開発を行った。これにより本認識・理解システムは、システムが要求する任意の時刻における認識対象の動きに関する画像を得る事が可能になった。次に、対象の動きに関するプリミティブ要素をシステム内に持たせるようにシステムの拡張を行う事により、対象の動きに関する情報をモデル内に蓄える事を可能にした。これにより、対象の構成要素の機能を表す言語情報、対象の形状を表す言語情報、の2種類の言語情報に加えて、より一般的な対象を記述する上で不可欠となる、動きを形容する言語情報に関しても学習が可能になった。最後に、様々な動画を用い、様々なゴールに関して実験を行ない、本システムの認識性能、対象記述性能の検証を行なった。