音声・言語・画像情報の統合化による概念の獲得に関する研究

点击翻译按钮获取中文摘要

本研究は、人間の幼児がどのような情報によって概念形成を行なっているかを考察し、工学的に概念形成メカニズムを計算機上で実現することを目的とした。人間の場合、いくつかの感覚器を単独であるいは組み合わせて使用し、外部からの刺激を感じてそれらの情報が脳に伝えられ様々な概念を獲得していると考えられる。その中でも特に、視覚と聴力が最も重要な役割を果しているであろうことは容易に想像がつく。そこでこの視覚と聴覚によって得られる情報、つまり音声と画像の情報を用いて計算機に物の名前や位置等の概念を学習させるシステムを作成した。つまり、ある物を表現する画像があったとするとその画像を説明する文を音声によって与えることにより、逐次画像上の形状・色・大きさ・位置といった概念に対応する音声言語を獲得すること、逆に言えば、ある「音」に対応する形状の概念を獲得することが本研究の目標である。但し、物の名前や位置等の概念を単語として与えるのではなく、簡単な文の音声データとそれに対応する画像データを用いて、形状・大きさ・位置・色等の概念を形成することとした。このことから、画像同士の類似性の自動判定・音声同士の類似性の自動判定・画像と音声の対応付け等の機能が基本操作となる。画像情報と音声情報から概念と文法を獲得するシステムを作成し実験を行なった。概念の獲得では対象概念を概ね獲得することができた。left-to-right型HMMによる概念の発声順序、即ち、文法の獲得を試み、正しく獲得された概念を含む画像に対しては全て正しい文を生成できた。本システムでは、音声のスポッティングが動機となって学習が行なわれるため、音声のスポッティングの性能が概念及び文法の獲得に大きく影響する。実際の音声と画像入力を用いて獲得された概念をHMMの入力として文法を獲得した場合、与えられた画像に対して、約50%が正しい概念の系列(文)に変換できた。