音声情報と画像情報の統合化による概念の獲得に関する研究

点击翻译按钮获取中文摘要

本研究では、視覚と聴覚という2つの外的刺激を結びつけて、未知の入力に対する概念の獲得方式を定式化することを目的とし、画像と音声情報より概念を形成するシステムを作成した。本システムでは、この視覚情報(画像)と聴覚情報(音声)を用いて計算機に物の名前や位置等の概念を学習させる。視覚情報としてはカメラで取り込んだ図形画像を入力する。そしてその入力画像から、概念形成に必要なパラメ-タを抽出する。今回の実験で形成する概念は、(1)図形の存在性、(2)図形の位置、(3)図形の大きさ、(4)図形の色、(5)図形の形状、の5つのグル-プに分類される、各概念グル-プに対するパラメ-タを抽出する。聴覚情報として、音声から音声情報を抽出する。方法としては、二つの音声の時系列デ-タ同士のDPマッチングを行ない、それによって算出された最適照合パスおよび照合距離により、類似区間を抽出する。最適照合パスが求まると、以下の基準を満たす区間の論理積をとり共通区間を抽出する。・DPパスの線形性・平均距離・距離の最大値以上で述べた音声と画像のデ-タから、概念を獲得するアルゴリズムを開発した。つまり、文音声とそれに関連する画像より音声と画像の対応付けから概念を獲得していく。評価実験として、簡単な図形の概念(例えば、三角形、大きい、白い、右に)の獲得実験を行った。16文の音声デ-タとそれに対応する画像を入力して、13個の概念が正しく獲得できた。結論として、逐次画像と音声を対応付けながら学習を行う事により、ある概念に対応する音と画像特徴が対応付けられ、人間の概念獲得手法の初期段階が計算機上で実現できた。