音声・言語・画像情報の統合化による概念の獲得に関する研究

点击翻译按钮获取中文摘要

本研究では、視覚と聴覚という2つの外的刺激を結びつけて未知の入力に対する概念の獲得方式を定式化し、機械的に効率のよい帰納的・確率的概念獲得アルゴリズムを確立することを目的としている。昨年度は、実際に音声と画像を与えることにより、その音声が意味する画像の内容(逆に、画像特徴が意味する音声表現)を概念として獲得するシステムを作成したが、今年度は発話順序の制限をゆるめたシステムを開発した。現在、相対位置の概念を扱うシステムを開発している。以前開発したシステムでは、音声や画像の特徴抽出ミスに全く対処しておらず、正しい概念を獲得する上で入力データの順序にも制約があった。昨年度は、これらの欠点に対処すべく、階層構造の概念辞書を構築し概念の一般化操作を繰り返す方法で、この点に対処した。反面、この方法では2概念間の共通概念のみを利用しており、残りの概念が利用されない点等の問題が残った。そこで今年度は、2概念間の共通部・特徴部の両方を使用し、音声の特徴抽出ミスに対処し、入力データの順序に制約のないシステムを作成し評価した。学習で形成する概念は、図形の存在性、図形の絶対位置、図形の大きさ、図形の色、図形の形状の五つの概念グループ(画像の特徴パラメータ次元と対応)に分類されるものとした。また、音声概念に関しては、DPマッチング法により二音声間の類似区間を抽出する方法と、ワードスポッティング法により、ある音声が入力音声中に含まれているかどうかを検出する方法を用いた。評価実験により、実際の音声の実画像人力を用いて学習を行なうことにより、ある概念に対応する音と画像上の特徴とが対応付けられ、人間の概念獲得手法の初期段階が計算上で実現できることがわかった。今後、複数図形からの特徴パラメータの抽出およびアクションの概念獲得等を解決していく必要がある。