音声・画像の視聴覚情報のシンボル記述化による自然言語文法の帰納的学習法の研究

本研究の目的は、音声と画像の視聴覚情報を用いて、我々の日常言語の文法を学習・獲得するモデルを計算機上で実現することである。そのために二つの音声間や画像間の差異や一致を検出するアルゴリズム、音声や画像をシンボルで記述するアルゴリズム、シンボル記述化された音声と画像の対応づけアルゴリズム、これらの対応づけ集合から文法を推論するアルゴリズム等の開発が必要である。まず二つの音声間の差異や一致の検出においては、従来の音声認識アルゴリズムを拡張して、線形時間で実行できるアルゴリズムを開発した。この手法は音声がパタ-ン表現であってもシンボル表現であっても適用できる汎用性のあるアルゴリズムである。次に音声パタ-ンをシンボル系列に変換するアルゴリズムを開発した。基本的には1つのシンボルに対応する音素と隠れマルコフモデルで表現し、この連結モデルと音声パタ-ンを照合するもので本研究ではマルコフモデルの精密化を図った。これにより、ていねいに発声された音声に対して、約95%の精度で正しくシンボル系列に変換できた。また、入力線画の理解において既に学習されている“概念"との一致・差異を検出するアルゴリズム、および任意の二つの画像の一致差異を検出するアルゴリズムについて検討した。これらのアルゴリズムは、シンボル記述された同士間の類似度の最大値選択または、類似度の整列問題となり高速化手法が望まれる。このため、自己相以型計算機上でデ-タ数Nに対して、O(N)整列問題を解く並列アルゴリズム、階層型計算機上ではO(log^2N)で選択問題を解く並列アルゴリズムを提案し、有効性を確かめた。以上のように、本研究の目的に必要な基本アルゴリズムの開発ができた。今後は、これらの基本アルゴリズムの統合により、音声と画像のつき合わせによる同一概念の獲得と文法の学習をすすめて行きたい。

本研究の目的は、音声と画像の視聴覚情報を用いて、我々の日常言語の文法を学習・獲得するモデルを計算機上で実現することである。そのために二つの音声間や画像間の差異や一致を検出するアルゴリズム、音声や画像をシンボルで記述するアルゴリズム、シンボル記述化された音声と画像の対応づけアルゴリズム、これらの対応づけ集合から文法を推論するアルゴリズム等の開発が必要である。まず二つの音声間の差異や一致の検出においては、従来の音声認識アルゴリズムを拡張して、線形時間で実行できるアルゴリズムを開発した。この手法は音声がパタ-ン表現であってもシンボル表現であっても適用できる汎用性のあるアルゴリズムである。次に音声パタ-ンをシンボル系列に変換するアルゴリズムを開発した。基本的には1つのシンボルに対応する音素と隠れマルコフモデルで表現し、この連結モデルと音声パタ-ンを照合するもので本研究ではマルコフモデルの精密化を図った。これにより、ていねいに発声された音声に対して、約95%の精度で正しくシンボル系列に変換できた。また、入力線画の理解において既に学習されている“概念"との一致・差異を検出するアルゴリズム、および任意の二つの画像の一致差異を検出するアルゴリズムについて検討した。これらのアルゴリズムは、シンボル記述された同士間の類似度の最大値選択または、類似度の整列問題となり高速化手法が望まれる。このため、自己相以型計算機上でデ-タ数Nに対して、O(N)整列問題を解く並列アルゴリズム、階層型計算機上ではO(log^2N)で選択問題を解く並列アルゴリズムを提案し、有効性を確かめた。以上のように、本研究の目的に必要な基本アルゴリズムの開発ができた。今後は、これらの基本アルゴリズムの統合により、音声と画像のつき合わせによる同一概念の獲得と文法の学習をすすめて行きたい。