視覚情報と言語情報の総合的な処理に関する研究

点击翻译按钮获取中文摘要

本研究は視覚情報と言語情報とを総合的に取り扱う手法の検討を目的としている。我々は、これまでに視覚と言語の接続に関する検討を重ね、視覚情報と言語情報の媒介となる意味表現手法を提案し、また、視覚情報から言語情報を生成するシステム、視覚情報に対する言語情報の付き合わせシステム、及び、視覚情報を利用した言語学習システム等を試作してきた。この範囲内では、視覚と言語をある程度総合的に取り扱うことができたと考えているが、より複雑な視覚現象、言語現象を取り扱う為には、視覚処理、言語処理の双方において、世界に関する一般的知識を利用する必要が生じてきた。そこで、特に言語処理に重点をおいて、世界に関する知識の利用について検討を行った。具体的には、自然語(日本語)で書かれた簡単な文章を、様々な知識を利用しながら理解し、それに関する質問に応答する能力をもつシステムの試作を通し、言語処理で必要な知識のタイプ及びそれらの知識の表現、検索方法、言語理解における知識の利用方法を検討した。我々が試作した文章理解システムは以下の様な特徴をもつ。1.文章理解の為に必要な知識には、文法的知識の他に単語の意味に関与する知識、文の背景となる世界に関する一般的又は経験的知識があるが、これらは明確には区別し得ないが、我々が提案した知識表現方法(これは、視覚と言語の媒介表現を基本とするものである。)を用い、これらを区別なく取り扱うことが可能である。2.文の理解を、単語間の意味的係り受けに従って単語の意味を接続するというプロセスを基本として行っている。これは、視覚情報に対する言語情報の付き合わせ処理と共通の基本プロセスである。3.知識の利用法として、いわばスクリプト的なtop-downのプロセスと、より詳細な知識からdefault的な世界のモデルを作り上げるbottom-up的なプロセスとを融合した形をとっている。