权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

音声・言語・画像情報の統合化による概念の獲得に関する研究

整合语音、语言、图像信息的概念获取研究

基本信息

批准号：
05213209
负责人：
中川聖一
金额：
$ 0.96万
依托单位：
Toyohashi University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
1993
资助国家：
日本
起止时间：
1993 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-05213209/
关键词：
音声画像視聴覚情報概念の獲得文法の獲得

项目摘要

本研究は、人間の幼児がどのような情報によって概念形成を行なっているかを考察し、工学的に概念形成メカニズムを計算機上で実現することを目的とした。人間の場合、いくつかの感覚器を単独であるいは組み合わせて使用し、外部からの刺激を感じてそれらの情報が脳に伝えられ様々な概念を獲得していると考えられる。その中でも特に、視覚と聴力が最も重要な役割を果しているであろうことは容易に想像がつく。そこでこの視覚と聴覚によって得られる情報、つまり音声と画像の情報を用いて計算機に物の名前や位置等の概念を学習させるシステムを作成した。つまり、ある物を表現する画像があったとするとその画像を説明する文を音声によって与えることにより、逐次画像上の形状・色・大きさ・位置といった概念に対応する音声言語を獲得すること、逆に言えば、ある「音」に対応する形状の概念を獲得することが本研究の目標である。但し、物の名前や位置等の概念を単語として与えるのではなく、簡単な文の音声データとそれに対応する画像データを用いて、形状・大きさ・位置・色等の概念を形成することとした。このことから、画像同士の類似性の自動判定・音声同士の類似性の自動判定・画像と音声の対応付け等の機能が基本操作となる。画像情報と音声情報から概念と文法を獲得するシステムを作成し実験を行なった。概念の獲得では対象概念を概ね獲得することができた。left-to-right型HMMによる概念の発声順序、即ち、文法の獲得を試み、正しく獲得された概念を含む画像に対しては全て正しい文を生成できた。本システムでは、音声のスポッティングが動機となって学習が行なわれるため、音声のスポッティングの性能が概念及び文法の獲得に大きく影響する。実際の音声と画像入力を用いて獲得された概念をHMMの入力として文法を獲得した場合、与えられた画像に対して、約50%が正しい概念の系列(文)に変換できた。

This study aims to investigate the concept formation process of human children and the concept formation process of engineering. In the human world, there are different kinds of sensors. They are used in different ways. There are different kinds of stimuli. There are different kinds of information. There are different kinds of concepts. In the middle of the game, the most important thing is to watch the game and imagine it. The concept of the object's name and position is used to create information, sound and image. The purpose of this study is to obtain the concept of sound and speech. However, the concept of name, position, etc. of objects is simple and simple, and the concept of image, shape, position, color, etc. is formed. The functions of automatic determination of similarity between images, automatic determination of similarity between sound and image, automatic determination of similarity between sound and image, and so on are basic operations. The image and sound information are obtained from the concept and syntax. The concept of acquisition is the concept of acquisition. The left-to-right HMM concept is transmitted in sequence, i.e., the grammar is acquired, the concept is acquired, and the image is generated. This article discusses the influence of motivation, performance and grammar on learning. In fact, the sound and image are used to obtain the concept of HMM, the grammar is used to obtain the situation, and the image is used to obtain the concept of series (text).