权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

音声情報と画像情報の統合化による概念の獲得に関する研究

音频与图像信息融合的概念获取研究

基本信息

批准号：
02805045
负责人：
中川聖一
金额：
$ 1.34万
依托单位：
Toyohashi University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for General Scientific Research (C)
财政年份：
1990
资助国家：
日本
起止时间：
1990 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-02805045/
关键词：
音声情報画像情報概念の獲得学習単語

项目摘要

本研究では、視覚と聴覚という2つの外的刺激を結びつけて、未知の入力に対する概念の獲得方式を定式化することを目的とし、画像と音声情報より概念を形成するシステムを作成した。本システムでは、この視覚情報(画像)と聴覚情報(音声)を用いて計算機に物の名前や位置等の概念を学習させる。視覚情報としてはカメラで取り込んだ図形画像を入力する。そしてその入力画像から、概念形成に必要なパラメ-タを抽出する。今回の実験で形成する概念は、(1)図形の存在性、(2)図形の位置、(3)図形の大きさ、(4)図形の色、(5)図形の形状、の5つのグル-プに分類される、各概念グル-プに対するパラメ-タを抽出する。聴覚情報として、音声から音声情報を抽出する。方法としては、二つの音声の時系列デ-タ同士のDPマッチングを行ない、それによって算出された最適照合パスおよび照合距離により、類似区間を抽出する。最適照合パスが求まると、以下の基準を満たす区間の論理積をとり共通区間を抽出する。・DPパスの線形性・平均距離・距離の最大値以上で述べた音声と画像のデ-タから、概念を獲得するアルゴリズムを開発した。つまり、文音声とそれに関連する画像より音声と画像の対応付けから概念を獲得していく。評価実験として、簡単な図形の概念(例えば、三角形、大きい、白い、右に)の獲得実験を行った。16文の音声デ-タとそれに対応する画像を入力して、13個の概念が正しく獲得できた。結論として、逐次画像と音声を対応付けながら学習を行う事により、ある概念に対応する音と画像特徴が対応付けられ、人間の概念獲得手法の初期段階が計算機上で実現できた。

In this study, the concept of visual and acoustic information was formulated based on the concept of external stimuli, unknown input force, and objective. The concept of the name and position of the object in the computer is studied by using the concept of the visual information (image) and the visual information (sound). The visual information and images are taken into account. It is necessary for the concept formation to be extracted from the image. The concept of the present situation is: (1) the existence of the shape;(2) the position of the shape;(3) the size of the shape;(4) the color of the shape;(5) the shape of the shape; and (5) the classification of the group; and the extraction of the concept. Sound information extraction The method is to calculate the optimal illumination distance and extract the similar interval. The logical product of the following reference intervals is extracted. DP shape, average distance, distance above the maximum value of the sound and image, the concept of acquisition, the development of the system The concept of sound and image is acquired. Comments on the concept of simple shapes (e.g., triangle, large middle, white middle, right middle) 16 words of sound and sound, 13 concepts of sound and sound, 13 concepts of sound and sound Conclusion: The initial stage of the concept acquisition method is realized on the computer.