权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

音声・言語・画像情報の統合化による概念の獲得に関する研究

整合语音、语言、图像信息的概念获取研究

基本信息

批准号：
04229209
负责人：
中川聖一
金额：
$ 1.28万
依托单位：
Toyohashi University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
1992
资助国家：
日本
起止时间：
1992 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-04229209/
关键词：
音声情報画像情報概念の獲得学習視聴覚情報

项目摘要

本研究では、視覚と聴覚という2つの外的刺激を結びつけて未知の入力に対する概念の獲得方式を定式化し、機械的に効率のよい帰納的・確率的概念獲得アルゴリズムを確立することを目的としている。昨年度は、実際に音声と画像を与えることにより、その音声が意味する画像の内容(逆に、画像特徴が意味する音声表現)を概念として獲得するシステムを作成したが、今年度は発話順序の制限をゆるめたシステムを開発した。現在、相対位置の概念を扱うシステムを開発している。以前開発したシステムでは、音声や画像の特徴抽出ミスに全く対処しておらず、正しい概念を獲得する上で入力データの順序にも制約があった。昨年度は、これらの欠点に対処すべく、階層構造の概念辞書を構築し概念の一般化操作を繰り返す方法で、この点に対処した。反面、この方法では2概念間の共通概念のみを利用しており、残りの概念が利用されない点等の問題が残った。そこで今年度は、2概念間の共通部・特徴部の両方を使用し、音声の特徴抽出ミスに対処し、入力データの順序に制約のないシステムを作成し評価した。学習で形成する概念は、図形の存在性、図形の絶対位置、図形の大きさ、図形の色、図形の形状の五つの概念グループ(画像の特徴パラメータ次元と対応)に分類されるものとした。また、音声概念に関しては、DPマッチング法により二音声間の類似区間を抽出する方法と、ワードスポッティング法により、ある音声が入力音声中に含まれているかどうかを検出する方法を用いた。評価実験により、実際の音声の実画像人力を用いて学習を行なうことにより、ある概念に対応する音と画像上の特徴とが対応付けられ、人間の概念獲得手法の初期段階が計算上で実現できることがわかった。今後、複数図形からの特徴パラメータの抽出およびアクションの概念獲得等を解決していく必要がある。

In this study, we formalized the acquisition mode of the concept of the unknown input force, and established the objective of the concept of the mechanical input rate. The content of the image (inverse, image characteristics, meaning, sound performance) was created in the past year, and the limit of the speech sequence was developed in the present year. Now, the concept of relative position is developed. In the past, the development of sound and image feature extraction was completely restricted by the order of force acquisition. The last year, the lack of point, hierarchical structure of the concept of dictionary construction, the general operation of the point On the contrary, this method is used to solve the problem of common concepts between concepts. This year, the common part of the concept, the use of the feature part, the sound feature extraction, the entry of the order of the constraint, the creation of the evaluation Learning to form the concept of "the existence of a shape, the absolute position of a shape, the size of a shape, the color of a shape, and the concept of a shape"(the characteristics of a picture are divided into two dimensions) The concept of sound is related to the method of extracting the similar interval between two sounds. Evaluation of sound and images in real time Human resources learning is the first step in the calculation of sound and image characteristics. In the future, the characteristics of the complex shape of the film will be extracted from the film and the concept of the film will be obtained.