音声・画像の視聴覚情報のシンボル記述化による自然言語文法の帰納的学習法の研究

利用音频、图像等视听信息的符号描述进行自然语言语法归纳学习方法研究

• 批准号: 01550284
• 负责人: 中川 聖一
• 金额: $ 1.28万
• 依托单位: Toyohashi University of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for General Scientific Research (C)
• 财政年份: 1989
• 资助国家: 日本
• 起止时间: 1989 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-01550284/
• 关键词: 音声認識; セグメンテ-ション; 画像処理; 線画の理解; 学習; 自然言語の文法; 文法の獲得

本研究の目的は、音声と画像の視聴覚情報を用いて、我々の日常言語の文法を学習・獲得するモデルを計算機上で実現することである。そのために二つの音声間や画像間の差異や一致を検出するアルゴリズム、音声や画像をシンボルで記述するアルゴリズム、シンボル記述化された音声と画像の対応づけアルゴリズム、これらの対応づけ集合から文法を推論するアルゴリズム等の開発が必要である。まず二つの音声間の差異や一致の検出においては、従来の音声認識アルゴリズムを拡張して、線形時間で実行できるアルゴリズムを開発した。この手法は音声がパタ-ン表現であってもシンボル表現であっても適用できる汎用性のあるアルゴリズムである。次に音声パタ-ンをシンボル系列に変換するアルゴリズムを開発した。基本的には1つのシンボルに対応する音素と隠れマルコフモデルで表現し、この連結モデルと音声パタ-ンを照合するもので本研究ではマルコフモデルの精密化を図った。これにより、ていねいに発声された音声に対して、約95%の精度で正しくシンボル系列に変換できた。また、入力線画の理解において既に学習されている“概念"との一致・差異を検出するアルゴリズム、および任意の二つの画像の一致差異を検出するアルゴリズムについて検討した。これらのアルゴリズムは、シンボル記述された同士間の類似度の最大値選択または、類似度の整列問題となり高速化手法が望まれる。このため、自己相以型計算機上でデ-タ数Nに対して、O(N)整列問題を解く並列アルゴリズム、階層型計算機上ではO(log^2N)で選択問題を解く並列アルゴリズムを提案し、有効性を確かめた。以上のように、本研究の目的に必要な基本アルゴリズムの開発ができた。今後は、これらの基本アルゴリズムの統合により、音声と画像のつき合わせによる同一概念の獲得と文法の学習をすすめて行きたい。

Purpose の this study は, voice と portraits の hearing intelligence を with い て, I 々 の daily speech を の grammar learning, get す る モ デ ル で を computer be presently す る こ と で あ る. そ の た め に two つ の や portraits の differences between sounds や consistent を 検 out す る ア ル ゴ リ ズ ム portrait, voice や を シ ン ボ ル account で す る ア ル ゴ リ ズ ム, シ ン ボ ル account change さ れ た sounds と portrait の 応 seaborne づ け ア ル ゴ リ ズ ム, こ れ ら の 応 seaborne づ け collection か ら grammar を inference す る ア ル ゴ リ ズ ム etc. の open 発 が necessary で あ る. ま ず two つ の の differences between sounds や consistent の 検 out に お い て は, 従 の sounds know ア ル ゴ リ ズ ム を company, zhang し て, linear time で line be で き る ア ル ゴ リ ズ ム を open 発 し た. こ の gimmick は sounds が パ タ - ン performance で あ っ て も シ ン ボ ル performance で あ っ て も applicable で き る domestic sex の あ る ア ル ゴ リ ズ ム で あ る. The に tone パタ- <s:1> をシ をシ をシ ボ ボ に series に changes するア ゴリズムを ゴリズムを ゴリズムを develops た た. Basic に は 1 つ の シ ン ボ ル に 応 seaborne す る phonemes と government れ マ ル コ フ モ デ ル で し, こ の link モ デ ル と sounds パ タ - ン を as close す る も の で this study で は マ ル コ フ モ デ ル の motors を 図 っ た. こ れ に よ り, て い ね い に 発 sound さ れ た sounds に し seaborne て, about 95% is の precision で し く シ ン ボ ル series に variations in で き た. ま た, into the line of force の understand に お い て に learning both さ れ て い る "concept" と の is consistent, difference を 検 out す る ア ル ゴ リ ズ ム, お よ び arbitrary の two つ の portrait の consistent differences を 検 out す る ア ル ゴ リ ズ ム に つ い て beg し 検 た. こ れ ら の ア ル ゴ リ ズ ム は, シ ン ボ ル account さ れ た with James の similar degree between の nt biggest sentaku ま た は, similar degree の whole column problem と な り looking high technique が ま れ る. こ の た め to type on a computer, their phase で デ - タ number N に し seaborne て, O (N) the whole column problem を solution く parallel ア ル ゴ リ ズ ム type, class computer で は O (log N ^ 2) で sentaku く を solutions are tied for ア ル ゴ リ ズ ム を proposal し, have sharper を か indeed め た. The above <s:1> ように, the purpose of this study に に necessary な basic ア ゴリズム ゴリズム ゴリズム development がで た た. Future は, こ れ ら の basic ア ル ゴ リ ズ ム の integration に よ り portrait, voice と の つ き close わ せ に よ る same concept の get と study grammar の を す す め て line き た い.

项目成果

Seiichi Nakagawa: "Speaker independent continuousーSpeech reccegnition by yhonemeーbased word spotting and timeーsynchronous contextーfree parsing" Computer Speech & Language. 3. 277-299 (1989)

Seiichi Nakakawa：“独立于说话人的连续语音识别——基于 yhoneme 的单词识别和时间同步上下文无关解析”《计算机语音与语言》，3. 277-299 (1989)。

菅谷光啓: "自己相似型ネットワ-ク計算機FINー1上での並列アルゴリズム" 電子情報通信学会コンピュ-タシステム技術報告. 89ー88. 25-32 (1990)

Mitsuhiro Sugaya：“自相似网络计算机 FIN-1 上的并行算法”IEICE 计算机系统技术报告 89-88 (1990)。

中川聖一: "連続出力分布型HMMによる日本語音韻認識" 日本音響学会誌.

Seiichi Nakakawa：“使用连续输出分布型 HMM 的日语语音识别”日本声学学会杂志。

前場隆史: "階層型計算機モデル上の並列選択アルゴリズム" 電子情報通信学会コンピュ-タシステム技術報告. 89ー87. 17-24 (1990)

Takashi Maeba：“分层计算机模型上的并行选择算法”IEICE 计算机系统技术报告 89-87 (1990)。