聴覚・視覚の複数レベル実時間情報統合の研究

听觉与视觉多级实时信息集成研究

• 批准号: 15017251
• 负责人: 奥乃 博
• 金额: $ 3.26万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-15017251/
• 关键词: アクティブオーディション; 音と画像の実時間情報統合; ヒューマノイドロボット; 散乱理論; 頭部音響伝達関数の近似; 両耳間位相差・両耳間強度差; ミッシングフィーチャ理論; 柔軟な音声対話

ヒューマノイドと人間との柔軟なコミュニケーションのために,混合音を聞き分け理解する機能を設計することを目的としている.平成15年度は,前年度開発をした方向情報や話者情報などの複数のレベルで視覚と聴覚を統合したアクティブ方向通過型フィルタ(ADPF)の高性能化,及び,ADPFを使用した音源分離システムと音声認識システムのインタフェース化を行い,簡単な3話者同時発話認識を,複数のロボット上に実現した.また,日本ロボット学会に「ロボット聴覚」研究専門委員会を設立した.(1)アクティブ方向通過型フィルタ(ADPF)の散乱理論による高性能化:画像と音から得られる話者の方向情報を基に,特定の方向からの音を分離するADPFでは,2本のマイクロフォンで得られる入力音から求めた両耳間位相差と両耳間強度差を用いて方向情報を得ていた.聴覚エピポーラ幾何に加えて散乱理論により頭部音響伝達関数の近似精度を向上させた結果,30度以上の周辺領域で音源定位と音源分離性能を大幅に向上させることができた.さらに,2種類のヒューマノイドロボット,SIG2とReplieに実装し,本手法の一般性を確認した.(2)3話者同時発話認識(聖徳太子ロボットの予備実験):昨年5月に放映された「鉄腕アトムを作る」(NHK)では方向と話者に依存した音響モデルを使用し3話者同時発話認識を行っていた.ADFPで得られる分離音は,周波数成分での特徴量が欠け,時間成分でのデータも喪失しているので,単一の音響モデルで済ませるために,ミッシングフィーチャ理論に基づいた音声認識システムを開発し,演繹ミッシングマスクにより,分離音の認識精度が大幅に向上することを確認した.(3)音一般の認識と対話システムへの展開:音声を用いた柔軟な対話システム構築のために,音声認識誤りに確信度を導入し,不要な問い合わせを解消する方法を開発した.また,非音声認識のために,楽器音認識と擬音語認識にも取り組み,単音について認識技法を確立した.

The design of the sound system is very simple. In 2015, the company started to improve the performance of directional information and speaker information, and integrated the directional information and speaker information into ADPF. In 2015, ADPF was used to improve the performance of audio source separation and voice recognition, simplify the simultaneous communication of three speakers, and realize the integration of multiple speakers. The Japanese Academy of Sciences established a research committee. (1)ADPF is based on the direction information of the speaker, and the specific direction information of the speaker is based on the phase difference between the two ears. The result is that more than 30 degrees of sound source positioning performance is greatly improved. Today, 2 kinds of (2)3 Speaker simultaneous voice recognition (preparation): last May, the screening of "iron fist failure"(NHK), the direction and speaker dependence of the sound, the use of three speakers simultaneous voice recognition, ADFP obtained the separation of sound, the frequency component of the characteristic quantity, the time component of the loss, the separation of sound, the theoretical basis of sound recognition, deduction, separation of sound recognition accuracy greatly improved. (3)The development of sound recognition and speech system: the development of sound recognition error confidence introduction, sound recognition error detection and elimination methods. To establish the cognitive techniques of non-sound recognition, sound recognition and onomatopoeic recognition.

项目成果

奥乃博, 中臺一博: "ロボット聴覚の課題と現状"情報処理. 44・11. 1138-1144 (2003)

Hiroshi Okuno、Kazuhiro Nakadai：“机器人听力的问题和现状”信息处理44・114。

Hiroshi G.Okuno, Kazuhiro Nakadai, Hiroaki Kitano: "Design and Implementation of Personality of Humanoids in Human Humanoid Non-verbal Interaction"Developments in Applied Artificial Intelligence. LNAI 2718. 405-409 (2003)

Hiroshi G.Okuno、Kazuhiro Nakadai、Hiroaki Kitano：“人形非语言交互中人形人格的设计与实现”应用人工智能的发展。

山肩洋子, 河原達也, 奥乃博, 美濃導彦: "音声対話システムにおける物体指示のための信念ネットワークを用いた曖昧性の解消"人工知能学会誌. 19・1F. 47-56 (2004)

Yoko Yamashita、Tatsuya Kawahara、Hiroshi Okuno 和 Norihiko Mino：“在口语对话系统中使用信念网络消除歧义”日本人工智能学会杂志 19・1F（2004 年）。

北原鉄朗, 後藤真孝, 奥乃博: "音響的類似性を反映した楽器の階層表現の獲得とそれに基づく未知楽器のカテゴリーレベルの音源同定"情報処理学会論文誌. 45・3. 680-689 (2004)

Tetsuro Kitahara、Masataka Goto、Hiroshi Okuno：“获取反映声学相似性的乐器的层次表示以及基于它的未知乐器的类别级声源识别”日本信息处理学会会刊 45・3。 （2004年）

北原鉄朗, 後藤真孝, 奥乃博: "音高による音色変化に着目した楽器音の音源同定:F0依存多次元正規分布に基づく識別手法"情報処理学会論文誌. 44・10. 2448-2458 (2004)

Tetsuro Kitahara、Masataka Goto、Hiroshi Okuno：“关注因音高引起的音色变化的乐器声音的声源识别：基于 F0 相关的多维正态分布的识别方法”日本信息处理学会汇刊 44・10。 -2458 (2004))