聴覚・視覚の複数レベル実時間情報統合の研究

听觉与视觉多级实时信息集成研究

• 批准号: 14019051
• 负责人: 奥乃 博
• 金额: $ 4.22万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-14019051/
• 关键词: アクティブオーディション; 音と画像の実時間情報統合; ヒューマノイドロボット; 音響的中心窩(fovea); アクティブ方向通過型フィルタ; タスク指向とソーシャル性指向; Interpersonal Theory; 階層的情報統合

平成14年度は、2本のマイクロフォンを用いた方向通過型フィルタ(Direction-Pass Filter)を提案し、この分離性能の音源方向依存性(「聴覚中心窩(auditory fovea)」と呼ぶ)を明らかにし、聴覚中心窩を積極的に活用したアクティブオーディションを実現した。さらに、大阪大学の石黒教授グループ作成の人間に似た外観を持つヒューマノイドReplieの上にも方向通過型フィルターを実装し、DPFの高移植性を確認するとともに、ヒューマノイドヒューマンインターラクションの実験環境を確立した。これらの成果は朝日新聞夕刊1面に報道されるとともに、IROS論文賞、船井情報科学振興賞などを受賞した。主な研究項目は以下の通りである。1.聴覚的中心窩-混合音から音声分離を行う方向通過型フィルタの方向依存性を評価し、正面方向と真横方向とでは4倍以上の精度の違いがあることを発見した。この現象は、人間の視覚で中心の解像度が高く、周辺は解像度が劣るという中心窩(fovea)に相当しており、「聴覚的中心窩(auditory fovea)」と名付けた。話者や音源に正対して聞く機能を実現するために、聴覚的中心窩を積極的に活用した注意制御システムをロボットに実装中である。2.注意制御部-実時間複数話者追跡システムを用いた注意制御部の設計に、タスク指向(task-oriented)とソーシャル性指向(socially-oriented)という2つの原理を適用した。タスク指向制御では、具体的なタスクである受付ロボットのために、音と顔が一致したストリームに注意を向けるように、一方、ソーシャル性指向制御では、インターラクションの相手の声にまず反応するように、ロボットの挙動選択を実現した。3.ロボットの個性-Interpersonal theoryに基づいた対人関係での個性をdominant/submissiveとfriendly/hostileという2軸で表現することにより、上記のタスク指向・ソーシャル性指向とを組合せた挙動プラニングの構想を提案し、プロトタイプを実装した。

In 2014, the Direction-Pass Filter (Direction-Pass Filter) was proposed, and the dependence of the separation performance on the sound source direction ("auditory fovea") was clearly demonstrated. In addition, Professor Ishiguro of Osaka University has established the operating environment for DPF production, which is similar to that of human beings. The results of the Asahi Shimbun were reported on the first day of the month, and the IROS paper was awarded. The main research project is the following. 1. The center pit of the sound is mixed with the sound separation direction. The direction dependence of the sound is evaluated. The front direction is more than 4 times the accuracy of the sound separation. This phenomenon, human vision center resolution is high, peripheral resolution is poor, central fovea is equivalent to "auditory fovea" and the name is paid. The speaker's voice is heard in the center of the voice, and the speaker's voice is heard in the center. 2. Attention Control Department-Time Multiple Speaker Tracking System Application Principle of Attention Control Department Design, Task-oriented and Socially-oriented The direction control, the specific direction control, the specific direction control. 3. The personality of the person-Interpersonal theory is based on the personality of the person, dominant/submissive, friendly/hostile, 2-axis performance.

项目成果

中臺一博, 奥乃博, 北野宏明: "ヒューマノイドロボットを対象としたアクティブオーディション"人工知能学会誌. 18・2F. 104-113 (2003)

Kazuhiro Nakadai、Hiroshi Okuno、Hiroaki Kitano：“人形机器人的主动试镜”日本人工智能学会杂志 18・2F 104-113 (2003)。

Nakadai, Okuno, Kitano: "Real-Time Auditory and Visual Multiple-Speaker Tracking For Human-Robot Interaction"Journal of Robotics and Mechatronics, special issue on Human Robot Interaction. 14・5. 479-489 (2002)

Nakadai、Okuno、Kitano：“人机交互的实时听觉和视觉多说话者跟踪”机器人与机电一体化杂志，人机交互特刊 14・5 (2002)。

日本認知科学会: "『認知科学辞典』推論・問題解決,コミュニケーションとネットワーク,CHインターフェース"共立出版. 1026+x (2002)

日本认知科学会：“‘认知科学词典’推理/问题解决、通信和网络，CH Interface”Kyoritsu Shuppan 1026+x (2002)。

Nakadai, Hidai, Okuno, Kitano: "Real-Time Active Human Tracking by Hierarchical Integration of Audition and Vision"Proceedings of IEEE/RAS International Conference on Robots and Automation (ICRA-2002). 1043-1049 (2002)

Nakadai、Hidai、Okuno、Kitano：“通过听觉和视觉的分层集成进行实时主动人体跟踪”IEEE/RAS 国际机器人与自动化会议论文集 (ICRA-2002)。

Nakadai, Okuno, Kitano: "Exploiting Auditory Fovea in Humanoid-Human Interaction"Proceeings of Eighteenth National Conference on Artificial Intelligence (AAAI-2002). 431-438 (2002)

Nakadai、Okuno、Kitano：“在人机交互中利用听觉中央凹”第十八届全国人工智能会议论文集 (AAAI-2002)。