実時間視聴覚情報統合による複数の人とのマルチモーダル・インタラクションの研究

实时视听信息集成的多人多模态交互研究

• 批准号: 16016251
• 负责人: 奥乃 博
• 金额: $ 9.28万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2004
• 资助国家: 日本
• 起止时间: 2004 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-16016251/
• 关键词: 音環境理解; 視聴覚情報統合; ロボット知覚; GSS; 自動マスク生成; 文脈的制約; 空間マッピング; ミッシングフィーチャ; アクティブオーディション; 音と画像の実時間情報統合; ヒューマノイドロボット; 近接学; 対人距離による挙動選択; 肌センサ; 擬音語認識; 超指向性スピーカ

最終年度は、ミッシングフィーチャ理論および視聴覚情報統合による複数同時発話認識の洗練化に主としてに取り組んだ。具体的には、マイクロフォンアレイによる音源分離GSSとミッシングフィーチャ理論による音声認識との統合システムの詳細な評価を行うとともに、距離や位置に依存したインタラクションシステムのためにさまざまな設定での評価とその洗練化に取り組んだ。主な成果は以下の通りである。(1)音源分離にGeometrical Source Separationとmulti-channel post-filterを使用し、後者から得られるチャネル間リーク情報と背景雑音情報を基にマスクを自動作成した。自動生成されたマスクを使用し,マルチバンド版Juliusを用いて認識を行った。ここで、特徴量をスペクトル歪みに強いMSLSとした。同じベンチマークにより、アプリオリマスクの場合と比較し、約62%の性能を達成した。さらに、さまざまな方向と距離に対して評価し、内部パラメータ13個の最適値にあまり規則性がないことが判明し、遺伝的アルゴリズムにより、最適値探索を行い、その有効性を確認した。(2)人間親密度を空間にマッピングすることにより、複数人とのインタラクションを行うシステムを開発し、被験者による評価実験により有効性を確認した。これによりどの位置に立った人とインタラクションをすべきか、という挙動設計モデルが確立できた。(3)柔軟な対話戦略を有した音声対話システムの開発するために、対話の進行モデルと履歴の構造モデルという2つの文脈的特徴を使用する手法を開発した。レストラン検索システムにどう手法を実装し、一発話から得られる特徴だけを使用した場合と比較して、意味理解精度が83.4%から92.6%まで向上した。さらに、レストラン検索システムデータの学習で得られた決定木がたの検索システムでも有効であることが分かり、ドメイン非依存な文脈手法を確立できた。

In the final year, the theory of communication and the integration of visual information were analyzed. The detailed evaluation of sound source separation GSS theory, sound recognition, integration, and system selection are based on the position dependence, evaluation, and system refinement. The main achievement is to pass through the following. (1)Geometrical Source Separation multi-channel post-filter is used, and the latter is automatically generated. Automatic generation of Julius This is the first time I've ever seen an MSLS. In the same situation, about 62% of the performance was achieved. 13 optimum values for the direction and distance of the search, the regularity and the validity of the search (2)Human intimacy is a matter of space, of course, of course. This is the first time that the design has been established. (3)Soft speech strategy has sound speech system development, speech system construction, speech system development, speech system development, speech The accuracy of meaning comprehension was 83.4% and 92.6% respectively. In addition, the learning process of Lisitron's search system data has become a decision-making process, and the search system has become effective, and the non-dependent contextual approach has been established.

项目成果

ゲーム理論による中心化理論の解体と実言語データに基づく検証

用博弈论解构居中理论并基于真实语言数据进行验证

• 发表时间: 2005
• 期刊: 自然言語処理 12・3
• 作者: Satoshi Nakamura;Kazuya Takeda;Kazumasa Yamamoto;Takeshi Yamada;Shingo Kuroiwa;Norihide Kitaoka;Takanobu Nishiura;Akira Sasou;Mitsunori Mizumachi;Chiyomi;白松 俊 他
• 通讯作者: 白松 俊 他

Extracting Multi-Modal Dynamics of Objects using RNNPB

使用 RNNPB 提取对象的多模态动力学

• 发表时间: 2005
• 期刊: Journal of Robotics and Mechatronics 17・6
• 作者: Nakazawa;T. et al.;Kazuya Tsukamoto;Keiko Ishihara;Tetsuya Ogata
• 通讯作者: Tetsuya Ogata

Implementation of Active Direction-Pass Filter on Dynamically Reconfigurable Processo

动态可重构处理器上有源方向通滤波器的实现

• 发表时间: 2005
• 期刊: Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2005)
• 作者: Matsunaga;R.;Abe;J.;Syunsuke Kurotaki
• 通讯作者: Syunsuke Kurotaki

大人のための「ロボット学」

成人的“机器人”

• 发表时间: 2006
• 作者: PHP研究所;(奥乃 博)
• 通讯作者: (奥乃 博)

Automatic Sound-Imitation Word Recognition from Environmental Sounds focusing on Ambiguity Problem in Determining Phonemes.

环境声音自动仿声词识别，重点关注确定音素中的歧义问题。

• 发表时间: 2004
• 期刊: PRICAI 2004 : Trends in Artificial Intelligence LNAI 3157
• 作者: Kazushi Ishihara;Tomohiro Nakatani;Tetsuya Ogata;Hiroshi G.Okuno
• 通讯作者: Hiroshi G.Okuno