Cooperative Understanding of Speeches and Images Using Multiple Recognizer and Its Application to Multimodal Dialogue System

多识别器对语音和图像的协同理解及其在多模态对话系统中的应用

• 批准号: 21500143
• 负责人: ENDO Tsutomu
• 金额: $ 1.75万
• 依托单位: Kyushu Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21500143/
• 关键词: 自然言語処理; マルチモーダルインタフェース; 音声理解; ジェスチャ認識; マルチモーダル; 文脈処理; 複合認識器; 人物識別; 頭上画像; マルチモーダルインターフェース; 情報統合; 複数認識器

We proposed a wide variety of methods to integrate several ap-proaches and features for multimodal dialogue systems. We developed a Web based image retrieval system using linguistic and image features first. We also realized a multiple speech recognizer with hierarchical relations. For hand posture recognition, we combined online and offline machine learning techniques. We introduced context features and top-view images to person identification.

我们提出了各种各样的方法来集成多模态对话系统的几个ap-proaches和功能。我们开发了一个基于Web的图像检索系统，首先使用语言和图像特征。我们还实现了一个具有层次关系的多语音识别器。对于手势识别，我们结合了在线和离线机器学习技术。我们引入上下文特征和俯视图像的人识别。

项目成果

頭上方向から撮影されたカメラ画像を利用した人物識別

使用从头顶拍摄的摄像机图像进行人员识别

• 发表时间: 2011
• 作者: 中谷良太;香野大地;嶋田和孝;遠藤勉
• 通讯作者: 遠藤勉

Effective construction and expansion of a sentiment corpus using an existing corpus and evaluative criteria estimation

利用现有语料库和评价标准估计有效构建和扩展情感语料库

• 发表时间: 2009
• 作者: Ryosuke Tadano;Kazutaka Shimada and Tsutomu Endo
• 通讯作者: Kazutaka Shimada and Tsutomu Endo

衣服情報を利用した人物識別における輝度勾配特徴量の適用

亮度梯度特征在服装信息行人识别中的应用

• 发表时间: 2010
• 作者: 小松和朗;嶋田和孝;遠藤勉
• 通讯作者: 遠藤勉

A Hierarchical Multiple Recognizer for Robust Speech Under-standing

用于鲁棒语音理解的分层多重识别器

• 发表时间: 2010
• 作者: Takahiko Yokoyama;Kazutaka Shimada and Tsutomu Endo
• 通讯作者: Kazutaka Shimada and Tsutomu Endo

A Combined Method Based on SVM and Online Learning with HOG for Hand Shape Recognition

• DOI: 10.20965/jaciii.2012.p0687
• 发表时间: 2012-09
• 期刊: J. Adv. Comput. Intell. Intell. Informatics
• 作者: Kazutaka Shimada;Ryo Muto;Tsutomu Endo