Studies on Multimodal Dialogue Control using Multimedia Corpus and Probability Model

基于多媒体语料库和概率模型的多模态对话控制研究

• 批准号: 18500115
• 负责人: ENDO Tsutomu
• 金额: $ 1.75万
• 依托单位: Kyushu Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2006
• 资助国家: 日本
• 起止时间: 2006 至 2008
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18500115/
• 关键词: 自然言語処理; マルチモーダル対話; 人工知能; ジェスチャ認識; 確率モデル; 機械学習; 音声認識; コーパス; コーパス分析; コーパス作成支援; 文脈情報処理; 概念ネットワーク; 音声理解; 発話意図認識; 知識獲得; 感情分類; 発話意図推定; 対話型インタフェース; 表データ; マルチメディアコーパス

音声発話とジェスチャを併用して対話のできるシステムを目指して, 人間の行う対話データやジェスチャデータを収集し, 人手による解析(タグ付け)を行った。これらのデータ(コーパス)を利用して, 音声認識ソフトウェアの認識精度の向上, 対話における発話意図の推定, ハンドジェスチャの認識等を行うプログラムを開発し, 画面上で写真を操作するインタフェースや対話型病名診断システムに適用して, その有効性を確認した。

Voice transmission, voice transmission. The use of this information, the improvement of the recognition accuracy of the sound recognition software, the estimation of the speech meaning, the recognition of the speech, etc., is carried out. The conversion process is opened, and the operation of the image on the screen is carried out. The diagnosis system of the speech type is applicable, and the effectiveness of the photo is confirmed.

项目成果

対話システムにおけるユーザの発話意図推定

对话系统中用户言语意图的估计

• 发表时间: 2007
• 期刊: 火の国シンポジウム2007 (CD-ROM)
• 作者: 岩下薫;嶋田和孝;遠藤勉
• 通讯作者: 遠藤勉

USBカメラを用いた指先インタフェース

使用USB摄像头的指尖接口

• 发表时间: 2006
• 期刊: 第14回電子情報通信学会九州支部学生会講演論文集
• 作者: 本田和久;嶋田和孝;遠藤勉
• 通讯作者: 遠藤勉

マルチモーダル対話のための当部ジェスチャ認識

多模式交互的部分手势识别

• 发表时间: 2007
• 期刊: 火の国シンポジウム2007 (CD-ROM)
• 作者: 田中太喜;嶋田和孝;遠藤勉
• 通讯作者: 遠藤勉

Table Recognition Using Attribute Likelihood Computed from Words

使用根据单词计算的属性似然进行表识别

• 发表时间: 2006
• 期刊: Fourth Workshop on Learning with Logics and Logics for Learning (LLLL2006)
• 作者: T.Kitayama;K.Shimada;T.Endo
• 通讯作者: T.Endo

A Graph-based Approach for Sentiment Sentence Extraction

一种基于图的情感句子提取方法

• 发表时间: 2009
• 期刊: New Frontiers in Applied Data Mining Vol.5433
• 作者: Kazutaka Shimada;Daigo HashTsutomu Endo
• 通讯作者: Daigo HashTsutomu Endo