複数話者の音声コミュニケーションの意図・状況理解

了解多说话者语音通信的意图和情况

• 批准号: 16016250
• 负责人: 河原 達也
• 金额: $ 5.95万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2004
• 资助国家: 日本
• 起止时间: 2004 至 2005
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-16016250/
• 关键词: 音声情報処理; 音声認識; 意図理解; 音声対話システム; 協調的応答; ユーザモデル; ユーザーモデル

人間と共生する機械を実現するためには、システムがユーザのモデルを知覚し、それに応じて適応的に行動することが重要であると考えられる。本研究ではまず、音声対話によるインタフェースにおいて、協調的な応答を生成するためのユーザモデルについて検討を進めてきた。具体的には、システムに対する習熟度、タスクドメインに関する知識レベル、性急度の3つのユーザモデルを導入し、それに応じて対話制御を行う戦略を提案した。京都市バス運行情報案内システム(現在試験運用中:075-326-3116)において実装・評価を行った結果、各ユーザに適応した協調的応答が、習熟したユーザに対する対話時間を増加させることなく、初心者に対して適切なガイダンスとなることが示された。本研究で用いているユーザモデルは自動判別を行うが、そのための特徴として音声認識結果に含まれる意味情報以外に、発話間間隔やバージインの有無などの音声対話特有の特徴も用いている。特に、習熟度と性急度の学習・判別に用いる特徴はドメイン知識に依存していないため、これらのユーザデルは他のドメインにも応用できる汎用的なものである。ただし、対話制御については人手で規則を記述する必要があり、大規模なドメインやモデルへの適用が困難であった。そこで次に、ユーザや状況のモデルに基づいて、プランニングにより対話制御・応答生成を行う枠組みを考え、このプランニング(プランを動的に選択する機構)を機械学習により行うことを研究した。プランはドメインプランと発話プランの2階層からなり、ドメインプランを決定することで次に提供する情報内容を決定し、発話プランを決定して具体的な応答を生成する。これらのプランは、前記のようなユーザ・状況のモデルをパラメータとする線形の評価関数で規定される。ロールプレイ形式で行う模擬対話サンプルによりこの学習を行うことにより、ユーザに適応した対話プランの選択を実現することができた。

Human と symbiotic す る mechanical を be presently す る た め に は, シ ス テ ム が ユ ー ザ の モ デ ル を know 覚 し, そ れ に 応 じ て optimum 応 に action す る こ と が important で あ る と exam え ら れ る. This study で は ま ず, sounds of words に seaborne よ る イ ン タ フ ェ ー ス に お い て, coordination of な 応 answer を generated す る た め の ユ ー ザ モ デ ル に つ い て beg を 検 into め て き た. Specific に は, シ ス テ ム に す seaborne る acquisition, タ ス ク ド メ イ ン に masato す る knowledge レ ベ ル, impatient の 3 つ の ユ ー ザ モ デ ル を import し, そ れ に 応 じ て words suppression seaborne を line う 戦 slightly を proposal し た. Beijing urban バ ス running situation report within シ ス テ ム (now in the test using: 075-326-3116) に お い て be loaded, review 価 を line っ た results, various ユ ー ザ に optimum 応 し た coordinated 応 answer が, acquisition of し た ユ ー ザ に す seaborne る words time を raised seaborne plus さ せ る こ と な く, beginner's mind に し seaborne て appropriate な ガ イ ダ ン ス と な る こ と が shown さ れ た . This research で い て い る ユ ー ザ モ デ ル は automatic line discriminant を う が, そ の た め の, 徴 と し て に sounds know results contain ま れ る mean intelligence に, interval between 発 words や バ ー ジ イ ン の presence of な ど の sounds words unique の 徴 especially seaborne も with い て い る. に, acquisition of acute と degrees, discriminant に の study with い る, 徴 は ド メ イ ン knowledge に dependent し て い な い た め, こ れ ら の ユ ー ザ デ ル は he の ド メ イ ン に も 応 with で き る of universal な も の で あ る. た だ し, moral suppression に つ い て は manpower で rules を account す る necessary が あ り, large-scale な ド メ イ ン や モ デ ル へ の applicable が difficult で あ っ た. そ こ で に, ユ ー ザ や condition の モ デ ル に base づ い て, プ ラ ン ニ ン グ に よ り words system, the royal 応 seaborne answer generated line を う 枠 group み を え test, こ の プ ラ ン ニ ン グ (プ ラ ン を moving に sentaku す る) を rote learning に よ り line う こ と を research し た. プ ラ ン は ド メ イ ン プ ラ ン と 発 words プ ラ ン の 2 class か ら な り, ド メ イ ン プ ラ ン を decided す る こ と に で times provide す る intelligence content を decided し, 発 プ ラ ン を decided し て specific な 応 answer を generated す る. こ れ ら の プ ラ ン は, former record の よ う な ユ ー ザ · condition の モ デ ル を パ ラ メ ー タ と す る linear の review 価 masato number さ で regulation れ る. Line ロ ー ル プ レ イ form で う simulation words サ seaborne ン プ ル に よ り こ の line learning を う こ と に よ り, ユ ー ザ に optimum 応 し た words プ seaborne ラ ン の sentaku を be presently す る こ と が で き た.

项目成果

Automatic indexing of lecture presentations using unsupervised learning of presumed discourse markers

• DOI: 10.1109/tsa.2004.828701
• 发表时间: 2004-06
• 期刊: IEEE Transactions on Speech and Audio Processing
• 作者: Tatsuya Kawahara;Masahiro Hasegawa;Kazuya Shitaoka;T. Kitade;H. Nanjo

Example-based training of dialogue planning incorporating user and situation models

结合用户和情境模型的基于示例的对话规划训练

• 发表时间: 2004
• 期刊: In Proc. ICSLP 1
• 作者: S.Ueno;I.R.Lane;T.Kawahara
• 通讯作者: T.Kawahara

話し言葉による音声対話システム

使用口语的语音对话系统

• 发表时间: 2004
• 期刊: 情報処理 45, 10
• 作者: 相良直樹;砂山渡;谷内田正彦;河原達也
• 通讯作者: 河原達也

話し言葉音声認識のための汎用的な統計的発音変動モデル

用于口语语音识别的通用统计发音变化模型

• 发表时间: 2005
• 期刊: 電子情報通信学会論文誌 Vol.J88-DII,No.9
• 作者: 秋田祐哉;河原達也
• 通讯作者: 河原達也

Trigger-based language model adaptation for automatic transcription of panel discussions.

基于触发器的语言模型自适应，用于自动转录小组讨论。

• 发表时间: 2006
• 期刊: IEICE Trans. Vol.E89-D・No.3
• 作者: C.Troncoso;T.Kawahara
• 通讯作者: T.Kawahara