フォーム型Web情報サービス享受のためのマルチモーダル対話インタフェースの研究

享受基于表单的网络信息服务的多模态对话界面研究

• 批准号: 14019046
• 负责人: 北岡 教英
• 金额: $ 2.69万
• 依托单位: Toyohashi University of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-14019046/
• 关键词: マルチモーダルインタフェース; 音声対話; 言い直し発話検出; 応答発話タイミング生成; あいづち; 発話権; フォーム型入力; 氏名入力

本年度は、マルチモーダル対話インタフェースに関して以下のことを行った.1.対話機能における認識誤り修正のための言い直し発話検出音声対話では,状況の情報を制約として認識や対話制御に導入することが,音声認識においては性能向上に,対話理解・制御においては曖昧さ・誤解の認識と解消につながる.例えば,ユーザがシステムの誤認識に対して行う「言い直し」を検出することは認識・対話に有効であると考えられる.これまでに大語彙孤立単語認識を用いた地名入力タスクにおける言い直し検出法を提案し,認識性能改善に効果があることを示した.本報告書ではより一般的な対話における言い直しの検出に拡張することを試みた.ダイナミックプログラミングによる直前発話と現発話の対応付けおよび音声認識を行った結果に含まれる単語の重なり度合いを用いることによって,再現率94.8%、適合率89.2%で言い直しか否かを判定できた.2.対話における応答タイミング生成音声対話で自然さをつかさどる要素として、ユーザ発話に対して適切なタイミングで応答を返せることがある。リアルタイムに応答を返すために、韻律的情報および表層的言語情報を素性とした決定木を適用して相槌・発話権取得タイミングを生成する手法を考案し、実際の対話音声でタイミング生成させたものを主観評価した結果、人間と同等の自然さでタイミング生成できることを示した。2.任意文字列の音声認識の研究フォーム入力型のWebページで必要な連続音節の認識の高精度化を、特に氏名入力をタスクに行った.言語的な先見的知識を確率的に表現する言語モデルを氏名タスクに特化することで効果を得た。またその結果を音節ごとの候補リストとしてペンで選択して確定する手法を実装し、さらに効率的な入力であることを示した。

This year, タフェ, とを チモ チモ チモ ダ ダ <s:1> have a conversation with ダ タフェ スに スに スに スに スに related to <s:1> て て った った.1. Phone can seaborne に お け る knew mistakenly り correction の た め の said い straight し 検 発 words the sounds of words で seaborne は, status の intelligence を restrict と し て know や words suppression seaborne に import す る こ と が, sounds know に お い て は performance に upwards, words, understand suppression, seaborne に お い て は ambiguous さ, misunderstanding の know と null に つ な が る. Example え ば, ユ ー ザ が シ ス テ ム の mistakenly know に し seaborne て line う "い straight し" を 検 out す る こ と は know, words に polices have sharper で あ る と exam え ら れ る. こ れ ま で に big vocabulary isolated 単 language understanding を い た place names into force タ ス ク に お け る said い straight し 検 method proposed を し, meet performance improvement に unseen fruit が あ る こ と を shown し た. This report で は よ り general な words に seaborne お け る said い straight し の 検 out に company, zhang す る こ と を try み た. ダ イ ナ ミ ッ ク プ ロ グ ラ ミ ン グ に よ る ahead 発 words と now 発 の 応 seaborne pay け お よ び sounds know を line っ に た results contain ま れ る 単 language の heavy な り degrees or い を with い る こ と に よ っ て, recurrence rate 94.8%, suitable for 89.2 %で statement で direct agreement た no を を determination で た た.2. Words に seaborne お け る 応 answer タ イ ミ ン グ generated sounds of words で seaborne natural さ を つ か さ ど る elements と し て, ユ ー ザ 発 words に し seaborne て appropriate な タ イ ミ ン グ で 応 を return answer せ る こ と が あ る. リ ア ル タ イ ム に 応 を return answer す た め に, rhythmic intelligence お よ び surface of verbal intelligence を primality と し た decided to wood を applicable し て in the hammer, 発 words 権 obtain タ イ ミ ン グ を generated す る し を test case, the event be の voice sound seaborne で タ イ ミ ン グ generated さ せ た も の を main 観 review 価 し た results, human と equal の natural さ で タ イ ミ ン グ generated で き る Youdaoplaceholder0 とを shows た. 2. Any text columns の sounds know の study フ ォ ー ム type into force の Web ペ ー ジ で な necessary even 続 syllable の know の high-precision を, especially に's name into the force を タ ス ク に line っ た. Words な seer knowledge を probabilistic に performance す る words モ デ ル を's name タ ス ク に specialized す る こ と で unseen fruit を た. ま た そ の results を syllable ご と の alternate リ ス ト と し て ペ ン で sentaku し て determine す る gimmick を be し, さ ら に な sharper rates into force で あ る こ と を shown し た.

项目成果

角谷 直子: "音声による地名入力タスクにおける誤認識時の言い直し発話の検出と認識"情報処理学会研究報告. 2002-SLP-42-11. 17-22 (2002)

Naoko Kakutani：“口语地名输入任务中误识别期间重述话语的检测和识别”日本信息处理协会研究报告 2002-SLP-42-11 (2002)。

竹内真士: "韻律・言語情報を素性とした決定木による自然な応答生成タイミングの検出"日本音響学会講演論文集. 75-76 (2003)

Masashi Takeuchi：“使用基于韵律和语言信息的决策树检测自然响应生成时间”，日本声学学会论文集 75-76 (2003)。

北岡教英: "カーナビの致命入力における誤認識時の言い直し発話の検出と認識"電気学会電子情報システム部門誌(C). Vol.122-C No.12. 2020-2027 (2002)

Norihide Kitaoka：“汽车导航系统中致命输入错误识别期间重述话语的检测和识别”日本电气工程师学会电子信息系统分部期刊（C）第 122 卷 2020 年。 -2027 (2002)

Naoko Kakutani: "Detection and recognition of repaired speech on misrecognized ufferances for speech input of car navigation system"Proceedings of ICSLP-2002. 833-836 (2002)

Naoko Kakutani：“汽车导航系统语音输入错误识别的语音修复语音的检测和识别”ICSLP-2002 论文集。

角谷 直子: "対話音声中の言い直し発話の検出"日本音響学会講演論文集. 79-80 (2003)

Naoko Kakutani：“对话语音中重述话语的检测”日本声学学会会议记录 79-80 (2003)。