情報抽出に基づくユーザやドメインに適応的なマルチモーダル対話システム

点击翻译按钮获取中文摘要

収集した対話データを利用して、音声により情報案内を行う対話システムを部分観測マルコフ決定過程（POMDP）によって統計的に制御する枠組みの構築と評価を行った。具体的には、収録された対話データから統計的にユーザの意図、焦点、それに対応するシステムの行動を推定するモデルを構築し、対話の各ターンにおいて適切な振る舞いをモデル化した。このモデルを評価するため、構築された対話システムを実際のユーザを相手に運用した結果、ユーザの焦点（興味の対象）に応じて適応的にシステムを制御することの有効性が、ユーザの意図の追従・システムの行動決定の両面から示された。また、前年に対話の盛り上がり（継続ターン数）やユーザからの積極的な対話への参与（具体的な焦点を含む質問）が強化学習における有効な報酬であることが示されていたが、これに加えてシステムが行った情報案内の結果（ユーザが求める情報が得られたかどうか）を新たな報酬として導入し、その効果が確認された。ユーザの興味に応じて対話システムの行動決定を行うのが良いということは先行研究においても示唆されていたが、実ユーザに対するシステムの行動決定を定量的に計測することによりその知見が明確に示された。特に情報案内においては、ユーザの興味が現在の話題に対して継続している場合はその話題を継続し、興味が失われた場合は話題を変更するという人間同士の対話においては当たり前に行われていることが、焦点の導入によって対話システムにおいても実現されている。また、ユーザに適応的な対話システム構築のための検討として対話行為としての相槌に着目し、協調的な対話においては相槌の韻律や形態が先行する発話に同調することが確認された。ユーザの焦点とあわせて、言語・非言語双方の多様なモダリティを用いて対話システムの制御を行うことが、適応的・協調的な音声対話システムの構築に有効であることが示された。