ユーザが対話したくなる対話ロボット・対話しやすい遠隔会議アバターの動作デザイン

点击翻译按钮获取中文摘要

・前年度に引き続いて、対話意欲推定を中心に計測系、認識系の構築と評価実験を進めた。対話生成系については、共同研究先より提供の複数台ロボットの対話システムが開発後数年を経過し、性能的に必ずしも十分とはいえないことから、置換えの検討を進めた。しかしながら、最近の大規模言語モデルベースの高性能な対話システムをデプロイするにはリソース不足が否めず、生成系のアップデートについては断念し、認識側に集中する方針を取ることとした。対話時の、ユーザのマルチモーダルな情報から対話意欲や賛否、理解度などのユーザ反応を認識することにテーマを絞り込み、このための計測系の構築と評価を行った。・openposeを用いた姿勢計測、アイカメラによる視線計測、音声データからの発話区間、音韻特徴を用いて、発話意欲の外部からの非接触非侵襲推定を行う実験を実施し、一定精度での計測の目処を得た。・外部カメラとアイカメラの画像および音声データはOBS Studioにより同期収録を行い、アイカメラ(Pupil Core)による視線データと関節位置角度データと同期を取った分析を可能とするシステム構成とした。実験により、非接触マーカーレスで上半身の姿勢データの取得、頭部運動データの取得、視線情報の取得を、ほぼフレーム単位の同期を取った上で収録できることを確認した。また、発話タイミングと外部観察での発話意欲と、姿勢データの相関から、姿勢情報のうちで対話意欲との関連がみられるものについての調査検討を進めた。・これらの結果について、電子情報通信学会総合大会2023にて発表を実施した。