ユーザが対話したくなる対話ロボット・対話しやすい遠隔会議アバターの動作デザイン

用户想要交互的对话机器人和易于交互的电话会议虚拟人物的动作设计。

• 批准号: 21K12075
• 负责人: 大和 淳司
• 金额: $ 2.58万
• 依托单位: Kogakuin University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12075/
• 关键词: 対話ロボット; 対話システム; マルチモーダル; 対話意欲; モーションキャプチャ; 動作分析; 非言語行動; 対話分析; 発話意欲; HRI

・前年度に引き続いて、対話意欲推定を中心に計測系、認識系の構築と評価実験を進めた。対話生成系については、共同研究先より提供の複数台ロボットの対話システムが開発後数年を経過し、性能的に必ずしも十分とはいえないことから、置換えの検討を進めた。しかしながら、最近の大規模言語モデルベースの高性能な対話システムをデプロイするにはリソース不足が否めず、生成系のアップデートについては断念し、認識側に集中する方針を取ることとした。対話時の、ユーザのマルチモーダルな情報から対話意欲や賛否、理解度などのユーザ反応を認識することにテーマを絞り込み、このための計測系の構築と評価を行った。・openposeを用いた姿勢計測、アイカメラによる視線計測、音声データからの発話区間、音韻特徴を用いて、発話意欲の外部からの非接触非侵襲推定を行う実験を実施し、一定精度での計測の目処を得た。・外部カメラとアイカメラの画像および音声データはOBS Studioにより同期収録を行い、アイカメラ(Pupil Core)による視線データと関節位置角度データと同期を取った分析を可能とするシステム構成とした。実験により、非接触マーカーレスで上半身の姿勢データの取得、頭部運動データの取得、視線情報の取得を、ほぼフレーム単位の同期を取った上で収録できることを確認した。また、発話タイミングと外部観察での発話意欲と、姿勢データの相関から、姿勢情報のうちで対話意欲との関連がみられるものについての調査検討を進めた。・これらの結果について、電子情報通信学会総合大会2023にて発表を実施した。

, before the annual に lead き 続 い て presumption, polices to を center に measuring, understanding の build と review 価 be 験 を into め た. Words generating system seaborne に つ い て は, common research よ first offer り の plural ロ ボ ッ ト の words シ seaborne ス テ ム が years after opening 発 を 経 し, performance に will ず し も very と は い え な い こ と か ら, replacement え の beg を 検 into め た. し か し な が ら, recently の massive words モ デ ル ベ ー ス の high-performance な words シ seaborne ス テ ム を デ プ ロ イ す る に は リ ソ ー ス insufficient が no め ず, generate の ア ッ プ デ ー ト に つ い て は desist し, know side に concentrated す る policy を take る こ と と し た. When seaborne の, ユ ー ザ の マ ル チ モ ー ダ ル な intelligence か ら words intended to や seaborne 賛 ever, understand な ど の ユ ー ザ anti 応 を know す る こ と に テ ー マ を ground り 込 み, こ の た め の measuring is の build と review 価 を line っ た. · openpose を with い た posture measuring, ア イ カ メ ラ に よ る vision measuring, sounds デ ー タ か ら の 発 words interval, phonological 徴 を with い て, 発 words intended to の external か ら の non-contact noninvasive presumed line を う be 験 を be し, certain accuracy で の measuring の mesh 処 を た. , external カ メ ラ と ア イ カ メ ラ の portrait お よ び sounds デ ー タ は OBS Studio に よ り recorded during the same period 収 を い, ア イ カ メ ラ Pupil (Core) に よ る sight デ ー タ と masato section position Angle デ ー タ と period を take っ を た analysis may と す る シ ス テ ム constitute と し た. Be 験 に よ り, non-contact マ ー カ ー レ ス で の upper body posture デ ー タ の acquisition, head movements デ ー タ の acquisition, the line of sight intelligence の obtain を, ほ ぼ フ レ ー ム 単 a year-on-year の を take っ た on で 収 recorded で き る こ と を confirm し た. ま た, 発 タ イ ミ ン グ と external 観 examine で の 発 words intended to と, posture デ ー タ の phase masato か ら, posture, intelligence の う ち で words intended to と seaborne の masato even が み ら れ る も の に つ い て beg を 検 の investigation into め た. The results of the 2023にて joint conference of the Electronic Information and Communication Society 総 were announced at た.

项目成果

画像処理を用いた対話ロボットとの対話意欲の推定

使用图像处理估计与会话机器人交互的意愿

• 发表时间: 2023
• 作者: 佐藤大樹;道木加絵;舟洞佑記;道木慎二;鳥井昭宏;元谷卓;武田 怜，大和淳司
• 通讯作者: 武田 怜，大和淳司

複数台ロボット環境におけるHRI分析のためのユーザ動作計測

多机器人环境中用于 HRI 分析的用户运动测量

• 发表时间: 2021
• 作者: 佐藤大樹;道木加絵;舟洞佑記;道木慎二;鳥井昭宏;元谷卓;武田 怜，大和淳司;増田琢弥，大和淳司，杉山弘晃
• 通讯作者: 増田琢弥，大和淳司，杉山弘晃

電子情報通信学会技報閲覧サービス

IEICE技术报告查看服务

研究室・研究紹介ページ

实验室/研究介绍页面