Coordination dynamics of neural, bodily, physiological activities and their relationship to creative interaction

点击翻译按钮获取中文摘要

脳，身体，生理活動の個人間の同調は，コミュニケーションの「質」を反映する特徴量として，そのメカニズムと応用可能性に関心が寄せられている．しかしこれらの同調現象はこれまでモダリティ毎に個別に研究され，相互の関係は明らかにされていない．また多くの研究で同調現象は時間的に定常的な視点で扱われてきた．これに対して本研究は，動的な創造的コミュニケーションを対象に，参加者の脳活動，身体活動，生理信号を同時に計測し，マルチモーダルな同調ダイナミクス間の関係と集団的創造過程への貢献を明らかにすることを狙う．計画2年目の本年度は，マルチモーダルなセンシング間での高精度での時間同期を実現する手法の導入・拡張と，マルチモーダル同調ダイナミクスを評価するための分析手法の開発を行った．また，新型コロナウイルス感染症の影響のもとでも可能な遠隔コミュニケーション／インタラクション課題を設計し，実験を行った．既得の対面創造的コミュニケーション実験や集団音楽インタラクションのマルチモーダルデータに対しても，新たな切り口で分析を進めた．コミュニケーション活動の同調をリアルタイムフィードバックすることで集団創造性を促進する効果についての論文，学習状況における脳活動同調が学習へのエンゲージメント共有のダイナミクスを反映することを示した論文，個人間の同調を特徴量として取り込むことでコミュニケーション時の個人の感情状態認識の精度を改善できることを示した論文が，国際学術雑誌に掲載された．また，マルチモーダル同調評価によるインタラクションの評価およびそのフィードバックによるインタラクション支援等についての学会発表など，その他の成果発表も行った．