Coordination dynamics of neural, bodily, physiological activities and their relationship to creative interaction

神经、身体、生理活动的协调动力学及其与创造性互动的关系

• 批准号: 20H03553
• 负责人: 野澤 孝之
• 金额: $ 11.4万
• 依托单位: University of Toyama (2021-2022)Tokyo Institute of Technology (2020)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H03553/
• 关键词: 創造的コミュニケーション; マルチモーダルセンシング; ハイパースキャニング; メタスタビリティ; 脳活動信号処理; 創造的ミュニケーション

脳，身体，生理活動の個人間の同調は，コミュニケーションの「質」を反映する特徴量として，そのメカニズムと応用可能性に関心が寄せられている．しかしこれらの同調現象はこれまでモダリティ毎に個別に研究され，相互の関係は明らかにされていない．また多くの研究で同調現象は時間的に定常的な視点で扱われてきた．これに対して本研究は，動的な創造的コミュニケーションを対象に，参加者の脳活動，身体活動，生理信号を同時に計測し，マルチモーダルな同調ダイナミクス間の関係と集団的創造過程への貢献を明らかにすることを狙う．計画2年目の本年度は，マルチモーダルなセンシング間での高精度での時間同期を実現する手法の導入・拡張と，マルチモーダル同調ダイナミクスを評価するための分析手法の開発を行った．また，新型コロナウイルス感染症の影響のもとでも可能な遠隔コミュニケーション／インタラクション課題を設計し，実験を行った．既得の対面創造的コミュニケーション実験や集団音楽インタラクションのマルチモーダルデータに対しても，新たな切り口で分析を進めた．コミュニケーション活動の同調をリアルタイムフィードバックすることで集団創造性を促進する効果についての論文，学習状況における脳活動同調が学習へのエンゲージメント共有のダイナミクスを反映することを示した論文，個人間の同調を特徴量として取り込むことでコミュニケーション時の個人の感情状態認識の精度を改善できることを示した論文が，国際学術雑誌に掲載された．また，マルチモーダル同調評価によるインタラクションの評価およびそのフィードバックによるインタラクション支援等についての学会発表など，その他の成果発表も行った．

The coherence between individuals in physical and physiological activities is reflected in the characteristics of the body and the possibility of its use. The coherence phenomenon is different from each other. The study of coherence phenomena is based on the time-invariant viewpoint. In this study, the relationship between the activity and physiological signals of the participants was measured simultaneously, and the contribution of the collective creative process was revealed. This year's plan is to introduce and develop analytical techniques for high-precision time synchronization. The impact of new types of HIV infection on the development of HIV/AIDS is likely to be a problem of design and implementation. A new approach to the analysis of the problem is proposed. The coherence of the activity of the group is different from the coherence of the activity of the group. The accuracy of personal emotional state cognition is improved when the characteristics of personal coherence are selected. In addition, the research team will also conduct research on the development and implementation of other achievements in the field of research and development.

项目成果

1on1 ミーティングにおける発話・身体・脳活動の関係性について

关于一对一会议中言语、身体和大脑活动之间的关系

• 发表时间: 2020
• 作者: 野澤孝之;前田頼宣;三宅美博
• 通讯作者: 三宅美博

Speech Discrimination in Real-World Group Communication Using Audio-Motion Multimodal Sensing

使用音频运动多模态传感进行现实世界群体通信中的语音辨别

• DOI: 10.3390/s20102948
• 发表时间: 2020
• 期刊: Sensors
• 影响因子: 3.9
• 作者: Nozawa Takayuki;Uchiyama Mizuki;Honda Keigo;Nakano Tamio;Miyake Yoshihiro
• 通讯作者: Miyake Yoshihiro

遠隔教育における学習者の集中度と教師-学習者間の同調との関係性

远程教育中学习者注意力与师生同步的关系

• 发表时间: 2021
• 作者: 青山隼人;三宅美博;野澤孝之
• 通讯作者: 野澤孝之

会話中における笑顔に伴う注視と視線の逸らしが後の協力行動に及ぼす影響

谈话过程中与微笑相关的凝视和凝视厌恶对后续合作行为的影响

• 发表时间: 2021
• 作者: 鄧笑奇;Sarinasadat Hosseini;三宅美博;野澤孝之
• 通讯作者: 野澤孝之

The Relationship Between Turn-taking, Vocal Pitch Synchrony, and Rapport in Creative Problem-Solving Communication

创造性解决问题的交流中轮流、音调同步和融洽关系之间的关系

• DOI: 10.1016/j.specom.2021.03.001
• 发表时间: 2021
• 期刊: Speech Communication
• 影响因子: 3.2
• 作者: Yokozuka Takahiro;Miyamoto Hitoshi;Kasai Masatoshi;Miyake Yoshihiro;Nozawa Takayuki
• 通讯作者: Nozawa Takayuki