Assessing Multimodal Dynamics in Multi-Party Collaborative Interactions with Multi-Level Vector Autoregression
Assessing Multimodal Dynamics in Multi-Party Collaborative Interactions with Multi-Level Vector Autoregression
复制标题
使用多级向量自回归评估多方协作交互中的多模态动力学
DOI：
10.1145/3536221.3556595
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
D'Mello, Sidney K.
中科院分区：
文献类型：
--
作者：
Moulder, Robert G.;Duran, Nicholas D.;D'Mello, Sidney K.
多水平向量自回归（mlVAR）是最近发展起来的动态网络模型，用于评估多个用户随时间的多模态时态数据流。重要的是，mlVAR有助于在统一的框架内对高度复杂的协作交互进行调查。为了证明效用的mlVAR理解的时间动态的多模态多方（MMP）的相互作用，我们将其应用到9个信号测量201用户（67三合会）谁从事了15分钟的协作解决问题的任务。测量的信号反映了参与者的情感状态（正效价和负效价），生理状态（皮肤电导和心率），注意力（凝视持续时间和凝视分散），非语言交流（头部加速度和面部表情）和语言交流（语速）。使用节点级的强度，强度和同步性指标，我们表明，mlVAR是能够戏弄除了复杂的基于角色的动态（控制器，主要贡献者，或次要贡献者）之间的参与者。我们的发现还为个体之间的复杂反馈系统提供了证据，其中内部状态（即，皮肤电导）受到共享注意力和通信的外部信号的影响（即，凝视和言语）。
Multi-level vector autoregression (mlVAR) is a recently developed dynamic network model for assessing multimodal temporal data streams derived from multiple users over time. Importantly, mlVAR facilitates investigations into highly complex collaborative interactions within a unified framework. In order to demonstrate the utility of mlVAR for understanding the temporal dynamics of multimodal multi-party (MMP) interactions, we apply it to 9 signals measured from 201 users (67 triads) who engaged in a 15-minute collaborative problem solving task. Measured signals reflect participants’ affective states (positive valence and negative valence), physiological states (skin conductance and heart rate), attention (gaze fixation duration and gaze dispersion), nonverbal communication (head acceleration and facial expressiveness), and verbal communication (speech rate). Using node-level metrics of in-strength, out-strength, and synchrony, we show that mlVAR is capable of teasing apart complex role-based dynamics (controller, primary contributor, or secondary contributor) between participants. Our findings also provide evidence for a complex feedback system between individuals where internal states (i.e., skin conductance) are influenced by external signals of shared attention and communication (i.e., gaze and speech).
登录
查看更多内容
影响因子：
1.7
作者：
Bishop L;Goebl W
通讯作者：
Goebl W
集中还是粘在一起：多模式模式揭示了三人组在协作解决问题中的表现
DOI：
10.1145/3375462.3375467
发表时间：
2020
期刊：
Proceedings of the International Conference on Learning Analytics & Knowledge (LAK 2020
影响因子：
--
作者：
Vrzakova, Hana;Amon, Mary Jean;Stewart, Angela;Duran, Nicholas D.;D'Mello, Sidney K.
通讯作者：
D'Mello, Sidney K.
影响因子：
8.1
作者：
Durugbo, Christopher;Hutabarat, Windo;Alcock, Jeffrey R.
通讯作者：
Alcock, Jeffrey R.
传播欢乐：快乐面部情绪的高低偏差如何转化为不同的日常生活影响动态
DOI：
10.1155/2018/2674523
发表时间：
2018
期刊：
Complex.
影响因子：
--
作者：
C. Vrijen;C. Hartman;E. Roekel;P. Jonge;A. Oldehinkel
通讯作者：
A. Oldehinkel
影响因子：
4.6
作者：
Behrens F;Snijdewint JA;Moulder RG;Prochazkova E;Sjak-Shie EE;Boker SM;Kret ME
通讯作者：
Kret ME