Applying machine learning to support common ground sharing in one-to-many remote collaboration

本年度は，一対多遠隔協調作業システムの開発と共通基盤を解析するための機械学習データセットの収集に取り組んだ。一対多遠隔協調作業システムについて，現地作業者はARヘッドマウントディスプレイを用い，作業環境の映像を観察することができる。一方，作業環境の映像はWebSocketで遠隔指示者のPCモニターに送信されることで，遠隔指示者は同時に最大４人の作業者の映像を観察できる。そして，指示者はマウスで自由に作業者を選択し，自分の手をアバターとして選択された作業者に提示することで，手振りやジェスチャーなどの非言語的情報を伝達できる。機械学習データセットの収集に関して，遠隔協調作業を模擬する実験を実施した。実験参加者は指示者と作業者の２グループに分かれ，上述の遠隔協調作業システムを用い実験に参加した。タスクは，オーダーピッキングタスクであった。一回の実験には，三回のセッションがあり，各セッションで，各種の対象物に対して，指示者の指示方法の変化を収集した。コロナ禍により，大量な実験データを収集出来なかったが，集めたデータを分析したところ、同じ対象物に対する作業時間が有意に短縮され、指示者と作業者の間に共通基盤ができたことが示唆された。これにより，本データセットを生成するための実験の方法・内容が適切であると考えられる。本年度，博士号の取得と就職に伴い学振を辞退し本研究を中断したが，来年度は本年度の成果に基づき，研究計画を見直し，本研究を続ける予定である。

本年度は，一対多遠隔協調作業システムの開発と共通基盤を解析するための機械学習データセットの収集に取り組んだ。一対多遠隔協調作業システムについて，現地作業者はARヘッドマウントディスプレイを用い，作業環境の映像を観察することができる。一方，作業環境の映像はWebSocketで遠隔指示者のPCモニターに送信されることで，遠隔指示者は同時に最大４人の作業者の映像を観察できる。そして，指示者はマウスで自由に作業者を選択し，自分の手をアバターとして選択された作業者に提示することで，手振りやジェスチャーなどの非言語的情報を伝達できる。機械学習データセットの収集に関して，遠隔協調作業を模擬する実験を実施した。実験参加者は指示者と作業者の２グループに分かれ，上述の遠隔協調作業システムを用い実験に参加した。タスクは，オーダーピッキングタスクであった。一回の実験には，三回のセッションがあり，各セッションで，各種の対象物に対して，指示者の指示方法の変化を収集した。コロナ禍により，大量な実験データを収集出来なかったが，集めたデータを分析したところ、同じ対象物に対する作業時間が有意に短縮され、指示者と作業者の間に共通基盤ができたことが示唆された。これにより，本データセットを生成するための実験の方法・内容が適切であると考えられる。本年度，博士号の取得と就職に伴い学振を辞退し本研究を中断したが，来年度は本年度の成果に基づき，研究計画を見直し，本研究を続ける予定である。