Applying machine learning to support common ground sharing in one-to-many remote collaboration

应用机器学习支持一对多远程协作中的共同点共享

• 批准号: 21J10801
• 负责人: 王 子洋
• 金额: $ 0.96万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J10801/
• 关键词: 共通基盤; 遠隔協調作業

本年度は，一対多遠隔協調作業システムの開発と共通基盤を解析するための機械学習データセットの収集に取り組んだ。一対多遠隔協調作業システムについて，現地作業者はARヘッドマウントディスプレイを用い，作業環境の映像を観察することができる。一方，作業環境の映像はWebSocketで遠隔指示者のPCモニターに送信されることで，遠隔指示者は同時に最大４人の作業者の映像を観察できる。そして，指示者はマウスで自由に作業者を選択し，自分の手をアバターとして選択された作業者に提示することで，手振りやジェスチャーなどの非言語的情報を伝達できる。機械学習データセットの収集に関して，遠隔協調作業を模擬する実験を実施した。実験参加者は指示者と作業者の２グループに分かれ，上述の遠隔協調作業システムを用い実験に参加した。タスクは，オーダーピッキングタスクであった。一回の実験には，三回のセッションがあり，各セッションで，各種の対象物に対して，指示者の指示方法の変化を収集した。コロナ禍により，大量な実験データを収集出来なかったが，集めたデータを分析したところ、同じ対象物に対する作業時間が有意に短縮され、指示者と作業者の間に共通基盤ができたことが示唆された。これにより，本データセットを生成するための実験の方法・内容が適切であると考えられる。本年度，博士号の取得と就職に伴い学振を辞退し本研究を中断したが，来年度は本年度の成果に基づき，研究計画を見直し，本研究を続ける予定である。

During the year, a set of machine learning tools was developed to analyze the development of a common base for distance coordination. A long distance coordination of operations, field operations, and the use of the environment On the one hand, the image of the operating environment is WebSocket, the remote pointer PC is sent, and the remote pointer is simultaneously detected by the image of the maximum 4 people. For example, the pointer can choose the industry freely, and the hand can choose the industry prompt. For example, the hand can choose the industry prompt, and the hand can choose the non-verbal information. Machine learning is based on the integration of remote coordination operations. The participants were instructed to participate in the work of the two groups.タスクは，オーダーピッキングタスクであった。A loop of the system, three loop of the system, each of the system, a variety of objects, the indicator of the method of integration A large number of data sets are collected, and the operation time of the same object is intentionally shortened. This is the first time I've ever seen a person who's been in a relationship with someone else. This year, the doctor's number was obtained and the study was terminated. In the next year, the results of this year's study were confirmed.