Effects of Continuous Use of an Assembly and Inspection Work Support System using Augmented Reality

本研究は，拡張現実感支援システムへの依存メカニズムを解明し，作業訓練（スキル獲得）に与える影響を明らかにすることを目的とする．今年度は，特に，「プレゼンテーション中のアイコンタクト」という特定スキルに着目し，下記の項目を実施した．(a)プレゼンテーション中のアイコンタクト支援システムの構築：光学透過型頭部装着ディスプレイであるHoloLens2を装着し，プレゼンテーション中に見るべき位置を動的にユーザに伝える支援システムを構築した．構築にあたり，高品質なプレゼンターの動作を動画から解析し，プレゼンテーション中の適切なアイコンタクトを定義するとともに，その支援手法を検討した．(b)支援効果と訓練効果の両立のためのメカニズムの一検討：項目(a)のシステムを複数回使用する際に，それに過度に依存しないようにするための手法を検討し，実装した．具体的には，現在のアイコンタクトスキルを指標化し，自動的にシステムに評価させるとともに，その結果を持って，次回使用時の，支援の方法を変化させる仕組みを提案した．具体的には，前回のスキルが高いほど，確率制御により，支援が行われる回数が減少する（つまり，時々独力で，アイコンタクトの場所を考え決定しなければならない）方法を構築した．(c)各被験者に，2週間のうちに，計5日間システムを使用させる実験を行った．何の支援も行われない場合と(a)の支援のみを適用した場合を比較することで，支援のみを行った場合，システム使用後の，ユーザのスキル向上が小さいことを明らかにした．さらに，(b)の戦略を適用した場合，支援のみを適用した場合と比較して，スキル向上が大きくなることを明らかにした．

本研究は，拡張現実感支援システムへの依存メカニズムを解明し，作業訓練（スキル獲得）に与える影響を明らかにすることを目的とする．今年度は，特に，「プレゼンテーション中のアイコンタクト」という特定スキルに着目し，下記の項目を実施した．(a)プレゼンテーション中のアイコンタクト支援システムの構築：光学透過型頭部装着ディスプレイであるHoloLens2を装着し，プレゼンテーション中に見るべき位置を動的にユーザに伝える支援システムを構築した．構築にあたり，高品質なプレゼンターの動作を動画から解析し，プレゼンテーション中の適切なアイコンタクトを定義するとともに，その支援手法を検討した．(b)支援効果と訓練効果の両立のためのメカニズムの一検討：項目(a)のシステムを複数回使用する際に，それに過度に依存しないようにするための手法を検討し，実装した．具体的には，現在のアイコンタクトスキルを指標化し，自動的にシステムに評価させるとともに，その結果を持って，次回使用時の，支援の方法を変化させる仕組みを提案した．具体的には，前回のスキルが高いほど，確率制御により，支援が行われる回数が減少する（つまり，時々独力で，アイコンタクトの場所を考え決定しなければならない）方法を構築した．(c)各被験者に，2週間のうちに，計5日間システムを使用させる実験を行った．何の支援も行われない場合と(a)の支援のみを適用した場合を比較することで，支援のみを行った場合，システム使用後の，ユーザのスキル向上が小さいことを明らかにした．さらに，(b)の戦略を適用した場合，支援のみを適用した場合と比較して，スキル向上が大きくなることを明らかにした．