Development of new haptic-audio-visual experiences by constructing remote sound drawing methods using mixed reality

点击翻译按钮获取中文摘要

2022(令和4)年度の成果概要は以下の通りである。【検証実験、システム更新】前年度開発を行った遠隔手法、触覚デバイス、音響生成機構を用いてシステムの更新をおこなった。更新したシステムを用いて実際に遠隔での検証実験を実施した。具体的には、遠隔で繋がった体験者同士の手が触れ会うことでノートオブジェクト（音オブジェクト）が生成されるとともに触覚フィードバックが生じるといったようなシンプルな構成をいくつか準備し、その動作確認を行った。筆者らが用いたネット環境下では、描画・音響の遅延等は気になるものではなく安定的に体験可能であった。ただし、空間における音描の密度が高まるとシステムへの負荷も高まり動作が不安定になるため、その対応について今後の制作を通して検討・改良を行っていく必要がある。【遠隔空間音描手法の策定・構築】更新したシステムを用いて遠隔空間音描手法について構成的に検討を行った。遠隔でMR体験を行う場合、体験者らはそれぞれ今自分自身が存在する実空間上にバーチャルオブジェクトが重なるかたちでそれらを共有することになる。つまり、体験者間で同じバーチャルオブジェクトを見聞きするものの、それらを見聞きするベースとなる実空間はそれぞれ異なるため、実空間とバーチャルオブジェクトが織りなす複合現実であるMR体験は体験者間で非対称となる。本研究ではこの遠隔MR体験の非対称性に着目しながら空間音描手法および体験の設計をおこなっている。【デモシステムの発表】本研究で開発・制作したデモ作品を国際会議SIGGRAPH 2022, Immersive Pvirionに投稿し採択された。レビュアーらから総じて高評価を受けての採択となった。