Development of Augmented Reality Surgical Simulator

本研究では、拡張現実（Augmented Reality/AR）を応用した手術手技訓練用のシミュレーターの開発を目標として、以下の4点について研究を進めてきました。1.シミュレーター作成用のデジタルデータベースの構築：臨床で一般的に使用されている画像の記録様式DICOMから、CADで使用されるデータ（STLなど）への変換は手間のかかる作業でした。シミュレーターの作成を計画した際に、すぐに利用できる臓器のデジタルデータのデータベースがあれば開発が促進されると考え、整備を行いました。2.シミュレーターの製品化の促進：医療用シミュレーターの開発では、作成のコストが高いことが開発の妨げとなっていました。この問題を克服するために、福島県内の企業と共同で、低コストで大型のシミュレーターを製品化するための技術を開発してきました。安価な素材（段ボールや発泡スチロールなど）を材料にした3D構築の技術を開発し、これまで開腹手術用のトレーニングシミュレーター、腹腔鏡手術用のトレーニングシミュレーター、小児外科手術用のトレーニングシミュレーター、人工心臓装着のためのトレーニングシミュレーターなどを開発し実用化してきました。今年度は紙を原料としたより安価なトレーニング環境の開発に取り組み、試作品を完成させました。3.ARを応用した現実と仮想現実の融合：上記の1、2の技術を応用して、現実部分と仮想現実部分をそれぞれ作成し、AR技術によってこれらを融合することができました。4.ウエアラブルディスプレイとARを応用した手術トレーニングシステムの作成を進めてきましたが、既存のデバイスでは視線の方向や距離が手術訓練には適さないことが判明しました。そのため、計画を変更し、タブレット機器を利用して、学習者が自らニーズに応じたシミュレーターをデザインできる開発環境を構築しました。

本研究では、拡張現実（Augmented Reality/AR）を応用した手術手技訓練用のシミュレーターの開発を目標として、以下の4点について研究を進めてきました。1.シミュレーター作成用のデジタルデータベースの構築：臨床で一般的に使用されている画像の記録様式DICOMから、CADで使用されるデータ（STLなど）への変換は手間のかかる作業でした。シミュレーターの作成を計画した際に、すぐに利用できる臓器のデジタルデータのデータベースがあれば開発が促進されると考え、整備を行いました。2.シミュレーターの製品化の促進：医療用シミュレーターの開発では、作成のコストが高いことが開発の妨げとなっていました。この問題を克服するために、福島県内の企業と共同で、低コストで大型のシミュレーターを製品化するための技術を開発してきました。安価な素材（段ボールや発泡スチロールなど）を材料にした3D構築の技術を開発し、これまで開腹手術用のトレーニングシミュレーター、腹腔鏡手術用のトレーニングシミュレーター、小児外科手術用のトレーニングシミュレーター、人工心臓装着のためのトレーニングシミュレーターなどを開発し実用化してきました。今年度は紙を原料としたより安価なトレーニング環境の開発に取り組み、試作品を完成させました。3.ARを応用した現実と仮想現実の融合：上記の1、2の技術を応用して、現実部分と仮想現実部分をそれぞれ作成し、AR技術によってこれらを融合することができました。4.ウエアラブルディスプレイとARを応用した手術トレーニングシステムの作成を進めてきましたが、既存のデバイスでは視線の方向や距離が手術訓練には適さないことが判明しました。そのため、計画を変更し、タブレット機器を利用して、学習者が自らニーズに応じたシミュレーターをデザインできる開発環境を構築しました。