術者のコツと経験則を拡張現実を用いて共有するシステムの開発

点击翻译按钮获取中文摘要

今回の研究実績の概要は次の2点にまとめられる。１つ目が、形状差分情報の処理におけるリアルタイム形状差分情報提示手法の実装である。もう１つが、Augumented reality (AR)を用いた、形状表示方法の実装である。まず前者であるが、先行して行なっていた研究では、患者の乳房形状を術中に計測し、3Dデータクレンジングを行なった後に形状差分情報を計算していた。それを元に、プロジェクションマッピング用の投影を作成し、体表への投影レジストレーションを経て、患者体表に差分情報として投影していた。このシステムでは形状差分情報を体表へのカラーマップとして定量的に術者へ提示できる反面、画像処理に時間がかかり、実際の計測から投影までのタイムラグが多く、手術を行なっている医師を待たせるという問題があった。またソフトウェアの操作が煩雑で習熟が必要という点が課題として残っていた。これを改善する手法として、今回の研究実績では、患者体表の画面上で一度正中線を指定すると患者の健側乳房を再建側に左右反転処理し、再建乳房との形状差分情報を自動で計算し、リアルタイムで即座に左右乳房の形状差分情報を導出できるものとした。これにより再建手術における再建乳房の変化を逐一、術者に提示可能となり、また撮影から情報提示までの待ち時間を大幅に短縮できるようになった。もう一つが、これらの情報の提示手段としてプロジェクションマッピングだけでなく、一般的に販売されているタブレット端末を用いたAR表示の実装を行なった。患者体表にレジストレーションマーカーを置き、それをもとにタブレットのカメラ画像に差分情報等の再建乳房情報を表示させるものである。またマイクロソフト社が販売しているHolo Lensを用いた表示方法についても表示可能なことを確認した。