Development of Augmented Reality based neuronavigation

この研究は、手術用顕微鏡に適用可能な拡張現実（AR）ナビゲーションの開発を目指すものである。具体的には手術用顕微鏡で捉えた術野画像に重畳して、脳腫瘍や血管など術者に必要な解剖情報の３次元画像をリアルタイムに表示するシステムである。本研究が実現することにより、解剖が複雑でオリエンテーションの獲得が困難な顕微鏡手術に、解剖をわかりやすく理解できるARを用いた情報提示を導入でき、顕微鏡手術の成績改善が期待される。令和4年度までに実用水準のシステムを完成することができた。システムは制御コンピュータと付属のAR表示用タブレット端末、および手術用顕微鏡に接続するための接続ケーブルから構成される。接続ケーブルを手術用顕微鏡に接続することで、制御コンピューターの画面上に顕微鏡でとらえたリアルタイムの術野画像による解剖情報が同時に表示される。すでに市販されている類似システムも存在するが、それらと比較しこのシステムが優れている点は、①顕微鏡及び付属のタブレット端末両方のARに対応することで、術者は常に最良のARメディアを選択できる点、②特定メーカー、機種を問わず様々な手術用顕微鏡に対応できる点、が挙げられる。また昨年度までの課題であった本システムが手術用顕微鏡の倍率変更に追従できない課題であるが、倍率を手動ながらもシステムに入力して追従できるようにするソフトウェアを実装しひとまずの解決を得ることができた。令和４年度前半までに、ファントムを用いた模擬手術による検証を行い実用的水準にあることが確認され、臨床での検証を開始している。

この研究は、手術用顕微鏡に適用可能な拡張現実（AR）ナビゲーションの開発を目指すものである。具体的には手術用顕微鏡で捉えた術野画像に重畳して、脳腫瘍や血管など術者に必要な解剖情報の３次元画像をリアルタイムに表示するシステムである。本研究が実現することにより、解剖が複雑でオリエンテーションの獲得が困難な顕微鏡手術に、解剖をわかりやすく理解できるARを用いた情報提示を導入でき、顕微鏡手術の成績改善が期待される。令和4年度までに実用水準のシステムを完成することができた。システムは制御コンピュータと付属のAR表示用タブレット端末、および手術用顕微鏡に接続するための接続ケーブルから構成される。接続ケーブルを手術用顕微鏡に接続することで、制御コンピューターの画面上に顕微鏡でとらえたリアルタイムの術野画像による解剖情報が同時に表示される。すでに市販されている類似システムも存在するが、それらと比較しこのシステムが優れている点は、①顕微鏡及び付属のタブレット端末両方のARに対応することで、術者は常に最良のARメディアを選択できる点、②特定メーカー、機種を問わず様々な手術用顕微鏡に対応できる点、が挙げられる。また昨年度までの課題であった本システムが手術用顕微鏡の倍率変更に追従できない課題であるが、倍率を手動ながらもシステムに入力して追従できるようにするソフトウェアを実装しひとまずの解決を得ることができた。令和４年度前半までに、ファントムを用いた模擬手術による検証を行い実用的水準にあることが確認され、臨床での検証を開始している。