Augmented reality-assisted surgery integrating artificial intelligence and computer vision

点击翻译按钮获取中文摘要

外科手術には三次元(3D)の空間認識能力が求められ、医療の完成度は術者の技量に大きく依存することから、医用画像データから構築する術前のコンピュータシミュレーションを用いた高精度な手術支援技術は必要である。人工知能（AI)は、大量のサンプルを用いて学習し、医用画像パターンの識別・分類・定量やロボットアームの制御に有用である。本研究では、これまでの成果である生体内部の解剖学的な立体情報を含む手術環境全体の位置情報を可視化する拡張現実ディスプレイとコンピュータビジョンによる高精度な位置情報制御システムにAIを搭載した。従来のディープラーニングアプローチは、画像ボリューム全体を入力データとして扱うか、ランドマークを個別にのみ検出できるため、計算コストが非常に高くなるか、複数のランドマーク間の空間関係を無視する。したがって、本研究では高速でマルチランドマークのローカライズ機能を備えた自動手術計画モデルをカスタム開発した。術前および術後のコンピュータ断層撮影（CT）の両方からのランドマークデータに基づいて、手術計画モデルをさらにトレーニングする。ランドマークモデルと手術計画モデルの両方を取得した後、術後ランドマークの位置が自動的に予測され、術前CT等の3D画像を用いてAIによる自動手術計画を実施した。実用化に向けてプログラムの性能（手術計画や術後予測の精度等）を確認して改良した。自動手術計画モデルを口腔外科手術用ロボットと統合した。