ロボット支援術中臓器への加圧程度を手術映像のみから判断するAIシステム開発と実装

ロボット支援手術は以前の非ロボット腹腔鏡手術よりも精緻な操作を可能とした一方,「触覚」を感知できず力も強いことから不慣れな術者の場合術中臓器損傷 に遭遇することがある. しかし非ロボット腹腔鏡手術の術者として経験をつんだ場合, 感知できないはずの「触覚」をロボット手術開始当初から「感じる」とされ, それを「仮想触覚」と表現される.本研究では「ロボット支援手術で発生する臓器への加圧（加力）程度を, 手術時の映像情報のみからAIにより判断し術者へ明示」, すなわち「仮想触覚を明示」し実装することを目的とした. 方法は ①臓器へ加圧（加力）時の経時的臓器変形動画データと, ②過去のヒト手術動画から許容される臓器加圧程度をAIへ学習させそれを基にプログラム構築する予定である.現在の状況を述べる. 昨年度は3次元応力ベクトル(Fx, Fy, Fz)を出力する畳み込みニューラルネットワーク(CNN)による回帰モデルもちいて「摘出臓器を対象とした単一カメラ画像からの鉗子圧の推定」基礎プログラムを作成した. 今年度は様々な状況での鉗子圧の推定精度を検討し, 精度を左右する動画の「条件」を検討した. これを踏まえてさらなる精度向上が確認できたことから, 現在論文執筆中である.

ロボット支援手術は以前の非ロボット腹腔鏡手術よりも精緻な操作を可能とした一方,「触覚」を感知できず力も強いことから不慣れな術者の場合術中臓器損傷 に遭遇することがある. しかし非ロボット腹腔鏡手術の術者として経験をつんだ場合, 感知できないはずの「触覚」をロボット手術開始当初から「感じる」とされ, それを「仮想触覚」と表現される.本研究では「ロボット支援手術で発生する臓器への加圧（加力）程度を, 手術時の映像情報のみからAIにより判断し術者へ明示」, すなわち「仮想触覚を明示」し実装することを目的とした. 方法は ①臓器へ加圧（加力）時の経時的臓器変形動画データと, ②過去のヒト手術動画から許容される臓器加圧程度をAIへ学習させそれを基にプログラム構築する予定である.現在の状況を述べる. 昨年度は3次元応力ベクトル(Fx, Fy, Fz)を出力する畳み込みニューラルネットワーク(CNN)による回帰モデルもちいて「摘出臓器を対象とした単一カメラ画像からの鉗子圧の推定」基礎プログラムを作成した. 今年度は様々な状況での鉗子圧の推定精度を検討し, 精度を左右する動画の「条件」を検討した. これを踏まえてさらなる精度向上が確認できたことから, 現在論文執筆中である.