Development of endoscopic treatment assistance system based on relationship modeling between recognition and action

点击翻译按钮获取中文摘要

本研究では認知と行動の関連解明に基づく内視鏡操作支援システムの実現を目指す。内視鏡を用いた診断・治療では経験不足の医師による合併症発生や病変見落としが発生する。医師の内視鏡操作をコンピュータで支援し自動化することで、個人の経験に依存しない治療が可能となる。医師が内視鏡操作を行う上で、視覚等による状況把握と判断を連続的に行い、それに基づいて操作を実行する。つまり状況の「認知」と「行動」が密接に連携して行われる。このような「認知」と「行動」の連携をデータドリブンで解析し、行動選択の仕組みを解明することを目指す。この目標を達成するため、医師の認知と行動の関係を計測し、深層学習等でのデータドリブンな推定モデル化を通して、認知と行動の連携による推定をコンピュータ上に実現する（認知・行動連携モデル）。モデルを組み込んだ内視鏡操作支援システムを開発し、内視鏡画像等への認知支援情報提示、ロボットによる行動介入を通した支援を実現する。上記の研究を達成するために、(1) 医師の認知と行動を計測する枠組みの実現、(2) 認知と行動の連携をコンピュータ上でモデル化し、(3) モデルを用いた認知と行動支援情報の提示及び (4) ロボットによる行動介入を通した支援を行う内視鏡操作支援システムの開発を行う。本年度は、認知と行動の連携モデル開発と内視鏡操作支援システムの検討を行った。前年度データ収集した大腸内視鏡操作時の内視鏡位置情報データを使用し、深層学習モデルを使用して医師への支援情報生成に必要となる内視鏡や大腸の状態を推定する方法を実現した。