Elucidation of the "eye" for safe endoscopic surgery and construction of a foundation for the technological application

内視鏡外科手術において、視認のための内視鏡カメラを操作するスコピストは、術者の目として大切な役割を果たす。本研究では、「手術の安全性を担保する最適なカメラワークとは何か」を解明するため、経験豊富なスコピストの持つ手（操作技術）と頭（操作予測）を解析し、暗黙知の可視化を試る。本年度は、まず腹腔鏡下胆嚢摘出術の過去動画140件の中から、技術認定合格ビデオを3本含んだ6本のビデオを抽出し、サンプル教師動画とした。Visual SLAMによる研究では、外科医が手術時に基準となる座標軸を暗黙のうちに想定し、それを基準に手術をしていくことに着目し、スコピストが基準の座標軸から大きく回転しないように内視鏡を動かすための視覚的なガイドを内視鏡画像に重畳表示することを目標とした。内視鏡動画像に対してVisualSLAMアルゴリズムを適用して得られる世界座標系を基準となる座標軸と想定し、その座標軸に沿った3次元グリッドを内視鏡画像に重畳表示することができた。術者の視野推定の研究では、5件の腹腔鏡の胆嚢摘出術に際して、Tobii3グラスをかけて、視線解析のデータを取得した。モニターの隅4点にAruCo マーカーを配置し、動画の各フレームごとにコーナーの各座標を取得し射影変換を行った。アイトラッカーを用い、術中に注視点データと視野映像を取得、視野映像からモニターを抽出した映像の各フレームを事前学習されたVGGを用いて特徴抽出を行い、その特徴量をネットワークに入力することより注視に点をフレーム単位で推定した。その値とアイトラッカーからの注視点データのLoss をMSEで取り、ネットワークのパラメータを更新した。この手術映像と注視点座標を用いた注視点予測では、大きさが(256×256) の画像に対してRMSE（予測値と実際の値の距離の平均）という指標で54.346 という結果を得ることができた。

内視鏡外科手術において、視認のための内視鏡カメラを操作するスコピストは、術者の目として大切な役割を果たす。本研究では、「手術の安全性を担保する最適なカメラワークとは何か」を解明するため、経験豊富なスコピストの持つ手（操作技術）と頭（操作予測）を解析し、暗黙知の可視化を試る。本年度は、まず腹腔鏡下胆嚢摘出術の過去動画140件の中から、技術認定合格ビデオを3本含んだ6本のビデオを抽出し、サンプル教師動画とした。Visual SLAMによる研究では、外科医が手術時に基準となる座標軸を暗黙のうちに想定し、それを基準に手術をしていくことに着目し、スコピストが基準の座標軸から大きく回転しないように内視鏡を動かすための視覚的なガイドを内視鏡画像に重畳表示することを目標とした。内視鏡動画像に対してVisualSLAMアルゴリズムを適用して得られる世界座標系を基準となる座標軸と想定し、その座標軸に沿った3次元グリッドを内視鏡画像に重畳表示することができた。術者の視野推定の研究では、5件の腹腔鏡の胆嚢摘出術に際して、Tobii3グラスをかけて、視線解析のデータを取得した。モニターの隅4点にAruCo マーカーを配置し、動画の各フレームごとにコーナーの各座標を取得し射影変換を行った。アイトラッカーを用い、術中に注視点データと視野映像を取得、視野映像からモニターを抽出した映像の各フレームを事前学習されたVGGを用いて特徴抽出を行い、その特徴量をネットワークに入力することより注視に点をフレーム単位で推定した。その値とアイトラッカーからの注視点データのLoss をMSEで取り、ネットワークのパラメータを更新した。この手術映像と注視点座標を用いた注視点予測では、大きさが(256×256) の画像に対してRMSE（予測値と実際の値の距離の平均）という指標で54.346 という結果を得ることができた。