Skill Acquisition Support in Microscopic Suturing Practice

本研究では，脳神経外科医が行う顕微鏡縫合を対象とし，上級者の技術要素を練習者へ視覚的に伝達することで，顕微鏡縫合練習の効率化を図る．今年度は，昨年度までに明らかにした，顕微鏡縫合練習における上級者が注目する技術的要素について，VRヘッドセット内で可視化を行う手法を提案した．具体的には，練習者がVRヘッドセットを被ると，顕微鏡内の映像とシステムからのフィードバック映像が可視化されて表示されるよう実装を行なった．本実装では，顕微鏡の両接眼レンズ部分にカメラを設置し，左右映像をVRヘッドセット内で表示することで，立体視を可能とした．重畳表示する映像は，縫合を行う画面中心部分にはピンセットの位置によって色の変わる円，画面下部にはガーゼの動きによって色と長さの変わるバーの表示を行った．両表示では悪い動作が検出されると色が緑から赤に変化することにより，練習者の技術的要素に関するフィードバックを行った．また，各技術的要素の検出結果から，練習者の習熟度スコアを算出する手法を提案した．具体的には，練習者の技術的要素検出結果を入力としてスコア算出式を回帰分析を用いて実装した．回帰分析に用いるデータは今までに収集した，初級者，中級者，上級者のデータを用いた．算出したスコアは，縫合練習が終わった直後にVRヘッドセット内の画面に表示され，一連の練習内での最高スコアや完了時間等が都度確認できるように実装した．これらの提案手法について，顕微鏡縫合初心者を対象とした被験者実験を行ない，提案システムがモチベーション向上に有用であるという評価を得られた．以上の内容を査読付きの国内学会，国際学会で発表を行なった．今後は，実際の医師（専門医）の方々が使えるように，システムのUI向上を行う．また，医師に使用していただく際に，視線や音声を取得することで，熟練度や注目箇所に関するデータ収集とその解析を行う予定である．

本研究では，脳神経外科医が行う顕微鏡縫合を対象とし，上級者の技術要素を練習者へ視覚的に伝達することで，顕微鏡縫合練習の効率化を図る．今年度は，昨年度までに明らかにした，顕微鏡縫合練習における上級者が注目する技術的要素について，VRヘッドセット内で可視化を行う手法を提案した．具体的には，練習者がVRヘッドセットを被ると，顕微鏡内の映像とシステムからのフィードバック映像が可視化されて表示されるよう実装を行なった．本実装では，顕微鏡の両接眼レンズ部分にカメラを設置し，左右映像をVRヘッドセット内で表示することで，立体視を可能とした．重畳表示する映像は，縫合を行う画面中心部分にはピンセットの位置によって色の変わる円，画面下部にはガーゼの動きによって色と長さの変わるバーの表示を行った．両表示では悪い動作が検出されると色が緑から赤に変化することにより，練習者の技術的要素に関するフィードバックを行った．また，各技術的要素の検出結果から，練習者の習熟度スコアを算出する手法を提案した．具体的には，練習者の技術的要素検出結果を入力としてスコア算出式を回帰分析を用いて実装した．回帰分析に用いるデータは今までに収集した，初級者，中級者，上級者のデータを用いた．算出したスコアは，縫合練習が終わった直後にVRヘッドセット内の画面に表示され，一連の練習内での最高スコアや完了時間等が都度確認できるように実装した．これらの提案手法について，顕微鏡縫合初心者を対象とした被験者実験を行ない，提案システムがモチベーション向上に有用であるという評価を得られた．以上の内容を査読付きの国内学会，国際学会で発表を行なった．今後は，実際の医師（専門医）の方々が使えるように，システムのUI向上を行う．また，医師に使用していただく際に，視線や音声を取得することで，熟練度や注目箇所に関するデータ収集とその解析を行う予定である．