Development of endoscopic treatment assistance system based on relationship modeling between recognition and action

基于识别与动作关系建模的内镜治疗辅助系统开发

• 批准号: 21K12723
• 负责人: 小田 昌宏
• 金额: $ 2.66万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12723/
• 关键词: 認知と行動の関係解析; 内視鏡操作支援システム; 内視鏡操作支援ロボット

本研究では認知と行動の関連解明に基づく内視鏡操作支援システムの実現を目指す。内視鏡を用いた診断・治療では経験不足の医師による合併症発生や病変見落としが発生する。医師の内視鏡操作をコンピュータで支援し自動化することで、個人の経験に依存しない治療が可能となる。医師が内視鏡操作を行う上で、視覚等による状況把握と判断を連続的に行い、それに基づいて操作を実行する。つまり状況の「認知」と「行動」が密接に連携して行われる。このような「認知」と「行動」の連携をデータドリブンで解析し、行動選択の仕組みを解明することを目指す。この目標を達成するため、医師の認知と行動の関係を計測し、深層学習等でのデータドリブンな推定モデル化を通して、認知と行動の連携による推定をコンピュータ上に実現する（認知・行動連携モデル）。モデルを組み込んだ内視鏡操作支援システムを開発し、内視鏡画像等への認知支援情報提示、ロボットによる行動介入を通した支援を実現する。上記の研究を達成するために、(1) 医師の認知と行動を計測する枠組みの実現、(2) 認知と行動の連携をコンピュータ上でモデル化し、(3) モデルを用いた認知と行動支援情報の提示及び (4) ロボットによる行動介入を通した支援を行う内視鏡操作支援システムの開発を行う。本年度は、認知と行動の連携モデル開発と内視鏡操作支援システムの検討を行った。前年度データ収集した大腸内視鏡操作時の内視鏡位置情報データを使用し、深層学習モデルを使用して医師への支援情報生成に必要となる内視鏡や大腸の状態を推定する方法を実現した。

This study clarifies the relationship between で, と, cognition, と, action, <e:1>, に basis, づく, endoscopic operation support, システム, <s:1> implementation, and を finger す. Endoscopy を diagnosis and treatment of で で insufficient experience of the physician による complications arising from や disease occurrence と occurrence する Doctors operate を の endoscopy コ ン ピ ュ ー タ で support し automation す る こ と で, personal の 経 験 に dependent し な い が treatment can と な る. Operating line を う physicians が endoscopy で, regard 覚 に よ judgement grasp と る を even 続 に い, そ れ に base づ い て を operation line be す る. Youdaoplaceholder0 ま ま status ま "cognition" と "action" が close contact に link て line われる. "Cognitive" こ の よ う な と "action" の を link-up デ ー タ ド リ ブ ン で parsing し, action sentaku の blackstone group み を interpret す る こ と を refers す. こ の を fabricate す る た め, physicians の cognitive と action の masato is を measuring し, deep learning で の デ ー タ ド リ ブ ン な presumption モ デ ル change を tong し て, cognitive と action の に link-up よ る presumption を コ ン ピ ュ ー タ on に be presently す る (cognitive action even with モ デ ル). モ デ ル を group み 込 ん operation support だ endoscopy シ ス テ ム を open 発 し, endoscopic portrait へ の cognitive support information prompt, ロ ボ ッ ト に よ る action intervention を tong し た support を be presently す る. Written の research を reached す る た め に, (1) physicians の cognitive と action を measuring す る 枠 group み の be now, (2) cognitive と action の を link-up コ ン ピ ュ ー タ on で モ デ ル し, (3) モ デ ル を with い た cognitive と action support intelligence の tips and び (4) Youdaoplaceholder0 action intervention を through <s:1> た support を operation う endoscopic operation support システム development を operation う. This year, the と and the Cognitive と Action <e:1> have joined hands with モデ to launch と endoscopic operation support システム and 検 to discuss を and った. Before annual デ ー タ 収 set し operation た colon endoscopy location intelligence の endoscopy デ ー タ を use し, deep learning モ デ ル を use し て physicians へ の support information generated に necessary と な や る endoscopy e. の state を presumption す を る method be presently し た.

项目成果

KST-Mixer: kinematic spatio-temporal data mixer for colon shape estimation

KST-Mixer：用于结肠形状估计的运动时空数据混合器

• DOI: 10.1080/21681163.2022.2151938
• 发表时间: 2023
• 期刊: Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization
• 作者: Masahiro Oda;Kazuhiro Furukawa;Nassir Navab;Kensaku Mori
• 通讯作者: Kensaku Mori

Depth estimation from single-shot monocular endoscope image using image domain adaptation and edge-aware depth estimation

• DOI: 10.1080/21681163.2021.2012835
• 发表时间: 2021-12
• 期刊: Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization
• 作者: M. Oda;H. Itoh;Kiyohito Tanaka;H. Takabatake;M. Mori;H. Natori;K. Mori