腎部分摘出術のSLAMを応用した実用的AR支援と電気メスによる熱影響のモデル化

使用 SLAM 进行实用 AR 支持进行部分肾切除术和电动手术刀热效应建模

• 批准号: 18K11496
• 负责人: 小枝 正直
• 金额: $ 2.66万
• 依托单位: Osaka Electro-Communication University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-01 至 2020-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-18K11496/
• 关键词: RALPN; AR; SLAM; ロボット支援腹腔鏡下術; 腎部分切除; 電気メス

ロボット支援腹腔鏡下術による腎部分切除の実現により，腎機能を維持した腫瘍除去が可能となった．部分切除では腫瘍を漏らさず除去して正常組織を最大限に残存させることが重要であるが，現状，切除領域の決定は医師の経験に依存している．そこで医師と密に連携し，現場のニーズに合ったAR手術支援システムを構築することが本研究の一つの目的である．ステレオORB-SLAMを用いた内視鏡カメラの位置姿勢推定によるARシステムを開発し，これまでに臨床実験を複数回実施している．実験後，システムに関する意見を医師から集約し，可能な限り速やかにシステムに反映し，改良を続けている．この研究成果については，21st INTERNATIONAL CONFERENCE ON HUMAN-COMPUTER INTERACTION (HCII2019)で発表し，22nd INTERNATIONAL CONFERENCE ON HUMAN-COMPUTER INTERACTION (HCII2020)でも発表予定である．内視鏡カメラ映像から臓器の位置姿勢を高速かつ高精度に推定する手法に関する研究については，HCII2019, IEEE TENCON 2019 Technologies for Smart Nation (TENCON2019)で発表し，HCII2020でも発表予定である．マーカを用いた内視鏡カメラの位置姿勢をロバストに計測可能な手法も検討，開発しており，この研究成果については，HCII2019，2020年電子情報通信学会総合大会 (IEICE2020) ISS学生ポスターセッションで発表し，HCII2020でも発表予定である．電気メスの熱による生体組織への影響をサーモグラフィーカメラで計測して熱損傷範囲をシミュレーションする研究については，HCII2019で発表した．

Support laparoscopic partial nephrectomy, maintenance of renal function, and possible tumor removal. Partial resection of tumor is missing, removal of normal tissue is maximum, residual tissue is important, status quo, resected area is determined by physician. The aim of this study is to establish a system of AR surgical support for on-site physicians. ORB-SLAM is used to estimate the position and posture of the endoscope, and the AR system is developed to implement the clinical practice. After that, the doctor's opinion on the case may be intensified, and the case may be improved. The 21st International Conference ON HUMAN-COMPUTER INTERACTION (HCII2019) was published, and the 22nd International Conference ON HUMAN-COMPUTER INTERACTION (HCII2020) was published. Research on methods for high-speed and high-precision estimation of the position and posture of endoscope imaging devices was conducted in HCII2019, IEEE TENCON 2019 Technologies for Smart Nation (TENCON2019). The position and posture of the endoscope can be measured and discussed, and the research results are discussed. HCII2019, 2020 Electronic Information and Communication Society Conference (IEICE2020) ISS Student Profile, HCII2020. The study on the effects of electrical heat on biological tissues was conducted in HCII2019.

项目成果

"Proposal and Evaluation of AR-Based Microscopic Brain Surgery Support System"

《基于AR的显微脑手术支持系统的建议和评估》

• 发表时间: 2019
• 作者: Masanao Koeda;Sana Nishimoto;Hiroshi Noborio and Kaoru Watanabe
• 通讯作者: Hiroshi Noborio and Kaoru Watanabe

Accuracy Verification of Knife Tip Position Estimation for Liver Surgery Support System

肝脏手术支持系统刀尖位置估计的准确性验证

• 发表时间: 2018
• 作者: Masanao Koeda;Daiki Yano;Mayuko Doi;Katsuhiko Onishi and Hiroshi Noborio
• 通讯作者: Katsuhiko Onishi and Hiroshi Noborio

SLAMによるカメラ位置姿勢推定に基づくロボット支援下腎部分切除術のARサポートシステム

基于 SLAM 相机位置和方向估计的机器人辅助肾部分切除术 AR 支持系统

• 发表时间: 2018
• 作者: 田母神佳奈;吉田彩乃;渡辺愛子;宮本武典;小枝 正直，澤田 篤郎，濵田 彬弘，河野 仁，小川 修，大西 克彦，登尾 啓史
• 通讯作者: 小枝 正直，澤田 篤郎，濵田 彬弘，河野 仁，小川 修，大西 克彦，登尾 啓史

"Performance and Accuracy Analysis of 3D Model Tracking for Liver Surgery"

《肝脏手术 3D 模型跟踪的性能和准确性分析》

• 发表时间: 2019
• 作者: Satoshi Numata;Masanao Koeda;Katsuhiko Onishi;Kaoru Watanabe and Hiroshi Noborio
• 通讯作者: Kaoru Watanabe and Hiroshi Noborio

The development of a 3D navigation system for robot-assisted partial nephrectomy using augmented reality technology

利用增强现实技术开发机器人辅助肾部分切除术的3D导航系统

• 发表时间: 2019
• 作者: Atsuro Sawada,Akihiro Hamada;Atsushi Sengiku;Masanao Koeda;Katsuhiko Onishi and Osamu Ogawa
• 通讯作者: Katsuhiko Onishi and Osamu Ogawa