Study on improving the level of autonomy of locally operated endoscopic surgical assistant robots

提高局部操作内窥镜手术辅助机器人自主水平的研究

• 批准号: 22H00589
• 负责人: 西川 敦
• 金额: $ 27.29万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2027-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H00589/
• 关键词: 自律レベル; 手術支援ロボット; 内視鏡画像処理; 内視鏡カメラ操作; 臓器把持・牽引; 経外耳道的内視鏡下耳科手術; 深層学習; トロリー問題; ソロサージェリー

人間の限定的な介入のもとで、知的人工物が①情報の収集と解釈・②行動方針の生成・③行動方針の選択・④行動方針の実行を行い、タスクを達成する能力を自律能と呼び、人間の介入レベルを低減化することを自律レベルの向上と呼ぶ。本年度は、経外耳道的内視鏡下耳科手術(TEES)における内視鏡操作タスクを題材に、３つの要素技術の研究を実施した。(1)手術器具セグメンテーション：内視鏡操作タスクにおける行動方針を生成するための基本情報として、深層学習を用いて内視鏡映像から実時間で手術器具セグメンテーションを行うシステムを構築した。TEES内視鏡画像4900枚を訓練データとして用い、篤志献体を用いた模擬手術における内視鏡映像で評価したところ、出力画像と正解画像とのDice係数0.8以上、処理速度平均20フレーム毎秒を達成した。(2)トロリー問題の代数モデル化：行動方針選択の基本問題として、線路上にいる5人を轢いてしまうことがわかっていて何もしないのか、それともレバーを操作して支線に入りその線路上にいる1人は轢いてしまうものの5人を救うか、というトロリー問題をブール多値論理で代数学的にモデル化することに成功し、TEESにおける術者の意思決定分布再現の土台となるオリジナルの人工知能プラットフォームが構築できた。(3)TEES用内視鏡ロボットの開発：鼓膜からの距離200mmのカメラヘッドをピボット支点としてジンバル2軸を構成する回転機構のPitch軸とYaw軸、耳科用内視鏡を装着するベルト・プーリ機構のInsertion軸を備えた3自由度の内視鏡マニピュレータを2種類開発した。本マニピュレータは、手元／足元スイッチまたは手元の操作デバイスで術者が行動方針を直接与えることにより同方針を実行できる。篤志献体を対象とした模擬手術を実施し、術者による安定したクリアな視野で鼓膜の切開が可能であることを確認した。

Human の qualified な intervention の も と で, known as the artificial objects が (1) intelligence の 収 set 釈 と solution, (2) action guidelines の generation, (3) action の sentaku, (4) action の lines be を い, タ ス ク を reached す る を self-disciplined to と shout び, の human intervention レ ベ ル を low reduced す る こ と を self-discipline レ ベ ル の upward と ぶ. This year は, 経 otology under endoscopic surgery of external auditory canal (TEES) に お け operation る endoscopy タ ス ク を に theme, 3 つ の elements の research を be applied し た. (1) surgical instruments セ グ メ ン テ ー シ ョ ン : endoscopic operation タ ス ク に お け る action を generated す る た め の basic intelligence と し て, deep learning を い image て endoscopy か ら be time で surgical instruments セ グ メ ン テ ー シ ョ ン を line う シ ス テ ム を build し た. Picture 4900 を TEES endoscopy training デ ー タ と し て in を use い い, atsushi offer body た simulation surgery に お け image る endoscopy で review 価 し た と こ ろ portraits, portraits と positive solutions of output と の Dice coefficient over 0.8, 処 speed an average 20 フ レ ー ム in their second を reach し た. (2) the トロリ トロリ problem is モデ トロリ transformed by algebra: Action sentaku の basic problem と し て, lines に い る 5 を Li い て し ま う こ と が わ か っ て い て what も し な い の か, そ れ と も レ バ ー を operation し て feeder に into り そ の lines に い 1 る は Li い て し ま う も の の を 5 people save う か, と い う ト ロ リ ー problem を ブ ー ル numerical logical で algebra in more に モ デ ル change す る こ と に successful し, TEES に お け る performer の mean decision distribution reappearance の TuTai と な る オ リ ジ ナ ル の artificial can know プ ラ ッ ト フ ォ ー ム が build で き た. (3)TEES are opened with an endoscope ロボット tube: Tympanic membrane か ら の distance 200 mm の カ メ ラ ヘ ッ ド を ピ ボ ッ ト fulcrum と し て ジ ン バ ル 2 axle を す る back planning agencies の Pitch axis と Yaw axis, otology を pretend with endoscopy す る ベ ル ト · プ ー リ institutions の Insertion axis を prepared え た 3 dof マ の endoscopy ニ ピ ュ レ ー タ を 2 kinds open 発 し た. This マ ニ ピ ュ レ ー タ は, hand, foot and RMB/yuan ス イ ッ チ ま た は hand yuan の operation デ バ イ ス で performer が action を directly with え る こ と に よ り with policy を line be で き る. Atsushi offer body を like と seaborne し を た simulation surgery be し, performer に よ る settle し た ク リ ア な vision で eardrum may cut の が で あ る こ と を confirm し た.

项目成果

Surgical Instrument Segmentation Using Deep Learning for Robot-assisted Transcanal Endoscopic Ear Surgery

使用深度学习进行手术器械分割用于机器人辅助经耳内窥镜手术

• 发表时间: 2022
• 作者: Takuma Horinouchi;Kazuhiro Matsui;Keita Atsuumi;Takeshi Fujita;Natsumi Uehara;Toshihiko Yamashita;Toshikazu Kawai;Hisashi Suzuki;Yuji Nishizawa;Kazuhiro Taniguchi;Hiroaki Hirai;Atsushi Nishikawa
• 通讯作者: Atsushi Nishikawa

内視鏡下耳科手術を支援する内視鏡テレオペレーションシステム

支持内窥镜耳手术的内窥镜远程手术系统

• 发表时间: 2022
• 作者: 伊澤樹哉;河合俊和;岡田史香;原継真;藤田岳;上原奈津美;西川敦;鈴木寿
• 通讯作者: 鈴木寿

耳科手術支援ロボットの開発

耳科手术支持机器人的研制

• DOI: 10.3950/jibiinkotokeibu.126.3_181
• 发表时间: 2023
• 期刊: Nippon Jibiinkoka Tokeibugeka Gakkai Kaiho(Tokyo)
• 作者: 藤田岳;上原奈津美;山下俊彦;西川敦;河合俊和;鈴木寿;横井純;柿木章伸;丹生健一
• 通讯作者: 丹生健一

Research on Robot-Assisted Transcanal Endoscopic Ear Surgery

机器人辅助经耳道内窥镜耳手术研究

• 发表时间: 2023
• 作者: Takeshi Fujita;Atsushi Nishikawa;Toshikazu Kawai;Hisashi Suzuki;Natsumi Uehara;Toshihiko Yamashita;Akinobu Kakigi;Ken-ichi Nibu
• 通讯作者: Ken-ichi Nibu

Research on Robot-Assisted Transcanal Endoscopic Ear Surgery -surgical instrument segmentation using deep learning-

机器人辅助经耳道内窥镜耳科手术研究-利用深度学习进行手术器械分割-

• 发表时间: 2022
• 作者: Takeshi Fujita;Atsushi Nishikawa;Toshikazu Kawai;Hisashi Suzuki;Natsumi Uehara;Toshihiko Yamashita;Akinobu Kakigi;Ken-ichi Nibu
• 通讯作者: Ken-ichi Nibu