ロボット支援術中臓器への加圧程度を手術映像のみから判断するAIシステム開発と実装

开发并实施仅根据手术图像确定机器人辅助手术期间器官加压程度的人工智能系统

• 批准号: 21K12724
• 负责人: 増井 仁彦
• 金额: $ 2.66万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12724/
• 关键词: ロボット支援手術; AI; 触覚; 手術安全

ロボット支援手術は以前の非ロボット腹腔鏡手術よりも精緻な操作を可能とした一方,「触覚」を感知できず力も強いことから不慣れな術者の場合術中臓器損傷 に遭遇することがある. しかし非ロボット腹腔鏡手術の術者として経験をつんだ場合, 感知できないはずの「触覚」をロボット手術開始当初から「感じる」とされ, それを「仮想触覚」と表現される.本研究では「ロボット支援手術で発生する臓器への加圧（加力）程度を, 手術時の映像情報のみからAIにより判断し術者へ明示」, すなわち「仮想触覚を明示」し実装することを目的とした. 方法は ①臓器へ加圧（加力）時の経時的臓器変形動画データと, ②過去のヒト手術動画から許容される臓器加圧程度をAIへ学習させそれを基にプログラム構築する予定である.現在の状況を述べる. 昨年度は3次元応力ベクトル(Fx, Fy, Fz)を出力する畳み込みニューラルネットワーク(CNN)による回帰モデルもちいて「摘出臓器を対象とした単一カメラ画像からの鉗子圧の推定」基礎プログラムを作成した. 今年度は様々な状況での鉗子圧の推定精度を検討し, 精度を左右する動画の「条件」を検討した. これを踏まえてさらなる精度向上が確認できたことから, 現在論文執筆中である.

In the past, ロボット support surgery was not possible in ロボット laparoscopic surgery, and the operation was fine and possible. On the one hand, "Touching" means that the strong sense of power is strong and the person who is not used to the skill will be damaged during the operation. In the event that the patient is not undergoing laparoscopic surgery, Sense of touch できないはずの「touch覚」をロボット When the operation started, から「Sense of じる」とされ, The performance of "それを「仮愿覚"とされる. This study is based on the degree of "ロボット support surgery" and "で発生する蓓器へのincreased pressure (increased force)", The image information during the operation is the AI's judgment and the surgeon's clear indication", and the surgery's purpose and method are clear." ①Animation of the shape of the tank when the pressure is added (increased force), ②In the past, the surgery animation was performed and the pressure level of the instrument was increased and the AI ​​was studied.せそれをbased にプログラムbuild するpredetermined である. The current situation をstate べる. Last year's 3rd dimensional force ベクトル (Fx, Fy, Fz)する畳み込みニューラルネットワーク(CNN)による回帰モデルもちいて"Pull out the gallbladder image of the instrument and draw a picture of the instrument with a forceps pressure" based on the プログラムを production. This year's current situation is the estimated accuracy of the pliers pressure, and the accuracy of the animation is "conditions". The accuracy has been improved and the accuracy has been improved. The paper is currently being written.

项目成果

摘出臓器を対象とした単一カメラ画像からの鉗子圧の推定

根据提取器官的单个相机图像估计镊子压力

• 发表时间: 2021
• 期刊: 信学技報
• 作者: Nishikido Fumihiko; Takada Eiji; Masakazu Yamagishi; Satake Daiki;Takyu Sodai; Hangyu Kang; Yamaya Taiga;戸田 輝・中尾 恵・増井仁彦・粂 直人・松田哲也
• 通讯作者: 戸田 輝・中尾 恵・増井仁彦・粂 直人・松田哲也