Development of surgical navigation system for esophageal atresia / tracheoesophageal fistula using AI Image analysis and forceps location information

利用AI图像分析和镊子位置信息开发食管闭锁/气管食管瘘手术导航系统

基本信息

批准号：
22H03703
负责人：
内田広夫
金额：
$ 11.07万
依托单位：
Nagoya University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

项目摘要

胸腔鏡下食道閉鎖症手術は1つの視野にメルクマールとなると特徴的な解剖構造が集中し、更に術野を固定したままの状態で手術が行われるため、AI画像解析による解剖構造の表示機能を備えた手術ナビゲーションシステムとの相性は良い。解剖構造表示機能においては、指標として、各解剖構造（迷走神経、奇静脈、気管食道瘻、上部食道盲端、下部食道盲端）の見え方（アビアランス）、位置、サイズなどを利用するが、小児外科専門医が手術のメルクマールとなる解剖構造（迷走神経、奇静脈、気管食道瘻、上部食道盲端、下部食道盲端）のアノテーション・評価画像の正解ラベル付与を行う。食道閉鎖症5症例を用いてそれぞれの解剖構造物に対して、全部で2,000画像のアノテーションを行った。解剖構造表示機能のIoU:0.5とそれほど良くないがかなり構造物を予想できることがわかった。鉗子検出および剥離操作評価方法はYOLO v3による鉗子領域の認識を中心に、鉗子先端のアノテーションを10000画像行い、YOLOの学習と評価は４-fold cross validation（7500画像で学習、2500画像で評価）で検証した。精度はIoU:0.６程度であるが、動きをある程度捉えることができるようになった。縫合操作に関しては、今までのアルゴリズムからある程度熟練度を評価できると考えられた。小児外科の手術操作で特有な愛護的操作である下部食道の剥離操作（no-touch technique of lower esophagus）の評価システムを構築するための基礎的なデータは完成した。鉗子認識をより正確に行うことで、より正確な動きの解析を行うように改良している。

当在一个视野中进行胸腔镜检查性闭锁手术时，浓缩了特征性解剖结构，并在手术场仍然固定时进行手术，使其与外科导航系统兼容，并具有使用AI图像分析显示解剖结构的功能。 In the anatomy structure display function, the appearance (vagus nerve, genus vein, tracheoesophageal fistula, upper esophageal fistula, lower esophageal blind end) is used as indicators, location, size, etc., but a pediatric surgeon will give correct labels of annotation and evaluation images of the anatomy structures (vagus nerve, genus vein, tracheoesophageal fistula, upper esophageal瘘管，下部食道盲端）将成为手术的救人。使用五个食管闭锁病例，为每个解剖结构注释了总共2,000张图像。已经发现解剖结构显示函数是IOU：0.5，但不是很好，但是很有可能预测结构。镊子检测和剥离操作评估方法主要基于使用Yolo V3对镊子区域的识别，进行了10,000张镊子尖端注释的图像，并使用4倍的交叉验证（使用7,500张图像，2,500张图像学习）对Yolo进行评估。准确性是关于IOU：0.6的，但是现在可以在某种程度上捕获运动。关于缝合操作，人们认为可以从以前的算法中评估熟练程度。为了建立针对小食管下食管的无接触技术评估系统的基本数据，这是小儿手术手术中独特的保护操作。通过更准确地执行镊子识别，已经进行了改进以进行更准确的运动分析。