权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

手術における執刀医視点・助手視点・固定多視点映像の統合解析による行動センシング

通过手术过程中外科医生视角、助手视角和固定多视角图像的综合分析进行行为感知

基本信息

批准号：
22H03617
负责人：
梶田大樹
金额：
$ 11.15万
依托单位：
Keio University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03617/
关键词：
手術動画 open surgery

项目摘要

本研究の目的は、実際の手術室の環境下において、外科医の行動や患部の状態をセンシングし、異常の早期発見や医療者へのフィードバックを行う技術の開発に貢献することである。令和4年度には74件の手術で動画を撮影し、一部の動画については術具や手術工程のアノテーションを施すことで、本研究に活用できるデータセットを拡充した。固定多視点術野映像による術野の空間的センシングとして、Plane-Sweepアルゴリズムによって術野の奥行きに応じたmultiplane images (MPI)を作成した。このとき、無影灯は手術中に移動させられる場合があり、動画中の多フレームの特徴点を利用することで、チェッカーボード等を用いずともカメラキャリブレーションが実施できる技術を開発して対応した。また、動画に患者の顔が映る際には、目や鼻を自動でモザイク処理する匿名加工技術を開発した。一人称視点手術動画を対象としては、術野に映る生体組織をセマンティック・セグメンテーションによって検出し、その面積の大きさをもとに、手術の工程を推定する技術を開発した。また術具の情報も併せて利用することで、その精度を向上させた。手術工程の推定に際しては、行動分類タスクに特化したTransformerベースのモデルであるASFormerを応用したところ、accuracy 78％、F1スコア73％の精度で工程を認識することができ、従来手法より14%も上回る結果を得た。

The purpose of this study is to provide information about the clinical practice in the environment of the international mobile phone room, the operation department of the surgical department, and the medical staff in the early stage. In 2004, there were 74 handmade animation summaries, one animated drawing and one technical engineering project. In this study, we were able to make full use of it. Fix the multi-point field image in the field space of the system, the Plane-Sweep system, the field image, the multiplane images (MPI) system, and so on. In order to make full use of the equipment, the shadowless lights, the equipment in the mobile phone, the multi-driver in the animation, and so on, the use of the equipment, the camera, the camera, the driver, the camera, the camera, The patients of animation and animation are interested in the international market, and they are interested in the management of anonymous processing technology. One person refers to a manual drawing image, a field image, a biological tissue, a camera, a camera, a picture, a picture. This is the best way to make use of the precision and precision. In the field of technical engineering, it is presumed that the accuracy of the Transformer system, the classification of the actions, the accuracy of the ASFormer, the accuracy of the accuracy 78% and the F1% accuracy of the system are 78% and 73%, respectively. 14% of the results are satisfactory.