手術における執刀医視点・助手視点・固定多視点映像の統合解析による行動センシング

通过手术过程中外科医生视角、助手视角和固定多视角图像的综合分析进行行为感知

• 批准号: 22H03617
• 负责人: 梶田 大樹
• 金额: $ 11.15万
• 依托单位: Keio University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03617/
• 关键词: 手術動画; open surgery

本研究の目的は、実際の手術室の環境下において、外科医の行動や患部の状態をセンシングし、異常の早期発見や医療者へのフィードバックを行う技術の開発に貢献することである。令和4年度には74件の手術で動画を撮影し、一部の動画については術具や手術工程のアノテーションを施すことで、本研究に活用できるデータセットを拡充した。固定多視点術野映像による術野の空間的センシングとして、Plane-Sweepアルゴリズムによって術野の奥行きに応じたmultiplane images (MPI)を作成した。このとき、無影灯は手術中に移動させられる場合があり、動画中の多フレームの特徴点を利用することで、チェッカーボード等を用いずともカメラキャリブレーションが実施できる技術を開発して対応した。また、動画に患者の顔が映る際には、目や鼻を自動でモザイク処理する匿名加工技術を開発した。一人称視点手術動画を対象としては、術野に映る生体組織をセマンティック・セグメンテーションによって検出し、その面積の大きさをもとに、手術の工程を推定する技術を開発した。また術具の情報も併せて利用することで、その精度を向上させた。手術工程の推定に際しては、行動分類タスクに特化したTransformerベースのモデルであるASFormerを応用したところ、accuracy 78％、F1スコア73％の精度で工程を認識することができ、従来手法より14%も上回る結果を得た。

は の purpose, this study be interstate の の the operating room environment に お い て や, surgical medical の action of state department の を セ ン シ ン グ し, abnormal の early 発 see や healer へ の フ ィ ー ド バ ッ ク を line う technology の open 発 に contribution す る こ と で あ る. Make and 4 year に は 74 の surgery で animation を pinch of shadow し, an animated の に つ い て は with や engineering procedure for の ア ノ テ ー シ ョ ン を shi す こ と で, this research に transfer で き る デ ー タ セ ッ ト を company, filling し た. Fixed multiple viewpoints operative field image に よ る の operation field space セ ン シ ン グ と し て, Plane Sweep ア ル ゴ リ ズ ム に よ っ て の the operation field line き に 応 じ た multiplane images (MPI) を made し た. こ の と き, shadowless lamp は surgery に mobile さ せ ら れ る occasions が あ り, animation の more フ レ ー ム の 徴 point を use す る こ と で, チ ェ ッ カ ー ボ ー ド い を in ず と も カ メ ラ キ ャ リ ブ レ ー シ ョ ン が be applied で き る technology を open 発 し て 応 seaborne し た. ま た の yan, animation に patients が reflected る interstate に は, automatic mesh や nasal を で モ ザ イ ク 処 Richard す る anonymous processing technology を open 発 し た. A person viewpoint animation を surgery like と seaborne し て は に operation field reflected る living body tissue を セ マ ン テ ィ ッ ク · セ グ メ ン テ ー シ ョ ン に よ っ て 検 し, そ の area の big き さ を も と に presumption, surgery の engineering を す る technology を open 発 し た. Youdaoplaceholder0 tool information また and せて utilize する する とで and そ precision を upward させた. Presumption surgery engineering の に interstate し て は, action classification タ ス ク に specialized し た Transformer ベ ー ス の モ デ ル で あ る ASFormer を 応 with し た と こ ろ, 78% accuracy, F1 ス コ ア 73% で の precision engineering を know す る こ と が で き, 従 to よ り 14% も る result last time を た.

项目成果

Removing irrelevant frames in plastic surgery videos using semi-supervised learning combined with optical flow

利用半监督学习结合光流去除整形视频中的不相关帧

• 发表时间: 2022
• 作者: Taichi Kobayashi ; Hiroki Kajita ; Yoshifumi Takatsume ; Yoshimitu Aoki
• 通讯作者: Yoshimitu Aoki

多視点手術動画からの術野の3次元構造推定

多视角手术视频的手术野三维结构估计

• 发表时间: 2022
• 作者: 尾林美月 ; 森尚平 ; 斎藤英雄 ; 梶田大樹 ; 高詰佳史
• 通讯作者: 高詰佳史

Practical use of augmented reality for posterior distraction in craniosynostosis

增强现实技术在颅缝早闭后侧牵引中的实际应用

• DOI: 10.1016/j.bjps.2022.08.072
• 发表时间: 2022
• 期刊: Journal of Plastic, Reconstructive & Aesthetic Surgery
• 作者: Sakamoto Yoshiaki;Miwa Tomoru;Kajita Hiroki;Takatsume Yoshifumi
• 通讯作者: Takatsume Yoshifumi

口唇口蓋裂における二次顎裂部骨移植術

唇腭裂二次裂骨移植

• 发表时间: 2023
• 作者: 土佐泰祥 ; 梶田大樹 ; 高詰佳史 ; 岡部圭介 ; 貴志和生
• 通讯作者: 貴志和生

Multi-View Surgical Camera Calibration with None-Feature-Rich Video Frames: Toward 3D Surgery Playback

使用功能不丰富的视频帧进行多视图手术摄像机校准：迈向 3D 手术回放

• DOI: 10.3390/app13042447
• 发表时间: 2023
• 期刊: Applied Sciences
• 作者: Obayashi Mizuki;Mori Shohei;Saito Hideo;Kajita Hiroki;Takatsume Yoshifumi
• 通讯作者: Takatsume Yoshifumi