術者のコツと経験則を拡張現実を用いて共有するシステムの開発

开发一个使用增强现实为外科医生分享技巧和经验规则的系统

• 批准号: 21K09810
• 负责人: 矢野 智之
• 金额: $ 2.5万
• 依托单位: Japanese Foundation for Cancer Research
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K09810/
• 关键词: 乳房再建; プロジェクションマッピング; Augmented reality; 術中支援; 対称性; 3D画像; 拡張現実; 3Dイメージ

今回の研究実績の概要は次の2点にまとめられる。１つ目が、形状差分情報の処理におけるリアルタイム形状差分情報提示手法の実装である。もう１つが、Augumented reality (AR)を用いた、形状表示方法の実装である。まず前者であるが、先行して行なっていた研究では、患者の乳房形状を術中に計測し、3Dデータクレンジングを行なった後に形状差分情報を計算していた。それを元に、プロジェクションマッピング用の投影を作成し、体表への投影レジストレーションを経て、患者体表に差分情報として投影していた。このシステムでは形状差分情報を体表へのカラーマップとして定量的に術者へ提示できる反面、画像処理に時間がかかり、実際の計測から投影までのタイムラグが多く、手術を行なっている医師を待たせるという問題があった。またソフトウェアの操作が煩雑で習熟が必要という点が課題として残っていた。これを改善する手法として、今回の研究実績では、患者体表の画面上で一度正中線を指定すると患者の健側乳房を再建側に左右反転処理し、再建乳房との形状差分情報を自動で計算し、リアルタイムで即座に左右乳房の形状差分情報を導出できるものとした。これにより再建手術における再建乳房の変化を逐一、術者に提示可能となり、また撮影から情報提示までの待ち時間を大幅に短縮できるようになった。もう一つが、これらの情報の提示手段としてプロジェクションマッピングだけでなく、一般的に販売されているタブレット端末を用いたAR表示の実装を行なった。患者体表にレジストレーションマーカーを置き、それをもとにタブレットのカメラ画像に差分情報等の再建乳房情報を表示させるものである。またマイクロソフト社が販売しているHolo Lensを用いた表示方法についても表示可能なことを確認した。

The summary of the research results of this paper is divided into two parts. 1. The processing of shape difference information and the implementation of shape difference information presentation methodもう1つが、Augumented reality (AR)を用いた、形状表示方法の実装である。The former is the first step in the study, and the patient's breast shape is calculated intraoperatively, and the 3D digital image is calculated after the operation. The projection of the patient's body surface is generated by the projection of the patient's body surface The shape difference information of the body surface is changed from the shape difference information to the quantitative operator's prompt information, the image processing time is changed, the actual measurement is changed from the projection information to the shape difference information, the operation is changed from the doctor's question to the patient's question. It is necessary to learn how to use it properly. This study was conducted in order to improve the accuracy of the method. The center line of the patient's body surface was specified, and the shape difference information of the healthy breast and the reconstructed breast was automatically calculated. The shape difference information of the left breast and the right breast was derived. The reconstruction of the breast is performed one by one, and the surgeon indicates that the waiting time is greatly shortened. The information prompt means of the first and second sales are displayed in the middle of the AR. The patient's body surface is covered with different kinds of information, such as reconstruction breast information. Holo Lens is used to indicate whether or not it is possible.

项目成果

乳房再建術中のMR グラスによる形状差情報表示

乳房再造手术中使用MR眼镜显示形状差异信息

• 发表时间: 2021
• 作者: 浅田菜子;鈴木孝司;千葉慎二;鷲尾利克;辛川領;矢野智之;荒船龍彦
• 通讯作者: 荒船龍彦

携帯型スマートデバイスを使用したAR乳房再建術中支援システム

使用便携式智能设备的AR乳房再造手术支持系统

• 发表时间: 2022
• 作者: 浅田菜子;田村天音;千葉慎二;鈴木孝司;鷲尾利克;辛川領;矢野智之;荒船龍彦
• 通讯作者: 荒船龍彦

乳房再建術中のMR グラスを用いた形状差情報システム

乳房再造手术中使用MR眼镜的形状差异信息系统

• 发表时间: 2021
• 作者: 浅田菜子;鈴木孝司;千葉慎二;鷲尾利克;辛川領;矢野智之;荒船龍彦
• 通讯作者: 荒船龍彦

Breast reconstruction surgery assist system using mixed reality glass

使用混合现实玻璃的乳房重建手术辅助系统

• 发表时间: 2022
• 作者: Nako Asada;Takashi Suzuki;Shinji Chiba;Toshikatsu Washio;Ryo Karakawa;Tomoyuki Yano;Tatsuhiko Arafune
• 通讯作者: Tatsuhiko Arafune

Depthセンサを用いたリアルタイム再建乳房形状差情報導出システム

利用深度传感器实时重建乳房形状差异信息导出系统

• 发表时间: 2022
• 作者: 藤井一真;和田直大;千葉慎二;鈴木孝司;鷲尾利克;辛川領;矢野智之;荒船龍彦
• 通讯作者: 荒船龍彦