Development of hybrid virtual medical OJT technology by combining mixed reality technology and medical 3D modeling technology

混合现实技术与医学3D建模技术相结合开发混合虚拟医疗OJT技术

• 批准号: 21H00894
• 负责人: 野坂 大喜
• 金额: $ 8.82万
• 依托单位: Hirosaki University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H00894/
• 关键词: 複合現実; 仮想現実; 現任教育; 医学教育; シミュレーション; OJT

【研究概要】複合現実(MR)はVRとARの融合技術であり,操作者に危険を伴わず限りなく現実に近い仮想空間シミュレーション環境の構築を可能とする。MR技術は保健学系学生の仮想化医療OJT技術として有用視されているものの、視覚に限定されており、採血など触覚を伴った仮想化医療OJT技術の確立には至っていない。本研究では、MR技術と3D造形技術を高度に融合させたハイブリッド式の仮想化医療OJT基盤技術と本技術を用いた新たな次世代医学教育手法を確立することを目的とし、MR技術と3D造形技術の融合による視覚と触覚を統合した仮想化医療OJT技術と、個々の患者症例データを基に教育用のMR化を行う仮想化医療OJT教材作成技術の研究を行った。【研究実績】『MR技術と3D造形技術の融合による視覚・触覚統合ハイブリッド式仮想化医療OJT技術の研究』と『ハイブリッド式仮想化医療OJTシステムに対応したMR用医療OJT教材開発技術の研究』を実施した。『MR技術と3D造形技術の融合による視覚・触覚統合ハイブリッド式仮想化医療OJT技術の研究』では、ヒト前腕部高精度3Dスキャンにより3Dデータを収集し、軟式フィラメントを用いて3D造形によるリアルシミュレーションモデルを作成した。また3Dスキャンにより医療器具についての3Dデータを収集した。これら3Dデータを基にMR用投影データを作成した。MRデバイスとしてMicrosoft社HoloLensを使用した仮想化医療OJTの試作システムを開発した。一方、『ハイブリッド式仮想化医療OJTシステムに対応したMR用医療OJT教材開発技術の研究』ではMR用医療OJT教材の開発においては医療器具・医療機器の3Dデータは非公開であることから、輸液ポンプなどの機器についての3Dスキャンを行い、MR用3Dデータのデータベース化を行った。

[Summary of Research] Composite Reality (MR) is a fusion technology between VR and AR, and it is possible for operators to create a dangerous environment near the ideal space. MR Technology is the establishment of OJT technology for students in the Department of Health Care. This study aims to integrate MR technology and 3D modeling technology into medical teaching materials for the next generation. [Research results]"Research on visual and tactile integration of Hepibrand-style imaginary medical OJT technology in the integration of MR technology and 3D modeling technology" and "Research on development technology of MR medical OJT teaching materials for the Hepibrand-style imaginary medical OJT system" were implemented. "MR technology and 3D modeling technology integration, vision, touch integration, multi-dimensional imaging medical OJT technology research", in front of the wrist high-precision 3D model, 3D data collection, soft 3D modeling, application, multi-dimensional imaging technology development. 3D data collection for medical devices 3D projection The development of a trial system for medical OJT using Microsoft HoloLens One party,"Research on the Development Technology of MR Medical OJT Textbook","Research on the Development Technology of MR Medical OJT Textbook","Research on the Development

项目成果

AI technologies and potentials in clinical laboratory post pandemic - Development of next generation technology for hematology and trial of AI education program -

大流行后临床实验室的人工智能技术和潜力 - 下一代血液学技术的开发和人工智能教育计划的试验 -

• 发表时间: 2022
• 作者: 伏木田稚子;大浦弘樹;光永文彦;吉川遼;加藤浩;H Nozaka
• 通讯作者: H Nozaka

Approach to automated detection of atypical lymphocytes in peripheral blood smear screening

外周血涂片筛查中异型淋巴细胞的自动检测方法

• 发表时间: 2022
• 作者: H Nozaka;S Kaga;N Sakaiya;S Kimura;M Kushibiki;S Ogasawara;M Ishiyama;M Nakano;M Fujioka;K Kamata;K Yamagata
• 通讯作者: K Yamagata

Approach to immature granulocytes discrimination with convolutional neural network in peripheral blood smear screening

外周血涂片筛查中卷积神经网络鉴别未成熟粒细胞的方法

• 发表时间: 2022
• 作者: H Nozaka;S Kimura;S Kaga;N Sakaiya;M Kushibiki;S Ogasawara;M Ishiyama;M Nakano;M Fujioka;K Kamata;K Yamagata
• 通讯作者: K Yamagata

Approach to the detection of reactive lymphocytes using multi-stage AI models

使用多阶段 AI 模型检测反应性淋巴细胞的方法

• 发表时间: 2022
• 作者: H Nozaka;S Kaga;N Sakaiya;S Kimura;M Nakano;M Fujioka;M Kushibiki;S Ogasawara;M Ishiyama;K Kamata;K Yamagata
• 通讯作者: K Yamagata

Approach to automated recognition of blast cells in peripheral blood smear screening

外周血涂片筛查中母细胞自动识别的方法

• 发表时间: 2022
• 作者: H Nozaka;S Kimura;S Kaga;N Sakaiya;S Ogasawara;M Kushibiki;M Ishiyama;M Nakano;M Fujioka;K Kamata;K Yamagata
• 通讯作者: K Yamagata