Development of a Distance Learning System for Prosthodontics that Combines Naked-Eye Stereoscopic Vision and Tactile Reproduction

开发结合裸眼立体视觉和触觉再现的口腔修复远程学习系统

• 批准号: 22K10065
• 负责人: 板宮 朋基
• 金额: $ 2.58万
• 依托单位: Kanagawa Dental College
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K10065/
• 关键词: 歯科補綴学; 裸眼立体視; バーチャル実習; 触覚; 支台歯形成; 空間再現; 遠隔実習; 歯学教育; 拡張現実

バーチャルリアリティ(VR)や拡張現実(AR)を活用した医歯学教育の従来の取り組みでは、ヘッドマウンティッドディスプレイ(HMD)やスマートグラスなどの装着が必須であり、衛生管理や長時間利用による眼の疲労などの課題がある。現状のHMDやスマートグラスでは、表示した3D-CGモデルの立体感・奥行感を装着者が精確に把握するためには、装着者の瞳孔間距離の測定と設定が必要であり、実習での日常的な利用に課題が残る。本研究では、デバイスの装着を一切必要とせず、手元の位置に配置した3D-CGモデルを裸眼で精確に立体視できる空間再現技術と、反力の再現が可能な触覚再現技術を併用した新たな歯科補綴学の遠隔実習手法を開発する。新型コロナウイルス感染症拡大下の状況で実習を従来通り実施することは当面困難な状況であるため、学生が自宅において実習室と同等以上の学修効果を得られる遠隔歯科補綴学実習を実現する。初年度である2022年度は以下の2点を実現することができた。1) 絆創膏型の小型触覚再現デバイスを用いた触覚感知の実現と裸眼立体視ディスプレイ上の3D-CG表示との連動。2) 複数の空間再現ディスプレイ同士を同一ネットワークに接続し、表示される3D-CGモデルの動作を同期させた。1)は、絆創膏型の小型触覚再現デバイスとして豊田合成株式会社のe-RubberとモーションセンサーLeap Motionを用いて、ソニー空間再現ディスプレイに表示した下顎骨の3D-CGモデルに模擬切削器具を接触させた際に手指に適切な振動を伝えることに成功した。2)は、独自に開発したネットワーク遠隔同期プログラムを用いて、複数の空間再現ディスプレイに表示された3D-CGモデルの動作を同期できた。操作者は任意に切り替えることができる。複数の歯科医師による模擬遠隔会議を実施し、有用性が示唆された。

The problem of medical and dental education is that it is necessary to use medical equipment and health management for a long time. The present situation of HMD is that it is necessary to measure and set the distance between pupils of the installer accurately and accurately. This study aims to develop a new method for remote learning of dental prosthetics, which is based on the spatial reconstruction technique, reaction force reconstruction technique and all necessary information about the installation of the device and the position of the hand element. New types of infectious diseases are reported in the study room and in the study room. In the first year of 2022, the following two points were recorded. 1)3D-CG representation and interaction of touch sensing and bare-eye stereo vision in the use of compact touch reproduction devices 2)A plurality of spatial reproduction patterns are generated simultaneously, indicating the movement of 3D-CG patterns. 1) 3D-CG simulation tool for mandible 3D-CG simulation tool for finger 3D-CG simulation tool for mandible 3D-CG simulation tool for finger 3D-CG simulation tool for mandible 3D-CG simulation tool for mandible 3D-CG simulation tool for finger 3D-CG simulation tool for mandible 3D-CG simulation tool 3D-CG simulation 2) The 3D-CG synchronization mechanism is used to generate the 3D-CG synchronization mechanism independently and spatially. The operator is free to switch to. A number of dentists have conducted virtual remote meetings to demonstrate their usefulness.

项目成果

裸眼立体視ディスプレイを用いた遠隔歯科症例検討システムの開発

使用自动立体显示远程牙科病例审查系统的开发

• 发表时间: 2022
• 作者: 中野亜希人;板宮朋基;有輪政尊;小泉創，山口徹太郎
• 通讯作者: 小泉創，山口徹太郎

高精細裸眼立体視ディスプレイを用いた解剖学教育アプリの開発と実用

高清立体显示解剖教育APP的开发与实践应用

• 发表时间: 2022
• 作者: Kyosuke Oki;Megumi Kaneko;Kohei Kinoshita;Yasunori Ayukawa;Yoshihiro Tsukiyama;Kiyoshi Koyano.;Itamiya T;板宮朋基;板宮朋基，高詰佳史，今西宣晶，東雅啓，松尾雅斗
• 通讯作者: 板宮朋基，高詰佳史，今西宣晶，東雅啓，松尾雅斗

A New Dental Education Method Using a Spatial Reality Display Capable of Stereoscopic Viewing with the Naked Eye without HMD

一种使用空间现实显示器的新牙科教育方法，无需头戴式显示器即可用肉眼进行立体观看

• 发表时间: 2023
• 作者: Kyosuke Oki;Megumi Kaneko;Kohei Kinoshita;Yasunori Ayukawa;Yoshihiro Tsukiyama;Kiyoshi Koyano.;Itamiya T
• 通讯作者: Itamiya T

単眼カメラ映像のリアルタイム裸眼立体視化システムの構築

单目相机图像实时自动立体可视化系统的构建

• 发表时间: 2022
• 作者: 板宮朋基;中野亜希人;有輪政尊;小泉創，山口徹太郎
• 通讯作者: 小泉創，山口徹太郎

裸眼立体視ディスプレイと触覚再現デバイスを用いた遠隔手技実習システムの開発

使用自动立体显示器和触觉再现设备开发远程手动训练系统

• 发表时间: 2022
• 作者: 中野亜希人;板宮朋基;有輪政尊;小泉創，山口徹太郎;板宮朋基
• 通讯作者: 板宮朋基