Interactive and Immersive Image-Guided Control of Interventional Manipulators with a Prototype Holographic Interface
Interactive and Immersive Image-Guided Control of Interventional Manipulators with a Prototype Holographic Interface
复制标题
具有原型全息界面的介入机械手的交互式和沉浸式图像引导控制
DOI：
10.1109/bibe.2019.00186
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Tsiamyrtzis, Panagiotis
中科院分区：
文献类型：
--
作者：
Morales Mojica, Cristina Marie;Tsekos, Nikolaos V.;Velazco-Garcia, Jose Daniel;Zhao, Haoran;Seimenis, Ioannis;Leiss, Ernst L.;Shah, Dipan;Webb, Andrew;Becker, Aaron T.;Tsiamyrtzis, Panagiotis
随着无线头盔显示器(HMD)的出现，增强现实(AR)通过让用户沉浸在3D形态中来改善3D医学图像可视化诊断的新潜力得到了进一步增强。这种身临其境的信息能力还可以增强介入过程的规划和可视化。为此，我们引入了一个计算平台来生成增强现实全息场景，该场景融合了术前磁共振成像(MRI)集合、分割的解剖结构和用于执行MRI引导和机器人辅助干预的介入机器人的致动模型。该界面使操作员能够使用语音和手势来操作所呈现的图像和呈现的结构，以及对机器人进行控制。该软件使用禁区虚拟夹具，提醒操作员与重要结构发生碰撞。该平台用硅胶中的HoloLens头盔显示器进行了测试。为了解决HMD计算能力有限的问题，我们将该平台部署在与HMD进行双向通信的台式PC上。手术研究证明了界面定制的功能，并强调了界面定制的重要性，以适应特定的操作员和/或程序，以及现场研究评估其在临床领域的优点的必要性。
The emerging potential of augmented reality (AR) to improve 3D medical image visualization for diagnosis, by immersing the user into 3D morphology is further enhanced with the advent of wireless head-mounted displays (HMD). Such information-immersive capabilities may also enhance planning and visualization of interventional procedures. To this end, we introduce a computational platform to generate an augmented reality holographic scene that fuses pre-operative magnetic resonance imaging (MRI) sets, segmented anatomical structures, and an actuated model of an interventional robot for performing MRI-guided and robot-assisted interventions. The interface enables the operator to manipulate the presented images and rendered structures using voice and gestures, as well as to robot control. The software uses forbidden-region virtual fixtures that alerts the operator of collisions with vital structures. The platform was tested with a HoloLens HMD in silico. To address the limited computational power of the HMD, we deployed the platform on a desktop PC with two-way communication to the HMD. Operation studies demonstrated the functionality and underscored the importance of interface customization to fit a particular operator and/or procedure, as well as the need for on-site studies to assess its merit in the clinical realm.
登录
查看更多内容
一种用于驱动磁共振成像 (MRI) 引导干预机械臂的新型传输机制
影响因子：
2.9
作者：
Xin Liu;Daniel Biediger;R. Kopru;E. Christoforou;N. Tsekos
通讯作者：
N. Tsekos
固体介质传输缺少两个组件：放大器和歧管
DOI：
10.1109/coase.2016.7743382
发表时间：
2016
期刊：
2016 IEEE International Conference on Automation Science and Engineering (CASE)
影响因子：
--
作者：
Li Huang;Xin Liu;N. Tsekos;Aaron T. Becker
通讯作者：
Aaron T. Becker
影响因子：
2.3
作者：
Kim KH
通讯作者：
Kim KH
影响因子：
1.8
作者：
Rincon-Nigro, Mario;Navkar, Nikhil V.;Deng, Zhigang
通讯作者：
Deng, Zhigang
讨论：HoloLens 混合现实：手术室中虚拟现实与增强现实的结合。
影响因子：
3.6
作者：
Austin D. Chen;Samuel J. Lin
通讯作者：
Samuel J. Lin