テレマイクロサージェリにおける操作者の意図理解と情報変換型操作環境伝送の研究

本研究では、本年度は、操作環境伝送型テレ・マイクロ・サージェリ・システムの構成要素として次の装置を試作した:(i)工具先端不動型双腕スレーブ・マニピュレータ、(ii)回転の自由度に力フィードバックをしないことを特徴とする両手用マスタ・マニピュレータ、(iii)注視点不動型視覚情報獲得システム、(iv)可動型視覚情報提示システム、(v)操作者の姿勢変化トラッキング・システム、(vi)多軸力情報-聴覚情報変換提示システム。この中で、操作者の見たいものを見せる視覚情報提示システムが特徴であり、操作者が両腕をマスタ・マニピュレータに占有された状態であっても直観的な操作が可能となるように、操作者が対象物を様々な方向から観察しようとするときに生じる自然な姿勢の変化をシステムが認識し、これを用いて視覚情報獲得装置、および、提示装置を制御可能とした。具体的には、操作者を監視するカメラで操作者の顔の動きをトラッキング・ビジョン・システムで追跡し、顕微鏡の視線方向を制御する。また、回転の自由度を備えた可動モニタが顕微鏡に合わせて動作することで、顕微鏡の視線方向と操作者の視線方向とを一致させる。さらに、操作者の顔の位置変化だけでなく大きさの変化をも考慮し、「ズ-ム指数」によってズ-ム機構を制御する。すなわち、カメラ画像中の顔の大きさが大きくなると操作者がモニタに顔を近付けて詳細部分の画像を要求していると判断する。実際には、測定されるズ-ム指数に6Hzのロ-パスフィルタを作用させ系が不安定になるのを防いだ。上記の各機能を統合したシステムを用い直径約1mmの人工血管に針(曲率半径約2mm)を通すことに成功した。この作業は針の曲率中心が回転中心となるようにスレーブ・マニピュレータを動作させる必要があり困難な作業である。また、血管と針との間の接触状態が把握できなければ針を挿入できない作業である。

本研究では、本年度は、操作環境伝送型テレ・マイクロ・サージェリ・システムの構成要素として次の装置を試作した:(i)工具先端不動型双腕スレーブ・マニピュレータ、(ii)回転の自由度に力フィードバックをしないことを特徴とする両手用マスタ・マニピュレータ、(iii)注視点不動型視覚情報獲得システム、(iv)可動型視覚情報提示システム、(v)操作者の姿勢変化トラッキング・システム、(vi)多軸力情報-聴覚情報変換提示システム。この中で、操作者の見たいものを見せる視覚情報提示システムが特徴であり、操作者が両腕をマスタ・マニピュレータに占有された状態であっても直観的な操作が可能となるように、操作者が対象物を様々な方向から観察しようとするときに生じる自然な姿勢の変化をシステムが認識し、これを用いて視覚情報獲得装置、および、提示装置を制御可能とした。具体的には、操作者を監視するカメラで操作者の顔の動きをトラッキング・ビジョン・システムで追跡し、顕微鏡の視線方向を制御する。また、回転の自由度を備えた可動モニタが顕微鏡に合わせて動作することで、顕微鏡の視線方向と操作者の視線方向とを一致させる。さらに、操作者の顔の位置変化だけでなく大きさの変化をも考慮し、「ズ-ム指数」によってズ-ム機構を制御する。すなわち、カメラ画像中の顔の大きさが大きくなると操作者がモニタに顔を近付けて詳細部分の画像を要求していると判断する。実際には、測定されるズ-ム指数に6Hzのロ-パスフィルタを作用させ系が不安定になるのを防いだ。上記の各機能を統合したシステムを用い直径約1mmの人工血管に針(曲率半径約2mm)を通すことに成功した。この作業は針の曲率中心が回転中心となるようにスレーブ・マニピュレータを動作させる必要があり困難な作業である。また、血管と針との間の接触状態が把握できなければ針を挿入できない作業である。