Development of a prosthetic hand system using image recognition technology and myoelectric data processing

研究課題である画像認識技術を取り入れた筋電義手システムのうち、画像認識を用いてロボットハンドを制御する学習モデルの検討を行なった。対象物をコップとした時の物体の深度画像とそれを把持した時のロボットハンドの指関節角データのセットを取得し、提案している複数のAuto-Encoder(AE)を用いた視覚-運動変換モデルの学習実験を行なったところ、ハンド形状の変化がコップの直径にのみ依存する場合には、教師信号なしでコップ直径の情報が抽出でき、コップに合ったハンド形状を生成できた。一方、コップの取手を持つハンド形状もデータに加えて、直径と取手サイズの両方の情報を抽出することを試みたが、このモデル構造では難しいことがわかった。そのため、AEの代わりにVariational Auto-Encoder(VAE)の導入を検討することとし、まず、画像データのみで検証した。深度センサから得られるRGB画像を用い、YOLACTによって求められた画像内のコップの物体領域が中心になるように深度画像を切り出し、物体中心座標での深度画像を変換、正規化して学習に用いた。このコップ画像をVAEに入力して学習した結果、CNNを用いて識別した場合と比べて、コップの大きさを多様な照明環境下でもより正確に識別できることを示した。これを踏まえ、VAEを導入した視覚-運動変換モデルの学習実験を進めている。また、義手システム開発の効率化のため、VR義手システムを試作した。実験者の上肢運動に合わせてVR環境内でロボットハンドがコップに対して到達把持運動を行い、物体把持の成否を判定するようにした。この環境でコップを把持した時のハンド形状を取得したデータで上述の視覚-運動変換モデルの学習を行い、実ロボットハンドでの物体把持が可能であることを確認した。また、筋電信号を取り込むことも可能であることを確認した。

研究課題である画像認識技術を取り入れた筋電義手システムのうち、画像認識を用いてロボットハンドを制御する学習モデルの検討を行なった。対象物をコップとした時の物体の深度画像とそれを把持した時のロボットハンドの指関節角データのセットを取得し、提案している複数のAuto-Encoder(AE)を用いた視覚-運動変換モデルの学習実験を行なったところ、ハンド形状の変化がコップの直径にのみ依存する場合には、教師信号なしでコップ直径の情報が抽出でき、コップに合ったハンド形状を生成できた。一方、コップの取手を持つハンド形状もデータに加えて、直径と取手サイズの両方の情報を抽出することを試みたが、このモデル構造では難しいことがわかった。そのため、AEの代わりにVariational Auto-Encoder(VAE)の導入を検討することとし、まず、画像データのみで検証した。深度センサから得られるRGB画像を用い、YOLACTによって求められた画像内のコップの物体領域が中心になるように深度画像を切り出し、物体中心座標での深度画像を変換、正規化して学習に用いた。このコップ画像をVAEに入力して学習した結果、CNNを用いて識別した場合と比べて、コップの大きさを多様な照明環境下でもより正確に識別できることを示した。これを踏まえ、VAEを導入した視覚-運動変換モデルの学習実験を進めている。また、義手システム開発の効率化のため、VR義手システムを試作した。実験者の上肢運動に合わせてVR環境内でロボットハンドがコップに対して到達把持運動を行い、物体把持の成否を判定するようにした。この環境でコップを把持した時のハンド形状を取得したデータで上述の視覚-運動変換モデルの学習を行い、実ロボットハンドでの物体把持が可能であることを確認した。また、筋電信号を取り込むことも可能であることを確認した。