Development of a prosthetic hand system using image recognition technology and myoelectric data processing

利用图像识别技术和肌电数据处理技术开发假手系统

基本信息

  • 批准号:
    22K12204
  • 负责人:
  • 金额:
    $ 2.58万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
  • 财政年份:
    2022
  • 资助国家:
    日本
  • 起止时间:
    2022-04-01 至 2025-03-31
  • 项目状态:
    未结题

项目摘要

研究課題である画像認識技術を取り入れた筋電義手システムのうち、画像認識を用いてロボットハンドを制御する学習モデルの検討を行なった。対象物をコップとした時の物体の深度画像とそれを把持した時のロボットハンドの指関節角データのセットを取得し、提案している複数のAuto-Encoder(AE)を用いた視覚-運動変換モデルの学習実験を行なったところ、ハンド形状の変化がコップの直径にのみ依存する場合には、教師信号なしでコップ直径の情報が抽出でき、コップに合ったハンド形状を生成できた。一方、コップの取手を持つハンド形状もデータに加えて、直径と取手サイズの両方の情報を抽出することを試みたが、このモデル構造では難しいことがわかった。そのため、AEの代わりにVariational Auto-Encoder(VAE)の導入を検討することとし、まず、画像データのみで検証した。深度センサから得られるRGB画像を用い、YOLACTによって求められた画像内のコップの物体領域が中心になるように深度画像を切り出し、物体中心座標での深度画像を変換、正規化して学習に用いた。このコップ画像をVAEに入力して学習した結果、CNNを用いて識別した場合と比べて、コップの大きさを多様な照明環境下でもより正確に識別できることを示した。これを踏まえ、VAEを導入した視覚-運動変換モデルの学習実験を進めている。また、義手システム開発の効率化のため、VR義手システムを試作した。実験者の上肢運動に合わせてVR環境内でロボットハンドがコップに対して到達把持運動を行い、物体把持の成否を判定するようにした。この環境でコップを把持した時のハンド形状を取得したデータで上述の視覚-運動変換モデルの学習を行い、実ロボットハンドでの物体把持が可能であることを確認した。また、筋電信号を取り込むことも可能であることを確認した。
The research topic The depth image of the object at the time of the image is controlled, the angle of the finger joint is obtained, and a plurality of Auto-Encoders (AE) are proposed. The visual-motion conversion is used to learn the depth image of the object at the time of the image. The shape of the object is changed, and the diameter of the object is dependent. The teacher signal is extracted. The shape of the box is generated. A square, a square, a hand, a shape, a diameter, a hand, a square, a structure, a shape, a shape, a diameter, a shape, a shape, a The import of variable Auto-Encoder(VAE) is discussed in this paper. RGB images are obtained from depth, YOLACT is obtained from depth, and object coordinates are changed and normalized from depth to depth. The image of the camera is reflected in the results of the study, and the CNN is used to identify the situation. The camera is used in a variety of lighting environments. VAE is introduced into the system. The development of virtual reality systems is a trial. The user's upper limb movement is combined with the VR environment to determine whether or not to reach the control movement. The environment, when it is controlled, has a shape that can be determined by the above visual-motion conversion, learning, and object control. The signal is received.

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
画像認識を併用した筋電義手システムの把持動作識別精度の検証
利用图像识别验证肌电假手系统抓取动作识别精度
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    神崎秀平;中野秀洋;荒木雄斗,松田 基,福村直博
  • 通讯作者:
    荒木雄斗,松田 基,福村直博
Grasp Control of a Multi-fingered Robot Hand for Cups of Different Sizes using a Visuomotor Integration Model
使用视觉运动集成模型对多指机器人手抓取不同尺寸的杯子进行控制
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    M. Matsuda;S;Katayama and N. Fukumura
  • 通讯作者:
    Katayama and N. Fukumura
深度画像を用いた精密なロボットハンド制御のための把持対象物の特徴抽出
使用深度图像提取抓取物体的特征,以实现精确的机器人手控制
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    神崎秀平;中野秀洋;荒木雄斗,松田 基,福村直博;片山 哲,松田 基,福村直博
  • 通讯作者:
    片山 哲,松田 基,福村直博
Evaluation of Generalization Performance of Grasping Control with Robot Hand Using Visuomotor Integration Model
利用视觉运动集成模型评估机械手抓取控制的泛化性能
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    M. Matsuda;S. Katayama;M. Ohashi and N. Fukumura
  • 通讯作者:
    M. Ohashi and N. Fukumura
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

福村 直博其他文献

福村 直博的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('福村 直博', 18)}}的其他基金

ヒトの把持運動における感覚運動統合に関する研究
人类抓取运动中感觉运动整合的研究
  • 批准号:
    10750317
  • 财政年份:
    1998
  • 资助金额:
    $ 2.58万
  • 项目类别:
    Grant-in-Aid for Encouragement of Young Scientists (A)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了