自己教示学習を用いた人の体型と姿勢の3次元推定

利用自学学习对人体形状和姿势进行 3D 估计

• 批准号: 20K19836
• 负责人: 吉安 祐介
• 金额: $ 2.66万
• 依托单位: National Institute of Advanced Industrial Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K19836/
• 关键词: 深層学習; 人体三次元形状; 人体三次元姿勢; 自己教師学習; 身体姿勢; 体型; 姿勢; ３次元

今年度は、単眼画像から人体三次元形状（体型とポーズ）を復元する学習モデル、Deformable mesh transFormer (DeFormer)を構築した。DeFormerは、Transformerデコーダ内にフィードバックループを形成し、入力画像に対してメッシュモデルを適合させる。デコーダは、1）疎なセルフアテンションと2）変形メッシュクロスアテンションという身体メッシュ駆動型の効率的なアテンションモジュールからなり、標準的なTransformerのアテンションを用いた従来法では計算コストが高く活用が困難であった高解像度の画像特徴マップと高密度のメッシュモデルを効果的に利用することができる。その結果、Human3.6Mと3DPWというベンチマークにおいて従来法を上回る性能を発揮した。また、手の三次元形状復元のベンチマークFreihandや二次元キーポイントを推定するCOCOベンチマークにおいても従来法よりも高い性能を確認した。さらに、HRformerという視覚トランスフォーマーをバックボーンモデルとして導入することで、さらなる性能の向上を図った。この成果は、CVPR2023で発表予定である。加えて、表情や手指の動きを含むエクスプレッシブなメッシュ形状を復元するために、SMPL-X体型モデルと画像に対して人体三次元メッシュをラベリングしたデータセットであるNeuralAnnotを導入した。今後このデータセットを用いてDeFormerを学習予定である。

This year's single eye portrait is a three-dimensional shape of the human body (body type). It is a complex learning model and a Deformable mesh transFormer (DeFormer). DeFormer is a Transformer that creates a power profile for the transformer. 1) The standard Transformer's performance ratio is used to calculate the high resolution image characteristics, and the high resolution image characteristics are used to calculate the high resolution image characteristics. As a result, Human3.6M and 3DPW have developed their performance. 3-D shape reconstruction of hands, estimation of COCO, identification of high performance In addition, the HRformer and the middle part of the video show the performance of the video show. The results of CVPR2023 are expected. Add, expression, finger movement, shape, restoration, SMPL-X body type, portrait, three-dimensional human body, NeuralAnnotIntroduction The future of this project is determined by the use of DeFormer.

项目成果

Deformable Mesh Transformer for 3D Human Mesh Recovery

• DOI: 10.1109/cvpr52729.2023.01631
• 发表时间: 2023-06
• 期刊: 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
• 作者: Y. Yoshiyasu

Learning Body Shape and Pose from Dense Correspondences

• DOI: 10.2312/egs.20201012
• 发表时间: 2019-07
• 期刊: ArXiv
• 作者: Y. Yoshiyasu;L. Gamez

Statistical Human Body Shape Model including Elderly People

包括老年人在内的统计人体形态模型

• DOI: 10.1109/embc44109.2020.9176459
• 发表时间: 2020
• 期刊: 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)
• 作者: Yoshiyasu Yusuke;Samy Vincent;Imamura Yumeko;Ayusuwa Ko;Sagawa Ryuusuke;Yoshida Eiichi
• 通讯作者: Yoshida Eiichi