Improvement of flexion finger angles' estimation accuracy by instructional learning of finger contour line information

通过手指轮廓线信息的指导学习提高屈指角度的估计精度

• 批准号: 21K17867
• 负责人: 藤嶋 教彰
• 金额: $ 2.66万
• 依托单位: Matsue National College of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K17867/
• 关键词: 手形状推定; 輪郭線; 深層学習; 3DCG; 屈曲指推定; 技術伝承

2022年度には2つほど新たな技術を創出する成果を出すことができた。1つは3DCGソフトを用いて自動で大量に手指輪郭線の画像を作製する技術であり、もう1つは肌質感を変化させる既存システムを利用する技術である。3DCGソフトPOSERを用いる手法は2021年度までは3DCGカラーグローブモデルと、そのモデルを動かして撮影するPythonスクリプトがあるのみであった。そのため、望みの手形状がある場合は、その手形状になる関節角度を自分の手を用いて測定した後に、スクリプト内の関節角度リストに書き込む作業が必要であり、大量の手形状を作製するために膨大な時間がかかっていた。そこで、(1)手形状の関節角度情報をcsvデータに格納し、それを読み取るコードに変更、および(2)3DCGモデルの直接操作後に関節角度を取得、csvファイルに書き込みをするためのPythonスクリプト開発、を行った。それにより、1回のスクリプト実行のみで大量の手指輪郭線画像作製、関節角度とのリンク、および手形状別のフォルダ分けまでが一括で行えるようになった。肌質感を変化させる既存システムについては、当初予定していたGeoConGANの実装がうまくいかなったため、より最新の研究を調査し、2021年に発表されたOpreaらのH-GAN（HandGAN）[1]に切り替えた。その結果12月頃に使用可能となった。現時点では申請者の手画像をRegNetが学習した手画像と近い質感の手画像に変換する所までができている。（Opera et al., H-GAN: the power of GANs in your Hands, https://arxiv.org/abs/2103.15017）その他、関連する技術として深層学習を大型コンピュータで学習させるための技術や、学習環境を短時間で設定するための技術に関して向上した。

2022 annual に は 2 つ ほ ど new た を な technology makes す る results を out す こ と が で き た. 1 つ は 3 DCG ソ フ ト を with い て automatic で lots of guo に finger round line の portraits を system す る technology で あ り, も う 1 つ は muscle texture を variations change さ せ る existing シ ス テ ム を using す る technology で あ る. 3 DCG ソ フ ト be を with い ま る gimmick は 2021 で は 3 DCG カ ラ ー グ ロ ー ブ モ デ ル と, そ の モ デ ル を dynamic か し て pinch of shadow す る Python ス ク リ プ ト が あ る の み で あ っ た. そ の た め, み の hand shape が あ る は, そ の hand shape に な る masato section Angle を allotted の hand を with い て determination し た に, after ス ク リ プ ト within の masato section Angle リ ス ト に book き 込 む homework が necessary で あ り, lots of の hand shape を す る た め に swelled な time が か か っ て い た. そ こ で, (1) hand shape の masato section Angle intelligence を CSV デ ー タ に Wagner し, そ れ を 読 み take る コ ー ド に - more, お よ び (2) 3 DCG モ デ ル の direct operation after に masato section Angle を acquisition, CSV フ ァ イ ル に book き 込 み を す る た め の Python ス ク リ プ ト 発, line を っ た. そ れ に よ り, 1 の ス ク リ プ ト line be の み で system on lots of guo の finger round line portrait, masato Angle と の リ ン ク, お よ び hand shape don't の フ ォ ル ダ points け ま で が an enclosed line で え る よ う に な っ た. Muscle texture を variations change さ せ る existing シ ス テ ム に つ い て は, had designated し て い た GeoConGAN の be loaded が う ま く い か な っ た た め, よ し を り の latest research survey, 2021 に 発 table さ れ た Oprea ら の H - GAN (HandGAN) [1] に り cutting for え た. Youdaoplaceholder0 そ result around December に use possibly となった. Now point で は applicants の hand portrait を RegNet が learning し た portrait と nearly い texture の hand portrait に variations in す る by ま で が で き て い る. (Opera et al., H-GAN: the power of GANs in your Hands, https://arxiv.org/abs/2103.15017) そ の he, masato す る technology と し て deep learning を large コ ン ピ ュ ー タ で learning さ せ る た め の technology や, learning environment を short time set で す る た め の technology に masato し て upward し た.

项目成果

手指の輪郭線情報が人の手形状識別へ与える影響

手部轮廓信息对人手形状识别的影响

• 发表时间: 2022
• 作者: 藤嶋 教彰;中村 宙偉;藤嶋教彰
• 通讯作者: 藤嶋教彰

関節ジワ情報が浅い屈曲を伴う手形状パターンの識別におよぼす影響

关节皱纹信息对浅弯曲手形模式识别的影响

• 发表时间: 2022
• 作者: 藤嶋 教彰;中村 宙偉
• 通讯作者: 中村 宙偉

アノテーション付き手指輪郭線画像を生成するための3DCGカラーグローブ

用于生成带注释的手部轮廓图像的 3DCG 彩色手套

• 发表时间: 2021
• 作者: 藤嶋 教彰;中村 宙偉;藤嶋教彰;藤嶋教彰
• 通讯作者: 藤嶋教彰

曲げの深さに着目した屈曲指の位置推定に関する研究－MediaPipe Handsでの事例－

关注弯曲深度的弯曲手指位置估计研究 - MediaPipe Hands案例研究 -

• 发表时间: 2021
• 作者: 藤嶋 教彰;中村 宙偉;藤嶋教彰;藤嶋教彰;藤嶋教彰
• 通讯作者: 藤嶋教彰