Improvement of flexion finger angles' estimation accuracy by instructional learning of finger contour line information

通过手指轮廓线信息的指导学习提高屈指角度的估计精度

基本信息

批准号：
21K17867
负责人：
藤嶋教彰
金额：
$ 2.66万
依托单位：
Matsue National College of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K17867/
关键词：
手形状推定輪郭線深層学習 3DCG 屈曲指推定技術伝承

项目摘要

2022年度には2つほど新たな技術を創出する成果を出すことができた。1つは3DCGソフトを用いて自動で大量に手指輪郭線の画像を作製する技術であり、もう1つは肌質感を変化させる既存システムを利用する技術である。3DCGソフトPOSERを用いる手法は2021年度までは3DCGカラーグローブモデルと、そのモデルを動かして撮影するPythonスクリプトがあるのみであった。そのため、望みの手形状がある場合は、その手形状になる関節角度を自分の手を用いて測定した後に、スクリプト内の関節角度リストに書き込む作業が必要であり、大量の手形状を作製するために膨大な時間がかかっていた。そこで、(1)手形状の関節角度情報をcsvデータに格納し、それを読み取るコードに変更、および(2)3DCGモデルの直接操作後に関節角度を取得、csvファイルに書き込みをするためのPythonスクリプト開発、を行った。それにより、1回のスクリプト実行のみで大量の手指輪郭線画像作製、関節角度とのリンク、および手形状別のフォルダ分けまでが一括で行えるようになった。肌質感を変化させる既存システムについては、当初予定していたGeoConGANの実装がうまくいかなったため、より最新の研究を調査し、2021年に発表されたOpreaらのH-GAN（HandGAN）[1]に切り替えた。その結果12月頃に使用可能となった。現時点では申請者の手画像をRegNetが学習した手画像と近い質感の手画像に変換する所までができている。（Opera et al., H-GAN: the power of GANs in your Hands, https://arxiv.org/abs/2103.15017）その他、関連する技術として深層学習を大型コンピュータで学習させるための技術や、学習環境を短時間で設定するための技術に関して向上した。

在2022年，我们能够产生创造两种新技术的结果。一种是一种使用3DCG软件自动创建大量手动轮廓线图像的技术，另一种是使用现有系统来改变皮肤质地的技术。直到2021年，唯一使用3DCG软件摆动器的方法是3DCG彩色手套模型和Python脚本，该脚本使用该模型运行和拍摄图片。因此，如果有所需的手形状，则有必要测量将使用自己的手变成手形状的关节角度，然后将其写入脚本中的关节角度列表中，这需要大量时间才能创建大量的手形状。因此，我们（1）更改了代码，以将手形状的关节角度信息存储在CSV数据中并读取它，并且（2）在直接操纵3DCG模型并将其写入CSV文件后，开发了一个Python脚本以获取关节角度。这使您可以通过手动执行手动在一个批处理中手动形状创建大量的手写图像，链接到关节角度，甚至可以通过手工形状单独的文件夹。关于改变皮肤质地的现有系统，最初计划的地理根机实施失败了，因此我们研究了更多的研究，并改用了Oprea等人于2021年发布的H-Gan（Handgan）[1]。结果，它在12月左右就可以使用。目前，甚至在一个地方，申请人的手图像可以转换为手部图像，其纹理类似于Regnet所学的手图像。（Opera等人，H-Gan：甘恩在您手中的力量，https：//arxiv.org/abs/2103.15017）在大型计算机和技术上学习深度学习，以在短时间内建立学习环境的技术方面提高了其他相关技术。