Improvement of flexion finger angles' estimation accuracy by instructional learning of finger contour line information

点击翻译按钮获取中文摘要

2022年度には2つほど新たな技術を創出する成果を出すことができた。1つは3DCGソフトを用いて自動で大量に手指輪郭線の画像を作製する技術であり、もう1つは肌質感を変化させる既存システムを利用する技術である。3DCGソフトPOSERを用いる手法は2021年度までは3DCGカラーグローブモデルと、そのモデルを動かして撮影するPythonスクリプトがあるのみであった。そのため、望みの手形状がある場合は、その手形状になる関節角度を自分の手を用いて測定した後に、スクリプト内の関節角度リストに書き込む作業が必要であり、大量の手形状を作製するために膨大な時間がかかっていた。そこで、(1)手形状の関節角度情報をcsvデータに格納し、それを読み取るコードに変更、および(2)3DCGモデルの直接操作後に関節角度を取得、csvファイルに書き込みをするためのPythonスクリプト開発、を行った。それにより、1回のスクリプト実行のみで大量の手指輪郭線画像作製、関節角度とのリンク、および手形状別のフォルダ分けまでが一括で行えるようになった。肌質感を変化させる既存システムについては、当初予定していたGeoConGANの実装がうまくいかなったため、より最新の研究を調査し、2021年に発表されたOpreaらのH-GAN（HandGAN）[1]に切り替えた。その結果12月頃に使用可能となった。現時点では申請者の手画像をRegNetが学習した手画像と近い質感の手画像に変換する所までができている。（Opera et al., H-GAN: the power of GANs in your Hands, https://arxiv.org/abs/2103.15017）その他、関連する技術として深層学習を大型コンピュータで学習させるための技術や、学習環境を短時間で設定するための技術に関して向上した。