Learning and realtime conversion of motion styles for non-verbal communication via avatar

通过头像学习和实时转换动作风格以进行非语言交流

• 批准号: 19H04231
• 负责人: 栗山 繁
• 金额: $ 10.9万
• 依托单位: Toyohashi University of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19H04231/
• 关键词: 身振り動作; スタイル転移; キャラクタアニメーション; 仮想分身（アバター）; 深層学習; 身振り動作のスタイル変換; ジェスチャ生成; デジタルヒューマン; ジェスチャスタイル変換; モーションキャプチャデータ; ＣＧアニメーション; ニューラルネットワーク; トランスフォーマ; 身振り動作生成; スタイル変換; ジェスチャ表現; アバター; 動作スタイル変換; CGアニメーション

CGで構成される仮想的な人物（アバター）の身振りに対する表現力を高めるために、その個性あるいは感性的な特徴の元となる微細な動き（スタイル）に変換する技術に取り組んでいる。2020年度には通常の動きとスタイル付けされた動きの間でデータを一定時間毎に区切った動作部分をパターン照合して入れ替える技術を開発し、2021年度はその発展形として、スタイル付けされた動作部分の集合をできるだけ幅広く使用する様なパターン照合技術を導入した。これらの研究成果は、当該分野では国内で最大の規模と知名度を有する査読付き学術会議（Visual Computing）で採択され、口頭発表した。2022年度は、画像処理の分野でも盛んに導入されている Transformer モデルに着目し、これを利用したパターン照合の手法を開発した。この Transformer に基づく手法においても一定時間毎に区切った動作部分を入れ替えるアプローチを導入するが、各動作部分を自然言語のトークンとみなし、その特徴の前後関係から文脈に相当する情報を抽出して、身振り動作の意味的な構造を捉えたパターン照合技術を開発した。さらに、スタイル変換の結果を定量的に評価する手法に関しては未だに良いモデルが提案されていないが、身振り動作に特化した、意味の伝達とスタイルの特徴を分離して誤差を数値的に評価する手法を考案した。この手法により、これまでに開発した手法よりも精度の高い変換が可能であることを定量的に示した。2022年度の研究成果は、当該分野における最も権威のある国際会議（ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation）に採択され、国際学術論文として掲載された。また、発表内容に関連するモーションキャプチャデータとプログラムのソースコードも GitHub を用いて一般公開した。

CG で constitute さ れ る 仮 think な character (ア バ タ ー) の body vibration り に す seaborne る expressive を high め る た め に, そ の personality あ る い は sensibility of な 徴 の yuan と な る imperceptible な dynamic き (ス タ イ ル) に variations in す に る technology group take り ん で い る. 2020 annual に は の usually move き と ス タ イ ル pay け さ れ た dynamic き の between で デ ー タ を some time in their に area cut っ た action part を パ タ ー ン as close し て in れ for え る technology を open 発 し, 2021 annual は そ の 発 exhibition form と し て, ス タ イ ル pay け さ れ た action part の collection を で き る だ け picture hiroo く use す る others な パ タ ー ン according to us Technology を import た. は こ れ ら の research results, when the eset で は で と の scale biggest domestic popularity を have す る check 読 pay き academic conference (Visual Computing) で mining 択 さ れ, oral 発 table し た. 2022 annual は, portrait 処 の eset で も sheng ん に import さ れ て い る Transformer モ デ ル に mesh し, こ れ を using し た パ タ ー ン drive the close の gimmick を 発 し た. Youdaoplaceholder5 youdaoplaceholder0 Transformer に base づ く gimmick に お い て も some time in their に area cut っ た action part を into れ for え る ア プ ロ ー チ を import す る が, each action part を natural speech の ト ー ク ン と み な し, そ の, 徴 の masato department before and after か ら context に quite す る intelligence を spare し て, body vibration り action の mean な tectonic を catch え た パ タ ー ン drive the us technology を 発 し た. さ ら に, ス タ イ ル variations in の results を に of quantitative evaluation of 価 す る gimmick に masato し て は not だ い に good モ デ ル が proposal さ れ て い な い が, body vibration り action に specialized し た, mean の 伝 da と ス タ イ ル の, 徴 を separation し を て error of the numerical に review 価 す る gimmick を test case し た. こ の gimmick に よ り, こ れ ま で に open 発 し た gimmick よ り も high precision の い variations in が may で あ る こ と を quantitative に shown し た. In 2022, the <s:1> research achievements <e:1>, when this field における most における 権 is presented at the <s:1> ある international conference (ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation) に is adopted 択され, and the international academic paper と と て is published された. ま た, 発 table content に masato even す る モ ー シ ョ ン キ ャ プ チ ャ デ ー タ と プ ロ グ ラ ム の ソ ー ス コ ー ド も making を with い て general public し た.

项目成果

人の関節回転角系列からの身体中心位置の推定

根据人体关节旋转角度序列估计身体中心位置

• 发表时间: 2019
• 作者: 木佐省吾;遠藤結城;栗山繁
• 通讯作者: 栗山繁

注意機構を用いた身振り動作のスタイル変換

使用注意力机制进行手势动作的风格转换

• 发表时间: 2020
• 作者: 向井 智彦;岩本 尚也;栗山 繁
• 通讯作者: 栗山 繁

化粧工程の分解に基づく顔画像の化粧スタイル転写

基于化妆过程分解的面部图像化妆风格迁移

• 发表时间: 2023
• 作者: 若生翼 ; 高橋遼 ; 栗山繁
• 通讯作者: 栗山繁

パッチの再配置に基づくジェスチャーのスタイル変換

基于补丁重新定位的手势风格转换

• 发表时间: 2021
• 作者: 胡 博文;安藤 大地;向井 智彦;栗山 繁
• 通讯作者: 栗山 繁

Analysis and Synthesis of Eye Movements for Conversational Agent

会话代理眼动分析与综合

• 发表时间: 2022
• 作者: 胡 博文;安藤 大地;向井 智彦
• 通讯作者: 向井 智彦