权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Learning and realtime conversion of motion styles for non-verbal communication via avatar

通过头像学习和实时转换动作风格以进行非语言交流

基本信息

批准号：
19H04231
负责人：
栗山繁
金额：
$ 10.9万
依托单位：
Toyohashi University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

CGで構成される仮想的な人物（アバター）の身振りに対する表現力を高めるために、その個性あるいは感性的な特徴の元となる微細な動き（スタイル）に変換する技術に取り組んでいる。2020年度には通常の動きとスタイル付けされた動きの間でデータを一定時間毎に区切った動作部分をパターン照合して入れ替える技術を開発し、2021年度はその発展形として、スタイル付けされた動作部分の集合をできるだけ幅広く使用する様なパターン照合技術を導入した。これらの研究成果は、当該分野では国内で最大の規模と知名度を有する査読付き学術会議（Visual Computing）で採択され、口頭発表した。2022年度は、画像処理の分野でも盛んに導入されている Transformer モデルに着目し、これを利用したパターン照合の手法を開発した。この Transformer に基づく手法においても一定時間毎に区切った動作部分を入れ替えるアプローチを導入するが、各動作部分を自然言語のトークンとみなし、その特徴の前後関係から文脈に相当する情報を抽出して、身振り動作の意味的な構造を捉えたパターン照合技術を開発した。さらに、スタイル変換の結果を定量的に評価する手法に関しては未だに良いモデルが提案されていないが、身振り動作に特化した、意味の伝達とスタイルの特徴を分離して誤差を数値的に評価する手法を考案した。この手法により、これまでに開発した手法よりも精度の高い変換が可能であることを定量的に示した。2022年度の研究成果は、当該分野における最も権威のある国際会議（ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation）に採択され、国際学術論文として掲載された。また、発表内容に関連するモーションキャプチャデータとプログラムのソースコードも GitHub を用いて一般公開した。

CG is composed of an imaginary character (アバター), body vibration, expressiveness, and high performance. Sexy and sensual な特徴の元となるsubtle な动き（スタイル）に変changeするtechniqueにtakeり组んでいる. 2020年にはusuallyの动きとスタイルpayけされた动きの间でデータをFor a certain period of time, each area is cut and the action part is opened.発し, 2021 year's はその発成として, スタイルFU けされた action part The collection of をできるだけ広く uses the する様なパターンphotography technology and is imported. The research results of this field are the largest and most famous in the country, and the academic conference (Visual Computing) is the largest in the country. In 2022, the division of image processing will be imported into the Transformer, and the image processing will be carried out using the したパターンphotographing technique.この Transformerにづく Technique においてもA certain amount of time に area cut った action part を into れ substitute えるアプローチを introduction するが, each action part を natural language のトークンとみなし, その特徴の Context から Context に Equivalent するInformation を Extraction して, Body vibration り Action の Meaningful な Structure を Capture えたパターン Photo combination technology を発した.さらに、スタイル変changeのRESULTSをquantitativeにvaluation価するtechniqueに关しては不だに好いモデルが proposalされていないが、 The movement of the body is specialized, and the meaning of the movement is the specialization of the body. The separation of the meaning is the error of the numerical value.このtechniqueにより、これまでに开発したtechniqueよりもPrecisionの高い変changeがpossibleであることをquantitativeにshowした. The research results of 2022 will be published in the ACM SIGGRAPH/EuroGraphics Symposium on Computer Animation International Conference, and international academic papers will be published.また、発表contentにassociatedするモーションキャプチャデータとプログラムのソースコードも GitHub It is generally open to the public.