An Interactive Framework for Visually Realistic 3D Motion Synthesis using Evolutionarily-trained Spiking Neural Networks
An Interactive Framework for Visually Realistic 3D Motion Synthesis using Evolutionarily-trained Spiking Neural Networks
复制标题
使用经过进化训练的尖峰神经网络进行视觉逼真 3D 运动合成的交互式框架
DOI：
10.1145/3585509
复制
发表时间：
2023
影响因子：
1.3
通讯作者：
Michmizos, Konstantinos
中科院分区：
文献类型：
--
作者：
Polykretis, Ioannis;Patil, Aditi;Aanjaneya, Mridul;Michmizos, Konstantinos
我们提出了一种端到端方法，用于捕获 3D 人物角色的动态并将其转换为合成新的、视觉逼真的运动序列。传统方法采用复杂但通用的控制方法来驱动铰接角色的关节，很少关注人类关节运动的独特动态。相比之下，我们的方法试图通过利用生物学上合理的、紧凑的尖峰神经元网络来合成类人的关节运动，这些神经元驱动灵长类动物和啮齿类动物的关节控制。我们通过引入可学习组件来调整控制器架构，并提出一种进化算法来训练尖峰神经网络架构并捕获不同的关节动态。我们的方法只需要几个样本来捕获关节运动的动态特性，并利用受生物学启发、经过训练的控制器进行重建。更重要的是，它可以将捕获的动态转换为新的视觉上合理的运动序列。为了能够根据用户需求定制最终的运动序列，我们开发了一个交互式框架，允许对受控 3D 角色进行编辑和实时可视化。我们还通过从手势数据集中学习手部关节动力学并使用我们的框架通过 3D 动画角色重建手势，展示了我们的方法对真实人体运动捕捉数据的适用性。我们的联合控制器的紧凑架构源于其生物真实感设计，以及我们的并行化进化学习算法的固有能力，表明我们的方法可以提供一种高效且可扩展的替代方案，用于合成具有多样化且视觉真实的运动动力学的 3D 角色动画。
We present an end-to-end method for capturing the dynamics of 3D human characters and translating them for synthesizing new, visually-realistic motion sequences. Conventional methods employ sophisticated, but generic, control approaches for driving the joints of articulated characters, paying little attention to the distinct dynamics of human joint movements. In contrast, our approach attempts to synthesize human-like joint movements by exploiting a biologically-plausible, compact network of spiking neurons that drive joint control in primates and rodents. We adapt the controller architecture by introducing learnable components and propose an evolutionary algorithm for training the spiking neural network architectures and capturing diverse joint dynamics. Our method requires only a few samples for capturing the dynamic properties of a joint's motion and exploits the biologically-inspired, trained controller for its reconstruction. More importantly, it can transfer the captured dynamics to new visually-plausible motion sequences. To enable user-dependent tailoring of the resulting motion sequences, we develop an interactive framework that allows for editing and real-time visualization of the controlled 3D character. We also demonstrate the applicability of our method to real human motion capture data by learning the hand joint dynamics from a gesture dataset and using our framework to reconstruct the gestures with our 3D animated character. The compact architecture of our joint controller emerging from its biologically-realistic design, and the inherent capacity of our evolutionary learning algorithm for parallelization, suggest that our approach could provide an efficient and scalable alternative for synthesizing 3D character animations with diverse and visually-realistic motion dynamics.
登录
查看更多内容
DOI：
10.2312/sca/sca06/127-135
发表时间：
2006-09
期刊：
--
影响因子：
--
作者：
M. Cani;J. O. O 'brien;Guodong Liu;L. McMillan
通讯作者：
M. Cani;J. O. O 'brien;Guodong Liu;L. McMillan
DOI：
10.1145/1833349.1778865
发表时间：
2010-07
期刊：
ACM SIGGRAPH 2010 papers
影响因子：
--
作者：
Libin Liu;KangKang Yin;M. V. D. Panne;Tianjia Shao;Weiwei Xu
通讯作者：
Libin Liu;KangKang Yin;M. V. D. Panne;Tianjia Shao;Weiwei Xu
基于前向动力学的刚体逼真动画
DOI：
10.1016/s0097-8493(97)00024-1
发表时间：
1997
期刊：
Comput. Graph.
影响因子：
--
作者：
Ji;D. Fussell
通讯作者：
D. Fussell
生物连接组作为人工神经网络架构的代表
DOI：
10.1101/2022.09.30.510374
发表时间：
2022
期刊：
bioRxiv
影响因子：
--
作者：
Samuel Schmidgall;Catherine D. Schuman;Maryam Parsa
通讯作者：
Maryam Parsa
通过机器学习增强基于采样的控制器
DOI：
10.1145/3099564.3099579
发表时间：
2017
期刊：
Proceedings of the ACM SIGGRAPH / Eurographics Symposium on Computer Animation
影响因子：
--
作者：
Joose Rajamäki;Perttu Hämäläinen
通讯作者：
Perttu Hämäläinen