Interactive humanoid robot design using Bunraku puppet structure and Jo-ha-kyu Principle

使用文乐木偶结构和 Jo-ha-kyu 原理设计交互式人形机器人

• 批准号: 21K17833
• 负责人: 董 然
• 金额: $ 2.91万
• 依托单位: Tokyo University of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K17833/
• 关键词: 文楽人形; 周波数解析; 深層学習; インタラクションデザイン; 序破急; ノンバーバルコミュニケーション; モーションデザイン; ヒルベルト-ファン変換; 経験的モード分解; ロボットインタラクション; 人工知能; 人形浄瑠璃; 伝統芸能; ヒューマンロボットインタラクション; 感情表現

研究成果：1．文楽人形のインタラクションメカニズムを用いたCGキャラクターアニメーションにおけるモーションデザイン．2．ヒルベルト・ファン変換を用いた周波数領域でのモーション解析手法の開発．１． 文楽人形に使われている感情表現技法のメカニズムは，西洋のものと異なっている．このメカニズムをロボットに実装することで，感情表現のあるロボットインタラクションデザインができると考えられる．文楽の表現をロボットに実装することを検証するため，CGキャラクターでの実証実験を行った．その結果，いままでの研究で解析してきた文楽人形の序破急（緩急）と呼ばれている日本の伝統芸能を用いて，キャラクターアニメーションを作ることで，西洋と異なる表現でのデザインができることを確認できた．２．文楽人形の細かい感情表現を解析し，ロボットでその感情表現を再現するには，より精度の高いモーション解析手法およびモーション特徴量の抽出手法が必要である．文楽人形の所作は，複数のモーションプリミティブで一つの所作を構成している．さらに，3人が同調して人形の異なる部位を操作するため，採取された人形のモーションデータは，異なるスピードのモーションプリミティブや三味線の異なる拍子に合わせた人形師の動きが，時系列においてオーバーラップ状態になっている．これらを解析するため，重なっている所作を周波数領域に分解する必要があるが，フーリエ変換などの一般的に使われている周波数解析手法は，モーションのような非線形データに対応していない．本研究は非線形周波数解析ができるヒルベルト・ファン変換を用いて，さまざまなモーションデータへの適用可能性を検討した．また，この手法は数学的な証明がないため，統計学による検証の手法も併せて提案し，その有用性を検証した．

Research results: 1. Development of analytical methods for the analysis of the frequency domain in the use of human beings. 2. Development of analytical methods for the analysis of human beings. 1. The human form of the text is used to express the feelings of the technique. The expression of emotion is expressed in the following ways: The performance of the article is very good. The results of this study are as follows: (1) Analysis of the sequence of human beings,(2) Analysis of the emotional expression of human beings,(3) Recognition of the emotional expression of human beings,(4) Analysis of the emotional expression of human beings,(5) Recognition of the emotional expression of human beings, High accuracy of the solution analysis method is necessary for the extraction method of the solution feature. The composition of the work of the human form is complex. The three persons are in tune with each other and operate on different parts of the human body. The three persons are in tune with different parts of the human body and operate on different parts The analysis method of the cycle number is different from that of the non-linear analysis method. This paper discusses the applicability of nonlinear frequency analysis to the application of frequency conversion. This method is mathematical proof, statistical proof, and useful proof.

项目成果

Motion Feature Extraction and Stylization for Character Animation using Hilbert-Huang Transform

使用 Hilbert-Huang 变换进行角色动画的运动特征提取和风格化

• DOI: 10.1145/3491396.3506524
• 发表时间: 2021
• 期刊: Proceedings of the 2021 ACM International Conference on Intelligent Computing and its Emerging Applications
• 作者: Dong Ran;Lin Yangfei;Chang Qiong;Zhong Junpei;Cai Dongsheng;Ikuno Soichiro
• 通讯作者: Ikuno Soichiro

Development of a humanoid robot with mechanisms to realize exaggerated motions abstracted from a Japanese Bunraku puppet

开发一种人形机器人，其机制可实现从日本文乐木偶中抽象出来的夸张动作

• DOI: 10.1299/jsmermd.2021.1p3-e07
• 发表时间: 2021
• 期刊: The Proceedings of JSME annual Conference on Robotics and Mechatronics (Robomec)
• 作者: KONDO Hayato;YAMAGUCHI Jin’ichi;DONG Ran;HE Yuying;CAI DongSheng;NAKAGAWA Shinobu
• 通讯作者: NAKAGAWA Shinobu

モーションデータを用いたEMDによる人型ロボットの動作学習最適化

使用运动数据的 EMD 优化人形机器人运动学习

• 发表时间: 2022
• 作者: KONDO Hayato;YAMAGUCHI Jin’ichi;DONG Ran;HE Yuying;CAI DongSheng;NAKAGAWA Shinobu;Ran Dong;久保 翔太郎，董 然，生野 壮一郎
• 通讯作者: 久保 翔太郎，董 然，生野 壮一郎

ヒルベルト-ファン変換を適用したゴルフスイングの解析

应用希尔伯特-黄变换分析高尔夫挥杆

• 发表时间: 2022
• 作者: KONDO Hayato;YAMAGUCHI Jin’ichi;DONG Ran;HE Yuying;CAI DongSheng;NAKAGAWA Shinobu;Ran Dong;久保 翔太郎，董 然，生野 壮一郎;木村 勇大，董 然，生野 壮一郎
• 通讯作者: 木村 勇大，董 然，生野 壮一郎

Investigating the Effect of Jo-Ha-Kyu on Music Tempos and Kinematics across Cultures: Animation Design for 3D Characters Using Japanese Bunraku Theater

研究 Jo-Ha-Kyu 对跨文化音乐节奏和运动学的影响：使用日本文乐剧场的 3D 角色动画设计

• DOI: 10.1162/leon_a_02250
• 发表时间: 2022
• 期刊: Leonardo
• 影响因子: 0.3
• 作者: Dong Ran;Cai Dongsheng;Hayano Shingo;Nakagawa Shinobu;Ikuno Soichiro
• 通讯作者: Ikuno Soichiro