環境音響を利用したロボットの動作生成

使用环境声音生成机器人运动

• 批准号: 17650051
• 负责人: 尾形 哲也
• 金额: $ 2.18万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2006
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-17650051/
• 关键词: モダリティ間マッピング; 神経回路モデル; ロボット; 声道モデル; 音声発達; 模倣; 汎化; RNNPB; Keepon; 連想; 共感覚

本研究では"異種の感覚モダリティのマッピング"を工学的手法により実現することを目的とする.特に視覚と聴覚の変換に着目し,音響信号を表現するロボットモーションや音響モデルを再生する声道モデルダイナミクスを生成する.本技術は,多自由度ロボットのダンスパターンの自動生成や,環境音の擬音語化などに応用可能と期待される.さらに"共感覚"などの心理学の知見との関連に関する議論も期待できる.我々は平成17年度に小型ロボットKeepon(NICT開発)を用いた動作と音響信号の変換モデルを提案した.しかしその音響信号生成は白色信号をベースとした単純なモデルを用いていたため,きわめて多様性に乏しいものであった.そこで18年度は多様な音響信号生成,さらに幼児の発音過程のモデル化を目的として,平成17年度提案したモダリティ変換モデルに,声道モデル(Maedaモデル,1990)を適用した音声模倣モデルを構築した.具体的には声道モデルによる音声バブリングを人工神経回路で学習し,その体験をもとに入力音声を再生するモデルである.人間の実発話(母音)模倣をターゲットとして提案モデルの特性分析実験を行った.その結果,2母音の発話入力がバブリング済である場合,人間が弁別可能な高い品質で音声模倣を行えることを確認した.3母音の音声模倣では,提案モデルの汎化能力によりバブリングしていない音声パターンにおける模倣も実現した.また音響信号のみを学習した神経回路モデルと,音響信号と声道動作を学習した神経回路モデルとを比較し「音声知覚の運動理論」を支持する結果が得られた.

This study aims to explore the ways to achieve this goal. The audio signal is generated from the audio signal and the audio signal is reproduced from the audio signal. The technology aims at automatic generation of multi-degree-of-freedom sound and simulation of environmental sound. "Sympathy" is the most important aspect of psychology. We have a proposal for small size Keepon(NICT development) in 2017. The acoustic signal is generated by the white signal. In 2018, the aim of multi-channel acoustic signal generation and acoustic simulation for children was to propose a proposal for 2017 to apply multi-channel acoustic signal generation and acoustic simulation for children (Maeda, 1990). The specific sound channel is the artificial neural loop for learning, and the body is the input sound channel for regeneration. The human voice (vowel) imitation is the key to the analysis of the characteristics of the proposal. As a result, 2 vowel voice transmission force is very high, and 3 vowel voice imitation is very low. 2 vowel voice transmission force is very low, and 3 vowel voice imitation force is very high. The results of the study of the acoustic signal and the motion of the acoustic signal and the study of the acoustic circuit and the motion theory of the acoustic signal and the motion theory of the acoustic signal are obtained.

项目成果

Generation of Robot Motions from Environmental Sounds using Inter-modality Mapping by RNNPB

RNNPB 使用模态间映射根据环境声音生成机器人运动

• 发表时间: 2006
• 期刊: Proc.of International Workshop on Epigenetic Robotics
• 作者: T.Ogata;Y.Hattori;H.Kozima;K.Komatani;H.G.Okuno
• 通讯作者: H.G.Okuno

リカレントニューラルネットワークによるロボットの異種感覚モダリティ変換

使用循环神经网络转换机器人的不同感觉模式

• 发表时间: 2006
• 期刊: 第24回日本ロボット学会学術講演会講演集
• 作者: 尾形哲也;服部佑哉;小嶋秀樹;駒谷和範;奥乃博
• 通讯作者: 奥乃博

RNNPBによる視聴覚情報変換を利用したロボットの身体・音声表現

使用RNNPB进行视听信息转换的机器人身体和语音表达

• 发表时间: 2006
• 期刊: 言語理解とコミュニケーション研究会,電子情報通信学会
• 作者: 尾形哲也;小嶋秀樹;駒谷和範;奥乃博
• 通讯作者: 奥乃博

RNNPBを用いたモダリティ間マッピングによるロボットの動作生成

使用 RNNPB 通过模态间映射生成机器人运动

• 发表时间: 2006
• 期刊: 情報処理学会第68回全国大会講演集(学生奨励賞)
• 作者: 服部佑哉;駒谷和範;尾形哲也;小嶋秀樹;奥乃博
• 通讯作者: 奥乃博

モダリティ間マッピングを用いた環境音を表現するロボットジェスチャー生成

使用模态间映射生成机器人手势来表达环境声音

• 发表时间: 2005
• 期刊: 第23回日本ロボット学会学術講演会論文集
• 作者: 服部佑哉;小嶋秀樹;駒谷和範;尾形哲也;奥乃博
• 通讯作者: 奥乃博