環境音響を利用したロボットの動作生成

本研究では"異種の感覚モダリティのマッピング"を工学的手法により実現することを目的とする.特に視覚と聴覚の変換に着目し,音響信号を表現するロボットモーションや音響モデルを再生する声道モデルダイナミクスを生成する.本技術は,多自由度ロボットのダンスパターンの自動生成や,環境音の擬音語化などに応用可能と期待される.さらに"共感覚"などの心理学の知見との関連に関する議論も期待できる.我々は平成17年度に小型ロボットKeepon(NICT開発)を用いた動作と音響信号の変換モデルを提案した.しかしその音響信号生成は白色信号をベースとした単純なモデルを用いていたため,きわめて多様性に乏しいものであった.そこで18年度は多様な音響信号生成,さらに幼児の発音過程のモデル化を目的として,平成17年度提案したモダリティ変換モデルに,声道モデル(Maedaモデル,1990)を適用した音声模倣モデルを構築した.具体的には声道モデルによる音声バブリングを人工神経回路で学習し,その体験をもとに入力音声を再生するモデルである.人間の実発話(母音)模倣をターゲットとして提案モデルの特性分析実験を行った.その結果,2母音の発話入力がバブリング済である場合,人間が弁別可能な高い品質で音声模倣を行えることを確認した.3母音の音声模倣では,提案モデルの汎化能力によりバブリングしていない音声パターンにおける模倣も実現した.また音響信号のみを学習した神経回路モデルと,音響信号と声道動作を学習した神経回路モデルとを比較し「音声知覚の運動理論」を支持する結果が得られた.

本研究では"異種の感覚モダリティのマッピング"を工学的手法により実現することを目的とする.特に視覚と聴覚の変換に着目し,音響信号を表現するロボットモーションや音響モデルを再生する声道モデルダイナミクスを生成する.本技術は,多自由度ロボットのダンスパターンの自動生成や,環境音の擬音語化などに応用可能と期待される.さらに"共感覚"などの心理学の知見との関連に関する議論も期待できる.我々は平成17年度に小型ロボットKeepon(NICT開発)を用いた動作と音響信号の変換モデルを提案した.しかしその音響信号生成は白色信号をベースとした単純なモデルを用いていたため,きわめて多様性に乏しいものであった.そこで18年度は多様な音響信号生成,さらに幼児の発音過程のモデル化を目的として,平成17年度提案したモダリティ変換モデルに,声道モデル(Maedaモデル,1990)を適用した音声模倣モデルを構築した.具体的には声道モデルによる音声バブリングを人工神経回路で学習し,その体験をもとに入力音声を再生するモデルである.人間の実発話(母音)模倣をターゲットとして提案モデルの特性分析実験を行った.その結果,2母音の発話入力がバブリング済である場合,人間が弁別可能な高い品質で音声模倣を行えることを確認した.3母音の音声模倣では,提案モデルの汎化能力によりバブリングしていない音声パターンにおける模倣も実現した.また音響信号のみを学習した神経回路モデルと,音響信号と声道動作を学習した神経回路モデルとを比較し「音声知覚の運動理論」を支持する結果が得られた.