音響的テクスチャに基づくロボット・インタラクションの研究

昨年度開発したSIW(Sound Imitation Word)に音高やリズムなどを加えたXMLタグによる表現を、『水の音』に対して適用し、擬音語を自動生成するシステムを構築し、そのユーザインタフェースとして階層的表現法を用いたシステムを開発した。具体的な研究項目は以下の通りである。(1)水の音を表現する音響的特徴量の決定:水の音を表現する特徴量として、音声認識で用いられるMFCC(25次元)と、音楽情報処理で用いられる33種の特徴量(音量7種・音色16種)を抽出し、予備実験により、MFCCの方が適していることが分かった。(2)水の音に対して、音響類似度に基づく木構造の自動生成:得られた特徴量に対して、PCAの適用後、階層的クラスタリング手法を適用し、音響類似度に基づく階層木を得た。この階層木は、音高が感じられるか否かで大分類され、それぞれが連続音かどうかで中分類される。小分類では、物理現象を表現する音となり、直観とあっていることが判明した。(3)水の音に対して擬音語の自動付与:擬音語表現については、語基と子音から構成し、それに対して、HMM(隠れマルコフモデル)で擬音語認識を行った。(4)階層的表示における代表音の決定:階層木の各ノードに対するラベルをとして、擬音語と代表音を提示するインタフェースを作成した。擬音語ラベルは、各グループ(クラスタ)のメンバに対して付与されたもっと多い擬音語の語基とした。音響信号は、そのグループ内の距離分布における中心に最も近い音とした。このインタフェースにより、水の音に対する探索的なインタフェースがうまく構築できた。今後、本インタフェースを用い、複数のロボットSIG2,Robovie, Keepon等が、水の音を認識し、それを擬音語で表現し、さらに、人とのインタラクションによって適切な音を探索するシステムへと発展させていく。

昨年度開発したSIW(Sound Imitation Word)に音高やリズムなどを加えたXMLタグによる表現を、『水の音』に対して適用し、擬音語を自動生成するシステムを構築し、そのユーザインタフェースとして階層的表現法を用いたシステムを開発した。具体的な研究項目は以下の通りである。(1)水の音を表現する音響的特徴量の決定:水の音を表現する特徴量として、音声認識で用いられるMFCC(25次元)と、音楽情報処理で用いられる33種の特徴量(音量7種・音色16種)を抽出し、予備実験により、MFCCの方が適していることが分かった。(2)水の音に対して、音響類似度に基づく木構造の自動生成:得られた特徴量に対して、PCAの適用後、階層的クラスタリング手法を適用し、音響類似度に基づく階層木を得た。この階層木は、音高が感じられるか否かで大分類され、それぞれが連続音かどうかで中分類される。小分類では、物理現象を表現する音となり、直観とあっていることが判明した。(3)水の音に対して擬音語の自動付与:擬音語表現については、語基と子音から構成し、それに対して、HMM(隠れマルコフモデル)で擬音語認識を行った。(4)階層的表示における代表音の決定:階層木の各ノードに対するラベルをとして、擬音語と代表音を提示するインタフェースを作成した。擬音語ラベルは、各グループ(クラスタ)のメンバに対して付与されたもっと多い擬音語の語基とした。音響信号は、そのグループ内の距離分布における中心に最も近い音とした。このインタフェースにより、水の音に対する探索的なインタフェースがうまく構築できた。今後、本インタフェースを用い、複数のロボットSIG2,Robovie, Keepon等が、水の音を認識し、それを擬音語で表現し、さらに、人とのインタラクションによって適切な音を探索するシステムへと発展させていく。