音響的テクスチャに基づくロボット・インタラクションの研究

基于声纹理的机器人交互研究

• 批准号: 17650052
• 负责人: 奥乃 博
• 金额: $ 1.86万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2006
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-17650052/
• 关键词: ロボット聴覚; 音環境理解; 音響的テクスチャ; 共感覚; 擬音語認識; SIW; 水音; 木構造表現; ロボット感覚; RNNPB; 口真似; 模倣

昨年度開発したSIW(Sound Imitation Word)に音高やリズムなどを加えたXMLタグによる表現を、『水の音』に対して適用し、擬音語を自動生成するシステムを構築し、そのユーザインタフェースとして階層的表現法を用いたシステムを開発した。具体的な研究項目は以下の通りである。(1)水の音を表現する音響的特徴量の決定:水の音を表現する特徴量として、音声認識で用いられるMFCC(25次元)と、音楽情報処理で用いられる33種の特徴量(音量7種・音色16種)を抽出し、予備実験により、MFCCの方が適していることが分かった。(2)水の音に対して、音響類似度に基づく木構造の自動生成:得られた特徴量に対して、PCAの適用後、階層的クラスタリング手法を適用し、音響類似度に基づく階層木を得た。この階層木は、音高が感じられるか否かで大分類され、それぞれが連続音かどうかで中分類される。小分類では、物理現象を表現する音となり、直観とあっていることが判明した。(3)水の音に対して擬音語の自動付与:擬音語表現については、語基と子音から構成し、それに対して、HMM(隠れマルコフモデル)で擬音語認識を行った。(4)階層的表示における代表音の決定:階層木の各ノードに対するラベルをとして、擬音語と代表音を提示するインタフェースを作成した。擬音語ラベルは、各グループ(クラスタ)のメンバに対して付与されたもっと多い擬音語の語基とした。音響信号は、そのグループ内の距離分布における中心に最も近い音とした。このインタフェースにより、水の音に対する探索的なインタフェースがうまく構築できた。今後、本インタフェースを用い、複数のロボットSIG2,Robovie, Keepon等が、水の音を認識し、それを擬音語で表現し、さらに、人とのインタラクションによって適切な音を探索するシステムへと発展させていく。

Last year, the SIW (Sound Imitation Word) pitch system was used to display the XML sound, the water sound was used, the sound was automatically generated, and the system was used to improve the performance. The specific "research projects" are listed below. (1) it is determined that the specific volume of the sound indicator of the water device: the special volume of the water sound meter, the MFCC (25-dimensional) of the sound sensor, the 33-minute characteristic volume (7 sound levels and 16 sound colors) of the sound equipment, and the MFCC device. (2) automatic generation of sound quality and sound similarity by automatic generation: after the PCA is used, the sound similarity and sound similarity of the device are used. If you want to make a difference in terms of pitch, pitch, sound, sound, In small categories, physical images show that you have a sound, and that you are aware of what you are doing. (3) the sound of the sound is paid by itself: the sound indicates the sound of the sound, the sound of the base sound, the sound of the sound, the sound of the HMM, the sound of the sound, the sound of the sound. (4) the expression "sound" represents the decision of the tone: the word "wood" represents the sound decision, and the word "sound" represents the sound prompt to make a decision. Please pay for the sound, the sound Sound signal, sound signal I don't know. I don't know. I don't know what to do. From now on, we will use the word SIG2,Robovie, Keepon, etc., the sound of water, the sound of the sound, the expression of the sound, the sound and the sound.

项目成果

人工知能事典

人工智能百科全书

• 发表时间: 2005
• 作者: Ogasawara;H.;et al.;人工知能学会(奥乃 博)
• 通讯作者: 人工知能学会(奥乃 博)

Onomatree:擬音語と木構造を併用した環境音検索インターフェース

Onomatree：使用拟声词和树结构的环境声音搜索界面

• 发表时间: 2007
• 期刊: 情報処理学会第69回全国大会 2
• 作者: Sarker;B.K.;Yoshiyuki Nakatani;Yoshiaki Yasumura;Tetsuro Kitahara;奥乃 博;Hiroshi G.Okuno;清水 敬太
• 通讯作者: 清水 敬太

音環境理解から観たロボット聴覚

声音环境理解视角下的机器人听觉

• 发表时间: 2007
• 期刊: 日本音響学会誌 63・1
• 作者: 鈴木優;波多野賢治;吉川正俊;植村俊亮;川越恭二;K.Tsukamoto;奥乃 博
• 通讯作者: 奥乃 博

Instrument Identification in Polyphonic Music: Feature Weighting to Minimize Influence of Sound Overlaps

• DOI: 10.1155/2007/51979
• 发表时间: 2007
• 期刊: EURASIP Journal on Advances in Signal Processing
• 影响因子: 1.9
• 作者: Tetsuro Kitahara;Masataka Goto;Kazunori Komatani;T. Ogata;HIroshi G. Okuno

Computational Auditory Scene Analysis and Its Application to Robot Audition : Five Years Experience

计算听觉场景分析及其在机器人试镜中的应用：五年经验

• 发表时间: 2007
• 期刊: Proceedings of ICKS 2007 1
• 作者: Hiroshi G. Okuno