ロボット聴覚技術に基づく鳥類の歌行動における相互作用理解

基于机器人听觉技术理解鸟鸣行为的相互作用

• 批准号: 20J13695
• 负责人: 炭谷 晋司
• 金额: $ 1.22万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J13695/
• 关键词: マイクロホンアレイ; ロボット聴覚技術; 音声コミュニケーション; 個体間相互作用; キンカチョウ; 変分オートエンコーダ; 個体識別

鳥類にとって鳴き声は，縄張りの主張や求愛，社会結合の維持等に用いられる重要な意思伝達手段である．本研究は，歌う鳥類集団を音を介して作用し合う複雑系と捉え，マイクアレイによる録音から音の到来方向を推定可能なロボット聴覚技術を活用し，鳥類集団の鳴き声に基づく時間・空間・音響的相互作用の多様性のダイナミクスを観測する技術を構築し，さらに進化モデルとも融合することでその適当的意義の理解を目指すものである．本研究の目的は，ロボット聴覚技術を活用して鳥類集団の音声コミュニケーションにおける個体間関係の多様性のダイナミクスやその適応的意義の理解へ貢献することである．具体的には，音声学習のモデル生物であるキンカチョウを対象種として，屋外テント内に複数の個体を放ち，その時の鳴き合う様子を複数のマイクアレイを用いて録音を行う．複数のマイクアレイからの音源到来情報と分離音源の情報を統合し，各個体がいつ・どこで・どのように鳴いたかを詳細に抽出可能な観測技術の構築を目指す．以下に本年度に実施した内容をまとめる．まず，前年度に提案した音源定位手法や複数の機械学習を活用した自動個体識別手法を用いて，個体間の社会関係に焦点を合わせた個体間相互作用の調査を行った．具体的には，昨年度に録音したオス・メスの個体数を1～3羽で変化させた様々な条件で実施した録音に対して分析を行い，条件の違いによる個体間の挙動の変化を調査した．結果からは条件によって発声の空間的分布や頻度に違いがあることは確認され，特にオス個体間の関係がメス個体の有無によって大きく変化することが示唆された．これは，本手法によって詳細な複数個体間相互作用の観測が可能であることを示す．また，生成モデルに基づく人工音を用いたプレイバック実験を実施するなどその他今後の個体間相互作用理解に貢献しうる取り組みにおいても手ごたえを得た．

In this study, songs, songs, sounds, sounds, The interaction between time and space sound devices is multi-dimensional, and the meaning of this study is to understand the meaning of the integration of communication and communication. The purpose of this study is We understand the meaning of multi-body communication, multi-function, multi-body, sound, sounds, sounds, sounds, In other times, the number of copies of the sound source will be separated from the situation of the sound source, and each system will be separated from the system of the sound source. it is possible that the technical and technical information can be extracted. The following is true for the current year. In the previous year, it was proposed that the sound source location method is complex, the mechanical science is flexible, and the automatic body identification method is used, and the focus of social interaction between individual bodies is different from that of the interaction between individual bodies. for specific purposes, the number of individuals in the previous year is 1: 3, the number of individuals is less than 1: 3, and the conditions for sound analysis are not available. Conditionally monitor the distribution of the sound space, verify the distribution of the sound space, confirm the performance, and show that the system is instigated and abetted. This technique is used to copy several body-to-body interactions. It is possible to make a demonstration of the interaction between several bodies. it is possible to generate an artificial sound that can be used to simulate the interaction between several body. in the future, the interaction between two bodies is understood to be successful.

项目成果

野外での鳥類鳴き声観測のためのWebベース録音ユニットと可視化ツールの試作

用于观察野外鸟类叫声的网络记录装置和可视化工具的原型制作

• 发表时间: 2021
• 作者: 炭谷晋司;大和祐介;鈴木麗璽;小島諒介;有田隆也;中臺一博;奥乃博
• 通讯作者: 奥乃博

Visualizing Soundscape of Animal Vocalizations in Forests Using Robot Audition Techniques

使用机器人试听技术可视化森林中动物发声的声景

• 发表时间: 2020
• 期刊: JSAI Technical Report SIG-Challenge-057-4 (11/20)
• 作者: 炭谷晋司;鈴木麗璽;有田隆也;和多和宏;松林志保;中臺一博;奥乃博;Shiho Matsubayashi; Fumiyuki Saito; Reiji Suzuki; Kazuhiro Nakadai; Hiroshi G.Okuno;Reiji Suzuki; Hao Zhao; Shinji Sumitani; Shiho Matsubayashi; Takaya Arita; Kazuhiro Nakadai; Hiroshi G. Okuno;Hao Zhao; Reiji Suzuki; Shinji Sumitani; Shiho Matsubayashi; Takaya Arita; Kazuhiro Nakadai; Hiroshi G. Okuno
• 通讯作者: Hao Zhao; Reiji Suzuki; Shinji Sumitani; Shiho Matsubayashi; Takaya Arita; Kazuhiro Nakadai; Hiroshi G. Okuno

Visualizing Directional Soundscapes of Bird Vocalizations Using Robot Audition Techniques

• DOI: 10.1109/ieeeconf49454.2021.9382639
• 发表时间: 2021-01
• 期刊: 2021 IEEE/SICE International Symposium on System Integration (SII)
• 作者: Reiji Suzuki;Hao Zhao;Shinji Sumitani;Shiho Matsubayashi;Takaya Arita;K. Nakadai;H. Okuno

ロボット聴覚技術に基づく鳥類音声の録音・分析手法の開発

基于机器人听觉技术的鸟类声音记录与分析方法的开发

• 发表时间: 2020
• 作者: 炭谷晋司;鈴木麗璽;松林志保;有田隆也;中臺一博;奥乃博
• 通讯作者: 奥乃博

フリーフライト環境内における鳥 類集団の歌行動の観測

自由飞行环境下鸟类鸣叫行为的观察

• 发表时间: 2020
• 作者: Makoto Ozawa;Yasuyuki Suzuki;Taishin Nomura;炭谷晋司，鈴木麗璽，有田隆也，和多和弘
• 通讯作者: 炭谷晋司，鈴木麗璽，有田隆也，和多和弘