ロボット聴覚技術に基づく鳥類の歌行動における相互作用理解

基于机器人听觉技术理解鸟鸣行为的相互作用

• 批准号: 20J13695
• 负责人: 炭谷 晋司
• 金额: $ 1.22万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J13695/
• 关键词: マイクロホンアレイ; ロボット聴覚技術; 音声コミュニケーション; 個体間相互作用; キンカチョウ; 変分オートエンコーダ; 個体識別

鳥類にとって鳴き声は，縄張りの主張や求愛，社会結合の維持等に用いられる重要な意思伝達手段である．本研究は，歌う鳥類集団を音を介して作用し合う複雑系と捉え，マイクアレイによる録音から音の到来方向を推定可能なロボット聴覚技術を活用し，鳥類集団の鳴き声に基づく時間・空間・音響的相互作用の多様性のダイナミクスを観測する技術を構築し，さらに進化モデルとも融合することでその適当的意義の理解を目指すものである．本研究の目的は，ロボット聴覚技術を活用して鳥類集団の音声コミュニケーションにおける個体間関係の多様性のダイナミクスやその適応的意義の理解へ貢献することである．具体的には，音声学習のモデル生物であるキンカチョウを対象種として，屋外テント内に複数の個体を放ち，その時の鳴き合う様子を複数のマイクアレイを用いて録音を行う．複数のマイクアレイからの音源到来情報と分離音源の情報を統合し，各個体がいつ・どこで・どのように鳴いたかを詳細に抽出可能な観測技術の構築を目指す．以下に本年度に実施した内容をまとめる．まず，前年度に提案した音源定位手法や複数の機械学習を活用した自動個体識別手法を用いて，個体間の社会関係に焦点を合わせた個体間相互作用の調査を行った．具体的には，昨年度に録音したオス・メスの個体数を1～3羽で変化させた様々な条件で実施した録音に対して分析を行い，条件の違いによる個体間の挙動の変化を調査した．結果からは条件によって発声の空間的分布や頻度に違いがあることは確認され，特にオス個体間の関係がメス個体の有無によって大きく変化することが示唆された．これは，本手法によって詳細な複数個体間相互作用の観測が可能であることを示す．また，生成モデルに基づく人工音を用いたプレイバック実験を実施するなどその他今後の個体間相互作用理解に貢献しうる取り組みにおいても手ごたえを得た．

Birds sing and sing, and they stand for courtship, and social bonds are maintained. This study aims to construct techniques for detecting the diversity of the interaction between time, space and sound in bird song collection, and to provide guidance for understanding the appropriate meaning of the fusion of sound in bird song collection. The purpose of this study is to make a contribution to the understanding of the diversity of inter-individual relationships in bird populations by using the acoustic resonance technique. Specific, sound learning and sound biology, sound learning and sound learning, sound learning and sound learning, sound learning and sound learning. The information of sound source arrival and sound source separation are integrated into each individual, and the possible detection technology construction is pointed out in detail. The following is a summary of the results of this year's work. In the past year, we have proposed a method for locating sound sources, using multiple mechanical learning, and using automatic individual recognition methods to investigate the interaction between individuals. The number of individuals recorded last year is 1~3, and the conditions are implemented in the recording analysis. The conditions are violated in the inter-individual movement investigation. The results show that the spatial distribution and frequency of sound transmission are different from those of other conditions, and the relationship between individuals is different. This method is based on a detailed analysis of interactions between multiple individuals. To generate the basic artificial sound, to implement it and to contribute to the understanding of future interactions between individuals.

项目成果

野外での鳥類鳴き声観測のためのWebベース録音ユニットと可視化ツールの試作

用于观察野外鸟类叫声的网络记录装置和可视化工具的原型制作

• 发表时间: 2021
• 作者: 炭谷晋司;大和祐介;鈴木麗璽;小島諒介;有田隆也;中臺一博;奥乃博
• 通讯作者: 奥乃博

Visualizing Soundscape of Animal Vocalizations in Forests Using Robot Audition Techniques

使用机器人试听技术可视化森林中动物发声的声景

• 发表时间: 2020
• 期刊: JSAI Technical Report SIG-Challenge-057-4 (11/20)
• 作者: 炭谷晋司;鈴木麗璽;有田隆也;和多和宏;松林志保;中臺一博;奥乃博;Shiho Matsubayashi; Fumiyuki Saito; Reiji Suzuki; Kazuhiro Nakadai; Hiroshi G.Okuno;Reiji Suzuki; Hao Zhao; Shinji Sumitani; Shiho Matsubayashi; Takaya Arita; Kazuhiro Nakadai; Hiroshi G. Okuno;Hao Zhao; Reiji Suzuki; Shinji Sumitani; Shiho Matsubayashi; Takaya Arita; Kazuhiro Nakadai; Hiroshi G. Okuno
• 通讯作者: Hao Zhao; Reiji Suzuki; Shinji Sumitani; Shiho Matsubayashi; Takaya Arita; Kazuhiro Nakadai; Hiroshi G. Okuno

Visualizing Directional Soundscapes of Bird Vocalizations Using Robot Audition Techniques

• DOI: 10.1109/ieeeconf49454.2021.9382639
• 发表时间: 2021-01
• 期刊: 2021 IEEE/SICE International Symposium on System Integration (SII)
• 作者: Reiji Suzuki;Hao Zhao;Shinji Sumitani;Shiho Matsubayashi;Takaya Arita;K. Nakadai;H. Okuno

ロボット聴覚技術に基づく鳥類音声の録音・分析手法の開発

基于机器人听觉技术的鸟类声音记录与分析方法的开发

• 发表时间: 2020
• 作者: 炭谷晋司;鈴木麗璽;松林志保;有田隆也;中臺一博;奥乃博
• 通讯作者: 奥乃博

フリーフライト環境内における鳥 類集団の歌行動の観測

自由飞行环境下鸟类鸣叫行为的观察

• 发表时间: 2020
• 作者: Makoto Ozawa;Yasuyuki Suzuki;Taishin Nomura;炭谷晋司，鈴木麗璽，有田隆也，和多和弘
• 通讯作者: 炭谷晋司，鈴木麗璽，有田隆也，和多和弘