ロボット聴覚技術に基づく鳥類の歌行動における相互作用理解

基于机器人听觉技术理解鸟鸣行为的相互作用

• 批准号: 20J13695
• 负责人: 炭谷 晋司
• 金额: $ 1.22万
• 依托单位: Nagoya University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J13695/
• 关键词: マイクロホンアレイ; ロボット聴覚技術; 音声コミュニケーション; 個体間相互作用; キンカチョウ; 変分オートエンコーダ; 個体識別

鳥類にとって鳴き声は，縄張りの主張や求愛，社会結合の維持等に用いられる重要な意思伝達手段である．本研究は，歌う鳥類集団を音を介して作用し合う複雑系と捉え，マイクアレイによる録音から音の到来方向を推定可能なロボット聴覚技術を活用し，鳥類集団の鳴き声に基づく時間・空間・音響的相互作用の多様性のダイナミクスを観測する技術を構築し，さらに進化モデルとも融合することでその適当的意義の理解を目指すものである．本研究の目的は，ロボット聴覚技術を活用して鳥類集団の音声コミュニケーションにおける個体間関係の多様性のダイナミクスやその適応的意義の理解へ貢献することである．具体的には，音声学習のモデル生物であるキンカチョウを対象種として，屋外テント内に複数の個体を放ち，その時の鳴き合う様子を複数のマイクアレイを用いて録音を行う．複数のマイクアレイからの音源到来情報と分離音源の情報を統合し，各個体がいつ・どこで・どのように鳴いたかを詳細に抽出可能な観測技術の構築を目指す．以下に本年度に実施した内容をまとめる．まず，前年度に提案した音源定位手法や複数の機械学習を活用した自動個体識別手法を用いて，個体間の社会関係に焦点を合わせた個体間相互作用の調査を行った．具体的には，昨年度に録音したオス・メスの個体数を1～3羽で変化させた様々な条件で実施した録音に対して分析を行い，条件の違いによる個体間の挙動の変化を調査した．結果からは条件によって発声の空間的分布や頻度に違いがあることは確認され，特にオス個体間の関係がメス個体の有無によって大きく変化することが示唆された．これは，本手法によって詳細な複数個体間相互作用の観測が可能であることを示す．また，生成モデルに基づく人工音を用いたプレイバック実験を実施するなどその他今後の個体間相互作用理解に貢献しうる取り組みにおいても手ごたえを得た．

The sound of birds singing, the sound of birds, the advocacy of courtship, the maintenance of social bonding, etc. are all important and the meaning is expressed through means. In this study, the role of the bird collection, the song, the sound, the sound, the action, the combination, the complex system, the catch, the song, the bird collection, the sound, the sound, the action, the song It is estimated that the direction of arrival of the recorded sound is possible, and the technology of recording the sound can be used effectively, and the sound of the bird gathering can be heard. Based on the multi-dimensional interaction of time, space and sound, the technology is constructed based on the interaction of time, space and sound. , さらにevolution モデルともfusion することでそのappropriate meaning of understanding の目 refers to すものである. The purpose of this study is to use the bird's collection technology to make full use of the bird's sound technology. Contribution to the understanding of the meaning of the multiplicity of inter-individual relationships. Concrete には, sound learning のモデルbiotic であるキンカチョウを対 elephant species として, outside the house テント内に plural no individual を put ち, そ の时 の Ming き 合 う様子 を plural の マ イ ク ア レ イ を い て recording を row う． Plural sound source arrival information and separated sound source information and integration information, each individualつ・どこで・どのように声いたかをDetailed extraction of the possible construction of testing technology and the design of the project. The following is the content of this year's annual program.まず, the previous year's proposal した sound source localization technique や plural の machine learning を utilization し た automatic individual identification technique を い て の social relations between individuals に focus を 合わ せ た interaction between individuals の investigation を line っ た. Specific details, last year's recording of the number of individuals, 1 to 3 feathers, and conditions for the recordingで実事したrecordingに対してanalyzeを行い, condition violationいによる inter-individual movementの変化をinvestigationした. The result is the distribution of the spatial conditions of the sound and the frequency of the sound and the confirmation of the result, especiallyにオスThe relationship between individuals is the same as the relationship between individuals.これは, this technique is a detailed way of measuring the interaction between multiple individuals and showing the possibility of it.また, generate the artificial sound いたプレイバック実験を実士するなどそのIn the future, he will contribute to the understanding of inter-individual interactions and make a contribution to the understanding of inter-individual interactions.

项目成果

野外での鳥類鳴き声観測のためのWebベース録音ユニットと可視化ツールの試作

用于观察野外鸟类叫声的网络记录装置和可视化工具的原型制作

• 发表时间: 2021
• 作者: 炭谷晋司;大和祐介;鈴木麗璽;小島諒介;有田隆也;中臺一博;奥乃博
• 通讯作者: 奥乃博

Visualizing Soundscape of Animal Vocalizations in Forests Using Robot Audition Techniques

使用机器人试听技术可视化森林中动物发声的声景

• 发表时间: 2020
• 期刊: JSAI Technical Report SIG-Challenge-057-4 (11/20)
• 作者: 炭谷晋司;鈴木麗璽;有田隆也;和多和宏;松林志保;中臺一博;奥乃博;Shiho Matsubayashi; Fumiyuki Saito; Reiji Suzuki; Kazuhiro Nakadai; Hiroshi G.Okuno;Reiji Suzuki; Hao Zhao; Shinji Sumitani; Shiho Matsubayashi; Takaya Arita; Kazuhiro Nakadai; Hiroshi G. Okuno;Hao Zhao; Reiji Suzuki; Shinji Sumitani; Shiho Matsubayashi; Takaya Arita; Kazuhiro Nakadai; Hiroshi G. Okuno
• 通讯作者: Hao Zhao; Reiji Suzuki; Shinji Sumitani; Shiho Matsubayashi; Takaya Arita; Kazuhiro Nakadai; Hiroshi G. Okuno

Visualizing Directional Soundscapes of Bird Vocalizations Using Robot Audition Techniques

• DOI: 10.1109/ieeeconf49454.2021.9382639
• 发表时间: 2021-01
• 期刊: 2021 IEEE/SICE International Symposium on System Integration (SII)
• 作者: Reiji Suzuki;Hao Zhao;Shinji Sumitani;Shiho Matsubayashi;Takaya Arita;K. Nakadai;H. Okuno

ロボット聴覚技術に基づく鳥類音声の録音・分析手法の開発

基于机器人听觉技术的鸟类声音记录与分析方法的开发

• 发表时间: 2020
• 作者: 炭谷晋司;鈴木麗璽;松林志保;有田隆也;中臺一博;奥乃博
• 通讯作者: 奥乃博

フリーフライト環境内における鳥 類集団の歌行動の観測

自由飞行环境下鸟类鸣叫行为的观察

• 发表时间: 2020
• 作者: Makoto Ozawa;Yasuyuki Suzuki;Taishin Nomura;炭谷晋司，鈴木麗璽，有田隆也，和多和弘
• 通讯作者: 炭谷晋司，鈴木麗璽，有田隆也，和多和弘