野鳥行動解析のためのマルチモーダル生態環境理解・解析技術の構築

构建野生鸟类行为分析的多模态生态环境理解与分析技术

• 批准号: 20H00475
• 负责人: 中臺 一博
• 金额: $ 29.12万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H00475/
• 关键词: マルチモーダル環境理解技術; ロボット聴覚; 音景解析技術; 野鳥生態系影響評価; 個体間コミュニケーション

本研究課題は，ロボット分野で研究開発されてきた「ロボット聴覚技術」を発展させ，視覚処理技術や機械学習技術と統合，生態学・環境学に適用可能な「マルチモーダル環境理解技術」を確立し，野生動物の観測データを質・量ともに数百倍に引き上げる次世代野生動物観測技術の開発により，生態学・環境学を新たなレベルへ導くことをゴールに，野鳥の鳴き声と画像から複数野鳥同時三次元追跡技術を開発し，群れ中の個体間コミュニケーション行動，夜間行動，配偶行動解析に適用すること，実フィールド背景音解析を通じ，音景解析技術を確立，環境・人による野鳥生態系・世代間伝承への影響評価，いずれも手法構築と実フィールド観測・解析の両面から取り組むことを目標としている．二年目にあたる2021年度については，初年度同様、コロナ禍，ならびにこれに端を発する半導体不足の影響を大きく受け，屋外観測作業が予定通り、遂行できず，また予定していた新規観測デバイスの構築が遅れた．このため，１年間の繰り越し処理を行ったが，2022年度も大きな状況の好転は見られず，全体として遅延がみられる．この中にあっても，創意工夫を行い，進められる項目について研究を推進し，以下のような実績を上げることができた．技術的な実績：圃場内のキンカチョウを対象に視聴覚を利用した三次元追跡技術，マイクロホンアレイ校正技術の評価, カメラ付き長期収録デバイスの長期定点観測安定化，信号処理と機械学習を融合した音景解析技術構築その他の実績：本研究課題の国際的なアピール活動として国際会議IEEE/SICE SII 2023 にてオーガナイズドセッション実施，ロボット学会学術講演会オーガナイズドセッション企画・運営，人工知能学会AIチャレンジ研究会で本研究課題をテーマに研究会を開催，アウトリーチ活動としてロボット聴覚ソフトウェアHARK講習会を人工知能学会合同研究会で開催．

This research topic is based on the research and development of the field of research and development of "Hydron Technology", Based on the integration of visual processing technology and machine learning technology, it is possible to apply ecology and environmental science to the "Main Ring" "Environment understanding technology" has been established, and the quality and quantity of wild animal measurement has been measured hundreds of times, and the next generation has been introduced. The development of modern wildlife observation technology, the new guide of ecology and environmental science , the sound and sound of wild birds, and the portrait of multiple wild birds simultaneously.ュニケーション operation, night operation, spouse operation analysis すること, 実フィールド background sound analysisを通じ, soundscape analysis technology を established, environmental, human and wild bird ecosystem, intergenerational inheritance and impact evaluation,いずれも Technique Construction と実フィールドObservation・Analysis の両面からtakeり集团むことをObjective としている. The 2021 fiscal year is the same as the first year, and the disaster is the same as the first year, and the impact of the shortage of semiconductors at the end of the year is the impact of the semiconductor shortage. The sound is large, the work is accepted, and the outdoor inspection work is determined and carried out.このため, 1 year's の缲り日しtreatment を行ったが, 2022's big きな situation の好転は见られず, all として遅tension がみられる.この中にあっても, creative work を行い, progress められる project について research をpromote し, the following のような実achievement を上げることができた． Achievements in technology: The use of three-dimensional tracing technology in the nursery's field of vision and control, and the evaluation of the correction technology in the field, The long-term collection of カメラきデバイスの long-term fixed-point measurement and stabilization, signal processing and machine learning fusion and soundscape analysis Technical Construction Achievements: This Research Topic's International Technical Activities and Activities International Conference IEEE/SICE SII 2023 オーガPlanned and operated by ナイズドセッション, Artificial Intelligence Society AI チャレンジ Research Association The をテーマに research meeting for this research topic has been launched, and the アウトリーチactivities and としてロボット聴覚ソフトウェアHARK seminar and the artificial intelligence society contract research meeting have been launched.

项目成果

深層フルランク空間相関分析に基づく遠隔音声認識のフロントエンド

基于深度满秩空间相关分析的远程语音识别前端

• 发表时间: 2022
• 作者: 合澤 隆拓;坂東 宜明;西田 健次;糸山 克寿;中臺 一博
• 通讯作者: 中臺 一博

深層学習を用いた複数音声強調処理のアンサンブル手法の検討

基于深度学习的多语音增强处理集成方法研究

• 发表时间: 2022
• 作者: 藤田 雅彦;糸山 克寿;西田 健次;中臺 一博
• 通讯作者: 中臺 一博

Multi-channel Environmental Sound Segmentation utilizing Sound Source Localization and Separation U-Net

• DOI: 10.1109/ieeeconf49454.2021.9382730
• 发表时间: 2021-01
• 期刊: 2021 IEEE/SICE International Symposium on System Integration (SII)
• 作者: Yui Sudo;Katsutoshi Itoyama;Kenji Nishida;K. Nakadai

環境音情報と画像情報を用いた物体検出による音ラベル付きセグメントの生成

使用环境声音信息和图像信息通过对象检测生成声音标记片段

• 发表时间: 2020
• 作者: 鈴木 啓;糸山 克寿;西田 健次;中臺 一博
• 通讯作者: 中臺 一博

IJCAI 2020 tutorial on robot audition software HARK

IJCAI 2020机器人试听软件HARK教程

• 发表时间: 2021