画像と音声の相補的利用を導入した被災者探索用UAVの開発

开发图像和声音相辅相成的搜寻灾民无人机

• 批准号: 21K04592
• 负责人: プレーマチャンドラ チンタカ
• 金额: $ 2.33万
• 依托单位: Shibaura Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K04592/
• 关键词: 被災者の探索; 救助支援システム; UAVカメラ画像; 画像から人間認識; 音声から人間認識; 被災者探索; ディープラーニングモデル設計; 人体識別法; 多重音からの音声の識別; UAV; 映像からの人体識別; ディープラ ーニング

本研究計画では、画像と音声の相補的利用を導入した被災者探索用UAVの開発に取り組んでいる。今回はUAV搭載カメラを用いた映像による被災者探索と、同じくUAV搭載のスピーカーとマイクを用いた音声による被災者探索の2つの手段を組み合わせて、自動被災者探索法を開発する。画像を用いた探索では、UAVに搭載した小型カメラからの画像に人物認識処理をかけることで探索を行う。音声を用いた探索では、UAV搭載のスピーカーで災害現場に呼びかけつつUAV搭載のマイクで集音し、その音声の中から人の声を抽出することで探索を行う。この際、UAVは音を発しながら飛行するため、その音と被災者の音が混ざってしまう。よって、その混合音から人間の声を抽出することが重要な研究課題となる。ここで、映像と音声の両方を用いた被災者探索のメリットを述べたい。まず、映像のみによる探索では、瓦礫等の下敷きになった被災者はUAVカメラの映像に映らず発見しづらいが、その際に、人間の声を集音すれば見つかる可能性が高まる。一方で、声が出ない状態の被災者は呼びかけに応答できず、音声による発見は困難であるが、映像をもとに探索すれば見つかる可能性が高まる。2021年度から2022年度前半までは、主に、UAV搭載カメラで空中撮影した画像に基づく災害地の被災者探索を検討した。映像から顔・人体全体に限らず、一部のみが検出された場合も被災者として認識させられるよう追究し、その結果を論文で公開した。また、上述の音声による被災者探索も検討し、UAV音と人間声の混合音から人間の声を抽出することに関して、論文2件を投稿済みである。

In this study, we plan to draw pictures and portraits to compare the sound and sound of each other. In this study, we plan to use UAV to explore the use of audio and audio images to learn from each other in order to explore the use of audio images. This time, the UAV system uses the image of the victim to explore, the voice of the victim to explore the sound of the victim, and the automatic exploration of the victim to start the game. The portrait uses "exploring", "UAV", "small", "people", "people", "exploration" and "exploration". The sound is extracted from the sound by using the sound to explore the sound, the UAV to explore the sound, the UAV to collect the sound, and the voice to explore the sound. The sound of the UAV is mixed with the sound of the person who has been killed. On the other hand, the human voice is extracted from the human voice, and the important research projects are not available for discussion. The sound and sound of the image will be explored by the person who is being loved. Under the application of the equipment, image equipment, exploration equipment, tile, etc., the UAV image of the victim is highly likely to be affected by the sound collection of human sound collection. On the one hand, the sound is heard, and the person is called to answer the question, the sound to be heard, the image to be explored, and the possibility is high. In 2021, in the first half of the year 2022, the master and UAV were explored by those who took part in the aerial summary, portrait, base, harm, and so on. The image is limited to the whole human body, and a movie is published to show that the victim has been investigated, and the results are open to the public. The audience of the above-mentioned audio and sound equipment explored the music, the UAV sound, the mixed sound, the human voice, the human voice, and the two articles that contributed.

项目成果

University of Sri Jayewardenepura(スリランカ)

斯里贾亚瓦德纳普拉大学（斯里兰卡）

Cutting-edge Technique for Expanding Practical-applications of Omnidirectional Cameras

扩大全向相机实际应用的尖端技术

• 发表时间: 2022
• 作者: D. Wijesundara;L. Gunawardena;and Chinthaka Premachandra;Chinthaka Premachandra;Chinthaka Premachandra;Chinthaka Premachandra;プレーマチャンドラ チンタカ;Chinthaka Premachandra;Chinthaka Premachandra
• 通讯作者: Chinthaka Premachandra

Cutting Edge Technologies for On-Drone Voice-Based Victim Searching in Disaster-Stricken Areas

灾区基于无人机语音的受害者搜索的尖端技术

• 发表时间: 2022
• 作者: D. Wijesundara;L. Gunawardena;and Chinthaka Premachandra;Chinthaka Premachandra
• 通讯作者: Chinthaka Premachandra

ドローンを用いた被災地における被災者捜索活動のための音声処理及び関連技術

利用无人机在灾区搜寻遇难者的语音处理及相关技术

• 发表时间: 2022
• 作者: D. Wijesundara;L. Gunawardena;and Chinthaka Premachandra;Chinthaka Premachandra;Chinthaka Premachandra;Chinthaka Premachandra;プレーマチャンドラ チンタカ
• 通讯作者: プレーマチャンドラ チンタカ

機械学習を利用した一般カメラ対全天球カメラ画像における物体認識の比

使用机器学习在普通相机与球形相机图像中进行物体识别的比率

• 发表时间: 2022
• 作者: D. Wijesundara;L. Gunawardena;and Chinthaka Premachandra;Chinthaka Premachandra;Chinthaka Premachandra;Chinthaka Premachandra;プレーマチャンドラ チンタカ;Chinthaka Premachandra;Chinthaka Premachandra;國貞有吾，Chinthaka Premachandra;Y. Kunisada and Chinthaka Premachandra;S. Kaneda and Chinthaka Premachandra;金田正太，Chinthaka Premachandra
• 通讯作者: 金田正太，Chinthaka Premachandra