画像と音声の相補的利用を導入した被災者探索用UAVの開発

点击翻译按钮获取中文摘要

本研究計画では、画像と音声の相補的利用を導入した被災者探索用UAVの開発に取り組んでいる。今回はUAV搭載カメラを用いた映像による被災者探索と、同じくUAV搭載のスピーカーとマイクを用いた音声による被災者探索の2つの手段を組み合わせて、自動被災者探索法を開発する。画像を用いた探索では、UAVに搭載した小型カメラからの画像に人物認識処理をかけることで探索を行う。音声を用いた探索では、UAV搭載のスピーカーで災害現場に呼びかけつつUAV搭載のマイクで集音し、その音声の中から人の声を抽出することで探索を行う。この際、UAVは音を発しながら飛行するため、その音と被災者の音が混ざってしまう。よって、その混合音から人間の声を抽出することが重要な研究課題となる。ここで、映像と音声の両方を用いた被災者探索のメリットを述べたい。まず、映像のみによる探索では、瓦礫等の下敷きになった被災者はUAVカメラの映像に映らず発見しづらいが、その際に、人間の声を集音すれば見つかる可能性が高まる。一方で、声が出ない状態の被災者は呼びかけに応答できず、音声による発見は困難であるが、映像をもとに探索すれば見つかる可能性が高まる。2021年度から2022年度前半までは、主に、UAV搭載カメラで空中撮影した画像に基づく災害地の被災者探索を検討した。映像から顔・人体全体に限らず、一部のみが検出された場合も被災者として認識させられるよう追究し、その結果を論文で公開した。また、上述の音声による被災者探索も検討し、UAV音と人間声の混合音から人間の声を抽出することに関して、論文2件を投稿済みである。