Development of Semi-Supervised Learning Method using Compressed Video for Real-Time Animal Behavior Analysis

本研究は，カメラから取得した動画データに映る人や動物などの行動分類をリアルタイムに行うための手法として，多くの教師データを必要としない半教師あり学習にもとづく手法の開発を目的とする．さらに，動物園の動物を対象とした実証実験をとおして，動物の群れ行動の解析と動物とリアルタイムにインタラクションするシステムの開発を行うものである．初年度では，動画データから動物(ホッキョクグマとアジアゾウ)の検出とトラッキングを行う技術開発を行い，対象とする動物をクロッピングする精度向上を行った．特にホッキョクグマでは98％以上の精度での検出，アジアゾウでは2頭が飼育されているため，検出と個体識別，さらにトラッキングを同時に行う手法を提案し，総合的評価であるHOTAという尺度で，0.75程度の性能を示すことが可能であることを確認した．一方，動物を適切クロッピングできたと過程した場合の半教師あり学習については，動画データを，空間情報が含まれる I-frameと動きの情報を捉えたMotion Vector，さらに，I-frameとの差分情報をもつResidualに分けてそれぞれが学習を行う手法を提案した．UCF－101，HMDB-51，Kinetics-100などのデータセットに対して，ラベル付けされたデータの割合毎の正解率が既存手法より多くの場合で上回ることを示した．

本研究は，カメラから取得した動画データに映る人や動物などの行動分類をリアルタイムに行うための手法として，多くの教師データを必要としない半教師あり学習にもとづく手法の開発を目的とする．さらに，動物園の動物を対象とした実証実験をとおして，動物の群れ行動の解析と動物とリアルタイムにインタラクションするシステムの開発を行うものである．初年度では，動画データから動物(ホッキョクグマとアジアゾウ)の検出とトラッキングを行う技術開発を行い，対象とする動物をクロッピングする精度向上を行った．特にホッキョクグマでは98％以上の精度での検出，アジアゾウでは2頭が飼育されているため，検出と個体識別，さらにトラッキングを同時に行う手法を提案し，総合的評価であるHOTAという尺度で，0.75程度の性能を示すことが可能であることを確認した．一方，動物を適切クロッピングできたと過程した場合の半教師あり学習については，動画データを，空間情報が含まれる I-frameと動きの情報を捉えたMotion Vector，さらに，I-frameとの差分情報をもつResidualに分けてそれぞれが学習を行う手法を提案した．UCF－101，HMDB-51，Kinetics-100などのデータセットに対して，ラベル付けされたデータの割合毎の正解率が既存手法より多くの場合で上回ることを示した．