Research on Dynamic Scene Recognition Algorithm for Autonomous Mobile Robot

近年、深層学習の方法、特に畳み込みネットワーク(CNN)の登場により、シーン認識には大きな精度向上が実現しているが、移動ロボットに向けて動的なシーン認識手法がほとんど提案されていない。強力な動的シーン認識モデルを構築するためには、時間情報と空間情報の両方を抽出する必要がある。静止画像ベースの特徴抽出手法を利用して動的シーンの認識には理論上の限界があるので、精度面ではまだ十分とは言えない。本研究では、より良いシーン表現のために、静止画像だけではなく、ビデオ、キーフレーム画像の深層特徴情報を抽出し、特徴統合による高精度な動的シーン認識手法を試みた。そして、今年度の研究成果は以下のようになる。本研究において、動的シーン認識手法を実現するため、移動ロボットの視覚システムに入力されたビデオストリームをサンプリングし、時空間、チャンネル、及びモーションという３つのアテンション機構と2次元畳み込みニューラルネットワーク(２D-CNN)による時空間情報が含まれる深層特徴を生成する。また、ビデオストリームからキーフレームを抽出して、キーフレーム画像のグローバル特徴情報と局所特徴情報をそれぞれ抽出して統合することにより、シーン画像の空間的な情報が表すことができた。また、ノイズのあるデータセットを用いたネットワークの学習方法についても検討し、精度を向上させる新しい手法TCC-netを提案した。まず、データ前処理の段階で新しい損失関数「コントラダクトリー損失」を用いることで、ノイズに対して頑健な学習ができるようにする。そして、トレーニング段階では、クリーンなデータセットは必要なく、2つの事前学習モデルを用いて、相互に学習させることで、他の手法よりより高い精度を実現した。実験結果では、特に80％の対称ノイズを持つ合成Cifar10では12.59％の改善が達成された。

近年、深層学習の方法、特に畳み込みネットワーク(CNN)の登場により、シーン認識には大きな精度向上が実現しているが、移動ロボットに向けて動的なシーン認識手法がほとんど提案されていない。強力な動的シーン認識モデルを構築するためには、時間情報と空間情報の両方を抽出する必要がある。静止画像ベースの特徴抽出手法を利用して動的シーンの認識には理論上の限界があるので、精度面ではまだ十分とは言えない。本研究では、より良いシーン表現のために、静止画像だけではなく、ビデオ、キーフレーム画像の深層特徴情報を抽出し、特徴統合による高精度な動的シーン認識手法を試みた。そして、今年度の研究成果は以下のようになる。本研究において、動的シーン認識手法を実現するため、移動ロボットの視覚システムに入力されたビデオストリームをサンプリングし、時空間、チャンネル、及びモーションという３つのアテンション機構と2次元畳み込みニューラルネットワーク(２D-CNN)による時空間情報が含まれる深層特徴を生成する。また、ビデオストリームからキーフレームを抽出して、キーフレーム画像のグローバル特徴情報と局所特徴情報をそれぞれ抽出して統合することにより、シーン画像の空間的な情報が表すことができた。また、ノイズのあるデータセットを用いたネットワークの学習方法についても検討し、精度を向上させる新しい手法TCC-netを提案した。まず、データ前処理の段階で新しい損失関数「コントラダクトリー損失」を用いることで、ノイズに対して頑健な学習ができるようにする。そして、トレーニング段階では、クリーンなデータセットは必要なく、2つの事前学習モデルを用いて、相互に学習させることで、他の手法よりより高い精度を実現した。実験結果では、特に80％の対称ノイズを持つ合成Cifar10では12.59％の改善が達成された。