Generic Object Recognition System using Deep Learning with Depth Images for Service Robots

ホームサービスロボット向け物体認識システムの高性能化を目的とし(a)高精度化のためのDual Stream Convolutional Neural Network (DS-CNN) の実現，(b)高速化・低消費電力化のためのDS-CNNのハードウェア実装の2つを提案した．計画では物体認識CNNである You Only Look Once (YOLO) を対象に [1]提案ネットワークであるMDS-YOLOの実現，[2]MDS-YOLOのハードウェア実装，[3]ハードウェア実装MDS-YOLOのロボットへの搭載を行うとした．学振として採用後，中原らによってYOLOのFPGA実装が実現されていると分かった．そこで本研究では最重要な項目(a)(b)に注力した．このために，多くの研究でベースラインとされるVGG-16を対象に計画を遂行し，併せてデータセット生成手法を提案した．項目[1]ではDS構造でハードウェア指向な「Binarized DS-VGG16 Tiny (BDS-VGG16 Tiny)」を提案し，Binarized VGG-16に比べ4.7%精度を改善した．項目[2]ではBDS-VGG16 Tinyをハードウェア実装し，CPU実装に比べて約4.7倍の高速化と約20倍の電力効率化を実現した．項目[3]ではBDS-VGG16 Tinyとロボット用ミドルウェアを接続し，リアルタイム物体認識システムを構築した．以上の成果はJournal of Robotics and Mechatronicsで採択された．これらの成果と中原らの提案手法を組み合わせることでMDS-YOLOが実現できる．次に計画にはなかったデータセット手法を提案した．RGB画像データセットの半自動生成手法を提案し，YOLOに有効だと確認した．またDS-CNN用に拡張可能である．

ホームサービスロボット向け物体認識システムの高性能化を目的とし(a)高精度化のためのDual Stream Convolutional Neural Network (DS-CNN) の実現，(b)高速化・低消費電力化のためのDS-CNNのハードウェア実装の2つを提案した．計画では物体認識CNNである You Only Look Once (YOLO) を対象に [1]提案ネットワークであるMDS-YOLOの実現，[2]MDS-YOLOのハードウェア実装，[3]ハードウェア実装MDS-YOLOのロボットへの搭載を行うとした．学振として採用後，中原らによってYOLOのFPGA実装が実現されていると分かった．そこで本研究では最重要な項目(a)(b)に注力した．このために，多くの研究でベースラインとされるVGG-16を対象に計画を遂行し，併せてデータセット生成手法を提案した．項目[1]ではDS構造でハードウェア指向な「Binarized DS-VGG16 Tiny (BDS-VGG16 Tiny)」を提案し，Binarized VGG-16に比べ4.7%精度を改善した．項目[2]ではBDS-VGG16 Tinyをハードウェア実装し，CPU実装に比べて約4.7倍の高速化と約20倍の電力効率化を実現した．項目[3]ではBDS-VGG16 Tinyとロボット用ミドルウェアを接続し，リアルタイム物体認識システムを構築した．以上の成果はJournal of Robotics and Mechatronicsで採択された．これらの成果と中原らの提案手法を組み合わせることでMDS-YOLOが実現できる．次に計画にはなかったデータセット手法を提案した．RGB画像データセットの半自動生成手法を提案し，YOLOに有効だと確認した．またDS-CNN用に拡張可能である．