Generic Object Recognition System using Deep Learning with Depth Images for Service Robots

使用深度学习和深度图像的服务机器人通用对象识别系统

• 批准号: 19J11593
• 负责人: 吉元 裕真
• 金额: $ 1.34万
• 依托单位: Kyushu Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-25 至 2021-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19J11593/
• 关键词: 物体認識システム; ニューラルネットワーク; ホームサービスロボット; ハードウェア実装; FPGA

ホームサービスロボット向け物体認識システムの高性能化を目的とし(a)高精度化のためのDual Stream Convolutional Neural Network (DS-CNN) の実現，(b)高速化・低消費電力化のためのDS-CNNのハードウェア実装の2つを提案した．計画では物体認識CNNである You Only Look Once (YOLO) を対象に [1]提案ネットワークであるMDS-YOLOの実現，[2]MDS-YOLOのハードウェア実装，[3]ハードウェア実装MDS-YOLOのロボットへの搭載を行うとした．学振として採用後，中原らによってYOLOのFPGA実装が実現されていると分かった．そこで本研究では最重要な項目(a)(b)に注力した．このために，多くの研究でベースラインとされるVGG-16を対象に計画を遂行し，併せてデータセット生成手法を提案した．項目[1]ではDS構造でハードウェア指向な「Binarized DS-VGG16 Tiny (BDS-VGG16 Tiny)」を提案し，Binarized VGG-16に比べ4.7%精度を改善した．項目[2]ではBDS-VGG16 Tinyをハードウェア実装し，CPU実装に比べて約4.7倍の高速化と約20倍の電力効率化を実現した．項目[3]ではBDS-VGG16 Tinyとロボット用ミドルウェアを接続し，リアルタイム物体認識システムを構築した．以上の成果はJournal of Robotics and Mechatronicsで採択された．これらの成果と中原らの提案手法を組み合わせることでMDS-YOLOが実現できる．次に計画にはなかったデータセット手法を提案した．RGB画像データセットの半自動生成手法を提案し，YOLOに有効だと確認した．またDS-CNN用に拡張可能である．

The goal is (a) to achieve high precision and precision in Dual Stream Convolutional Neural Network (DS-CNN) detection. (B) High-speed and low-consumption power generation equipment, DS-CNN equipment, equipment equipment, equipment, [3] after the use of the MDS-YOLO, the central plains, the YOLO, the FPGA, the most important item of this study, (a) (b), the force of attention, the strength, the Project [1]

项目成果

Hardware-Oriented Dual Stream Object Recognition System using Binarized Neural Networks

使用二值化神经网络的面向硬件的双流对象识别系统

• 发表时间: 2020
• 作者: Yuma Yoshimoto;Hakaru Tamukoh
• 通讯作者: Hakaru Tamukoh

A Quick Data Generation Method for Training Object Detection Algorithms in Home Environments

一种用于训练家庭环境中物体检测算法的快速数据生成方法

• 发表时间: 2019
• 作者: Yuma Yoshimoto;Muhammad Farhan Mustafa;Wan Zuha Wan Hasan;Hakaru Tamukoh
• 通讯作者: Hakaru Tamukoh

Live Demonstration: Hardware-Oriented Dual Stream Object Recognition System using Binarized Neural Networks

现场演示：使用二值化神经网络的面向硬件的双流对象识别系统

• 发表时间: 2020
• 作者: Yuma Yoshimoto;Hakaru Tamukoh
• 通讯作者: Hakaru Tamukoh

FPGA Implementation of a Binarized Dual Stream Convolutional Neural Network for Service Robots

用于服务机器人的二值化双流卷积神经网络的 FPGA 实现

• DOI: 10.20965/jrm.2021.p0386
• 发表时间: 2021
• 期刊: Journal of Robotics and Mechatronics
• 影响因子: 1.1
• 作者: Yuma Yoshimoto;Hakaru Tamukoh
• 通讯作者: Hakaru Tamukoh

FPGA-enabled Binarized Convolutional Neural Networks toward Real-time Embedded Object Recognition System for Service Robots

支持 FPGA 的二值化卷积神经网络用于服务机器人的实时嵌入式对象识别系统

• 发表时间: 2019
• 作者: Yuma Yoshimoto;Daisuke Shuto;Hakaru Tamukoh
• 通讯作者: Hakaru Tamukoh