Transformerアーキテクチャに基づくマルチモーダル物体認識技術の開発

点击翻译按钮获取中文摘要

近年、センサの低価格化に伴い、様々な環境において、マルチモーダルセンサ情報（視覚・触覚・聴覚など）が得られるようになっている。このセンサから得られる膨大な情報を実時間で統合し活用できれば、産業分野における異常検出など、様々な応用先が考えられる。本研究ではそれらセンサ情報に基づく物体認識を問題設定とし、その膨大な情報を用いた低計算量での認識を実現するため、自然言語処理分野で成果をあげているTransformerアーキテクチャに基づくマルチモーダルセンサ情報を相補的に利活用する物体認識モデルを提案することを目的として研究を行っている。2022年度は、提案法の第一ステップとして、視覚・聴覚の2情報を基に物体認識を行うアルゴリズムの開発を行った。提案手法のベースとなるアルゴリズムについてはすでに申請者により実装済みであったため、このアルゴリズムを視覚情報（画像）以外のセンサ情報を取り扱い可能な形に拡張した。アルゴリズムの有効性検証のため、色や硬さの異なるボールの認識実験を行った。視覚・聴覚情報を訓練データとして取得し、両情報を活かした認識が行えているかどうかを検証した。提案法は畳み込みなどの演算を必要とせず、ベースとなるアルゴリズムとほぼ同等の計算量で認識を実現できていることを確認した。この成果を国内会議にて発表した。また並行して、聴覚情報からの特徴抽出法について自己符号化器を基にした手法を検討し、国際会議にて発表を行った。