权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Transformerアーキテクチャに基づくマルチモーダル物体認識技術の開発

基于Transformer架构的多模态物体识别技术开发

基本信息

批准号：
22K17918
负责人：
田中大介
金额：
$ 2.91万
依托单位：
Niihama National College of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17918/
关键词：
特徴抽出センサフュージョン物体認識自己符号化器

项目摘要

近年、センサの低価格化に伴い、様々な環境において、マルチモーダルセンサ情報（視覚・触覚・聴覚など）が得られるようになっている。このセンサから得られる膨大な情報を実時間で統合し活用できれば、産業分野における異常検出など、様々な応用先が考えられる。本研究ではそれらセンサ情報に基づく物体認識を問題設定とし、その膨大な情報を用いた低計算量での認識を実現するため、自然言語処理分野で成果をあげているTransformerアーキテクチャに基づくマルチモーダルセンサ情報を相補的に利活用する物体認識モデルを提案することを目的として研究を行っている。2022年度は、提案法の第一ステップとして、視覚・聴覚の2情報を基に物体認識を行うアルゴリズムの開発を行った。提案手法のベースとなるアルゴリズムについてはすでに申請者により実装済みであったため、このアルゴリズムを視覚情報（画像）以外のセンサ情報を取り扱い可能な形に拡張した。アルゴリズムの有効性検証のため、色や硬さの異なるボールの認識実験を行った。視覚・聴覚情報を訓練データとして取得し、両情報を活かした認識が行えているかどうかを検証した。提案法は畳み込みなどの演算を必要とせず、ベースとなるアルゴリズムとほぼ同等の計算量で認識を実現できていることを確認した。この成果を国内会議にて発表した。また並行して、聴覚情報からの特徴抽出法について自己符号化器を基にした手法を検討し、国際会議にて発表を行った。

In recent years, we have received a lot of attention in the fields of low-level environmental protection, environmental protection and environmental protection. It is necessary to use the information system in the same time as you can use the information system. You often use the information system, and you can use it before you use it. The purpose of this study is to set up and expand the information system on the basis of the basic information system, such as the setting of object knowledge, the expansion of information, and the use of low-volume computing. It is natural to say that there is a distinction between Transformer and science, and that the results of the study are based on the knowledge of objects, objects, proposals, objectives, research, research, research and development. In the year 2022, the first chapter of the bill and bill of law is to introduce information about objects. The modus operandi of the proposal was used in a manner other than that of the portrait (portrait). It is possible to get a picture of the person who applied for the proposal. I don't know if I have sex, I don't know, I don't know, I don't know what to do. I don't know what to do. I don't know. I don't know. The proposed method requires that the necessary information be calculated, that is, the calculation of the same amount of calculation is required. The results of the domestic meeting will be held in China. You can use your own symbolizer, and the international conference.