权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

力学系カオスに基づく時間的特徴抽出法の開発と動画像認識への応用

基于动力系统混沌的时间特征提取方法的发展及其在视频图像识别中的应用

基本信息

批准号：
21K17772
负责人：
平川翼
金额：
$ 2.91万
依托单位：
Chubu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Early-Career Scientists
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究課題では，深層学習に基づく動作認識において，データの時間遷移に対する特徴を抽出するための深層学習技術の開発を目的としている．今年度は，近年，広く用いられているＴｒａｎｓｆｏｒｍｅｒを対象として，効果的な枝刈り手法の開発を進めた．Ｔｒａｎｓｆｏｒｍｅｒはｓｅｌｆ－ａｔｔｅｎｔｉｏｎと呼ばれる機構を導入した深層学習モデルの一つである．入力されたトークン（単語や動画フレーム，画像パッチなど）の間の関係性を考慮して最終的な推論結果を出力するモデルであり，高い性能を実現している．また，大規模な事前学習を行ったＴｒａｎｓｆｏｒｍｅｒモデルは，様々なタスクで高い性能を発揮する一方で，そのモデルサイズの大きさから下流タスクへ再学習する際に多大な計算コストを要する．本研究では，大規模なデータセットを用いて事前学習したモデルを下流タスクへ最適化する際，パラメータの値がほぼ変化しない傾向があることを予備実験により発見した．その傾向を考慮して，パラメータの値の大きさを直接評価する事前学習済みモデルに対するシングルショット非構造枝刈り手法を提案する．提案手法は，事前学習した様々なＴｒａｎｓｆｏｒｍｅｒモデルを，下流タスクに最適化する前に枝刈りすることで，下流タスクに最適化する計算コストを削減できる．これにより，計算リソースの限られた端末上での大規模モデルの活用を後押しできるとともに，時間と空間の両方に対する効果的な特徴表現の獲得に役立てることを可能とした．

The purpose of this research is to extract the characteristics of deep learning technology based on motion recognition and time transfer. This year, in recent years, the use of transformer in the middle of the image, the results of the branch of the method of development progress.Transformer self-attention and call for the organization to introduce deep learning. The relationship between input and output (simple words, animation, and portraits) is considered, and the final inference results are contributed to the realization of high performance. For large scale prior learning, the Transformer is required to perform high performance relearning. In this study, we found that large-scale data acquisition techniques were used in advance to optimize data acquisition techniques. The tendency to consider the value of a large number of pre-learning methods proposed The proposed method is to learn in advance the Transformer and reduce the calculation of the downstream optimization. This is the first time that we've had a chance to do this, and we've had a chance to do this.