力学系カオスに基づく時間的特徴抽出法の開発と動画像認識への応用

点击翻译按钮获取中文摘要

本研究課題では，深層学習に基づく動作認識において，データの時間遷移に対する特徴を抽出するための深層学習技術の開発を目的としている．今年度は，近年，広く用いられているＴｒａｎｓｆｏｒｍｅｒを対象として，効果的な枝刈り手法の開発を進めた．Ｔｒａｎｓｆｏｒｍｅｒはｓｅｌｆ－ａｔｔｅｎｔｉｏｎと呼ばれる機構を導入した深層学習モデルの一つである．入力されたトークン（単語や動画フレーム，画像パッチなど）の間の関係性を考慮して最終的な推論結果を出力するモデルであり，高い性能を実現している．また，大規模な事前学習を行ったＴｒａｎｓｆｏｒｍｅｒモデルは，様々なタスクで高い性能を発揮する一方で，そのモデルサイズの大きさから下流タスクへ再学習する際に多大な計算コストを要する．本研究では，大規模なデータセットを用いて事前学習したモデルを下流タスクへ最適化する際，パラメータの値がほぼ変化しない傾向があることを予備実験により発見した．その傾向を考慮して，パラメータの値の大きさを直接評価する事前学習済みモデルに対するシングルショット非構造枝刈り手法を提案する．提案手法は，事前学習した様々なＴｒａｎｓｆｏｒｍｅｒモデルを，下流タスクに最適化する前に枝刈りすることで，下流タスクに最適化する計算コストを削減できる．これにより，計算リソースの限られた端末上での大規模モデルの活用を後押しできるとともに，時間と空間の両方に対する効果的な特徴表現の獲得に役立てることを可能とした．