ニューラルネットワークを対象とした忘却回避型継続学習の実現

点击翻译按钮获取中文摘要

本年度は，1) 昨年度に設計した自己教師あり学習を利用した継続学習フレームワークの洗練化，および，2) 学習したパラメータの更新を行わず，追加パラメータの最適化のみを行うことで新たなタスクへ適応する継続学習手法の実現について研究を行った．1) 昨年度に設計した自己教師あり学習手法を利用した継続学習フレームワークについて，多様な既存手法に対して提案フレームワークの組み込みによる分類性能の向上効果を発揮させるために，提案フレームワークの分析と洗練化を行った．その結果，一般画像データセットを利用した実験を通して，5種類の既存手法について提案フレームワークを組み込んだ場合に分類性能が向上することを確認した．2) 1)で提案した継続学習フレームワークは，特徴変換を行うモジュールの継続的な更新を必要とするため，その更新により忘却が生じてしまうという問題を抱えている．加えて，モデルパラメータ数が固定であるため，継続的な学習により学習不能状態に陥ることが想定される．そこで，Prompt Tuningと呼ばれる転移学習技術を利用し，各クラスの認識に特化したパラメータのみを追加学習する継続学習手法を提案した．提案手法は，学習したパラメータの更新を行わないため，パラメータの更新による忘却を完全に回避することができ，さらに，パラメータを逐次的に追加するため学習不能状態に陥ることがない．また，一般画像データセットを利用した実験を通して，学習したサンプルの保持が不可であるという問題設定において，他のPrompt Tuningを利用した継続学習手法よりも高い分類性能を示すモデルを獲得可能であることを示した．