Teacher-Student Sequential Re-learning Model in Adaptive Structure Deep Learning

点击翻译按钮获取中文摘要

我々が提案した学習データに最適なRBMのニューロン数を自動で定める構造適応型RBM(Adaptive RBM(Restricted Boltzmann Machine))と，事前学習したAdaptive RBMを層とし，自動で階層構造を構築する構造適応型DBN(Adaptive DBN(Deep Belief Network))によって，高い分類能力を示すことが分かっている。しかしながら，教師あり学習における訓練データには，入力信号が同じでラベル付けされた教師信号が異なるものが含まれていることがある。これらは人間の異なる感性によって与えられたラベルであって，一概にラベル付け自体が誤りであるとは言い切れない。しかしながら，学習済モデルに与えた場合，誤判定が生じる原因となっている。このような場合，２つ以上のモデルを用いてアンサンブル学習を行う等の方法が用いられ，Teacher-Student(T/S)モデルはその一つのモデルとされている。本研究では，学習済モデルと新モデルの形成状態を調査するために，学習済みのネットワークをTeacherモデル，再学習のための新しいネットワークをStudentモデルとし，新たなStudentモデルの学習を行う。２つのモデルのKL情報量を測り，Studentモデルの分類能力とKL情報量の変化の関係を明確にし，Studentモデルで得られた新たな知識をTeacherモデルに挿入する手法を提案し，学習後のモデルの計算時間の短縮を実現した。CIFAR-100などのベンチマークデータセットや顔感情データベースであるAffectNet，軽度認知症MRIデータベースADNIに適用し，その有効性を検証したところ，分類性能の向上を示した。さらに，災害時の航空画像や衛星画像などの他のデータにも適用したところ，その有効性が示された結果が得られた．