Training of deep learning models by introducing prior knowledge

訓練用のデータに基づいて学習したディープラーニングのモデルは，画像認識を始め多くの応用で高い性能を発揮し，現在の人工知能のブームを作り出している．本研究課題では，事前知識を積極的に学習に取り込む方法について研究する．具体的には，事前知識の取り込み方法の違いにより，（１）識別に無関係な変動に対して不変な特徴の抽出による学習の誘導，（２）事前知識を利用して訓練データを生成する手法の２つのサブ課題について研究する．（１）識別に無関係な変動に対して不変な特徴の抽出による学習の誘導については，画像識別と画像の領域分割で新たな手法を開発し，国際会議で発表した．変動に頑健な画像識別の開発では，各サンプル画像に二つの異なる変動を加え，それらの画像をネットワークに入力し，得られた二つの特徴ベクトルがなるべく同じになるように誘導する正則化項（Barlow Twin Loss）を識別のための損失関数に加えた目的関数を最適化する学習法を提案した．また，U-Netを用いた領域分割においても，Self-Supervised Learningで利用されている方法を導入して，変動を加えた画像ペアの特徴ベクトルをなるべく近づけるように学習する領域分割手法を提案し，医療画像の領域分割課題において，ノイズなどの変動に頑健な画像の領域分割が可能であることを確認した．（２）事前知識を利用して訓練データを生成する手法については，敵対的生成ネットワーク（Generative Adversarial Network (GAN)）を利用した画像の生成において，望みの変動を加えた画像を生成できるように特徴空間を制御する方法を提案し，年齢や髪型などの変動を加えた自然な顔画像の生成が可能であることを確認した．さらに，研究代表者等がこれまでに行ってきた事前知識を取り込んだ学習法についても，論文発表した．

訓練用のデータに基づいて学習したディープラーニングのモデルは，画像認識を始め多くの応用で高い性能を発揮し，現在の人工知能のブームを作り出している．本研究課題では，事前知識を積極的に学習に取り込む方法について研究する．具体的には，事前知識の取り込み方法の違いにより，（１）識別に無関係な変動に対して不変な特徴の抽出による学習の誘導，（２）事前知識を利用して訓練データを生成する手法の２つのサブ課題について研究する．（１）識別に無関係な変動に対して不変な特徴の抽出による学習の誘導については，画像識別と画像の領域分割で新たな手法を開発し，国際会議で発表した．変動に頑健な画像識別の開発では，各サンプル画像に二つの異なる変動を加え，それらの画像をネットワークに入力し，得られた二つの特徴ベクトルがなるべく同じになるように誘導する正則化項（Barlow Twin Loss）を識別のための損失関数に加えた目的関数を最適化する学習法を提案した．また，U-Netを用いた領域分割においても，Self-Supervised Learningで利用されている方法を導入して，変動を加えた画像ペアの特徴ベクトルをなるべく近づけるように学習する領域分割手法を提案し，医療画像の領域分割課題において，ノイズなどの変動に頑健な画像の領域分割が可能であることを確認した．（２）事前知識を利用して訓練データを生成する手法については，敵対的生成ネットワーク（Generative Adversarial Network (GAN)）を利用した画像の生成において，望みの変動を加えた画像を生成できるように特徴空間を制御する方法を提案し，年齢や髪型などの変動を加えた自然な顔画像の生成が可能であることを確認した．さらに，研究代表者等がこれまでに行ってきた事前知識を取り込んだ学習法についても，論文発表した．