Study of Knowledge Transfer between Linear Models and Deep Neural Networks

当該研究課題について2022年度においては、目的とする古典数理モデルから深層学習モデルへの知識転移理論に関して、前年度に行った種々のモデル間の類似点や関連性についての考察から、具体的な知識転移手法の構築、およびそれらを説明する理論の精緻化を行った。具体的な知識転移手法の構築の取組みとしては、特徴抽出部と識別部の組み合わせで、構成される実問題の解決に付する大規模深層学習モデルの汎化性能を向上させる知識転移アルゴリズムの開発に成功した。これは前年度まで明らかになった次元削減に用いられる古典・深層学習モデル、分類問題に用いられる古典・深層学習モデル間についての関連性とそれぞれに対して提案した知識転移手法を組み合わせることで、実用的なアルゴリズムへの昇華に繋がった成果である。また、これらの深層学習モデルの性能を向上させる知識転移手法の構築の取組みを通じて得られた成果を元に、医用画像解析およびバイオ分野におけるAI技術の利活用について広く考察を行った。また理論的な取組みとしては、前年度までに得られた機械学習モデル間の知識転移という概念を定式化するための、代数学と幾何学に基づく数理モデル間の相互作用の記述の枠組みをより精緻化し、統計的機械学習一般に対する新たな代数的視点を与える理論へと発展させた。これは機械学習において広く援用される多様体仮説を代数学的に解釈した上で、具体的な知識転移手法をその上に展開することで理論的支持としたものである。本理論的取組みに対して、情報処理学会よりコンピュータサイエンス領域奨励賞の表彰を受けた。

当該研究課題について2022年度においては、目的とする古典数理モデルから深層学習モデルへの知識転移理論に関して、前年度に行った種々のモデル間の類似点や関連性についての考察から、具体的な知識転移手法の構築、およびそれらを説明する理論の精緻化を行った。具体的な知識転移手法の構築の取組みとしては、特徴抽出部と識別部の組み合わせで、構成される実問題の解決に付する大規模深層学習モデルの汎化性能を向上させる知識転移アルゴリズムの開発に成功した。これは前年度まで明らかになった次元削減に用いられる古典・深層学習モデル、分類問題に用いられる古典・深層学習モデル間についての関連性とそれぞれに対して提案した知識転移手法を組み合わせることで、実用的なアルゴリズムへの昇華に繋がった成果である。また、これらの深層学習モデルの性能を向上させる知識転移手法の構築の取組みを通じて得られた成果を元に、医用画像解析およびバイオ分野におけるAI技術の利活用について広く考察を行った。また理論的な取組みとしては、前年度までに得られた機械学習モデル間の知識転移という概念を定式化するための、代数学と幾何学に基づく数理モデル間の相互作用の記述の枠組みをより精緻化し、統計的機械学習一般に対する新たな代数的視点を与える理論へと発展させた。これは機械学習において広く援用される多様体仮説を代数学的に解釈した上で、具体的な知識転移手法をその上に展開することで理論的支持としたものである。本理論的取組みに対して、情報処理学会よりコンピュータサイエンス領域奨励賞の表彰を受けた。