情報リークを用いた深層学習の高度化

点击翻译按钮获取中文摘要

情報リークという観点から様々な研究を行っている。例えば、Deep Neural Networkの出力を入力側にFeedbackして再度推論しながらセマンティックセグメンテーションを行う方法を提案した。また、一般に、動画像認識では3D CNNが利用されるが、その内部で情報をFeedbackさせる方法も提案した。これにより、時系列情報を有効に活用することができると考えられる。時系列画像のセマンティックセグメンテーションを行う際、教師付き画像と時系列的に近い画像は高い精度でセグメンテーションができる。この性質を利用し、教師付き画像の所から時系列順に疑似ラベルを付与し、それらを教師データとして再利用しながら学習を行っていく方法も提案した。これは時系列的に情報をリークしていく枠組みと考えられる。また、セグメンテーションではクラス数が増えると精度が悪くなる傾向がある。そこで、あるクラスとその他の2クラス識別を行うDeep Neural Networkを学習し、そこから知識蒸留をしながら多クラスセグメンテーションの精度を改善する自己蒸留法も提案した。これは2クラス識別器からの情報リークと言える。また、最近ではTransformerの有効性が多数報告されているので、今後のベースとなるTransformerの改良も行っている。画像には自然言語のように明確に単語という概念がないため、Vision Transformerでは入力画像を局所領域に切り出したものを単語のように扱っている。これを改善するために、学習画像の局所領域をクラスタリングしたものを単語と考え、Vision Transformerの中に組み込んだ。これはVisual Wordから入力画像への情報リークと考えることができる。