Neural Representation Learning using External Structure Information

本研究は、外界の構造やそこから得られる教示情報を利用してデータの背後に潜む解釈性の高い内部表現を抽出する手法や観察された内部表現にどのような外界の構造が現れているかを分析する手法の開発を目指すものである。研究実施計画2年度である本年度は、課題3で挙げた関係データを用いた深層表現学習に関する研究及びその知見に着想を得た共同研究の進展が見られた。具体的には、データ間の類似情報に基づいた教示を用いた表現学習手法である対照学習の下流タスクにおける性能の理論解析を行った。対照学習は意味上似ている正例が近く、似ていない負例が遠くなるようなデータ表現を学習する枠組みである。既存理論では負例数に関する定性的な挙動に実験事実との乖離が見られていたが、本研究では対照損失による分類損失の理論上界・下界を大幅に改善することで負例数の増加に伴う実験的な分類性能の向上の説明に成功した。また、このような対照学習の枠組みは典型的な機械学習の枠組みである教師あり学習に比べて弱い教示情報のみを用いることから、生物の学習方法の候補としても有望な模型の一つであると言える。本年度は、共同研究として対照学習を用いて画像データで訓練したニューラルネットワークの内部表現が、他の学習手法や生物の視覚システムと比較してどのような相違点があるかについての数値的評価を行った。特に、事前訓練の際に得られていないラベルに対応する画像データの内部表現について、幾何的な性質や内部表現を元にしたラベルの識別性能が一般的な教示情報で訓練したネットワークと定性的に類似していることを明らかにした。これらのデータ間の類似情報に基づいた教示を利用した表現学習手法はデータの背後の構造を抽出する上で有用であると考えられるため、今後は解釈性の高い特定の内部表現の構造に焦点を当てた学習方法の開発をすすめる。

本研究は、外界の構造やそこから得られる教示情報を利用してデータの背後に潜む解釈性の高い内部表現を抽出する手法や観察された内部表現にどのような外界の構造が現れているかを分析する手法の開発を目指すものである。研究実施計画2年度である本年度は、課題3で挙げた関係データを用いた深層表現学習に関する研究及びその知見に着想を得た共同研究の進展が見られた。具体的には、データ間の類似情報に基づいた教示を用いた表現学習手法である対照学習の下流タスクにおける性能の理論解析を行った。対照学習は意味上似ている正例が近く、似ていない負例が遠くなるようなデータ表現を学習する枠組みである。既存理論では負例数に関する定性的な挙動に実験事実との乖離が見られていたが、本研究では対照損失による分類損失の理論上界・下界を大幅に改善することで負例数の増加に伴う実験的な分類性能の向上の説明に成功した。また、このような対照学習の枠組みは典型的な機械学習の枠組みである教師あり学習に比べて弱い教示情報のみを用いることから、生物の学習方法の候補としても有望な模型の一つであると言える。本年度は、共同研究として対照学習を用いて画像データで訓練したニューラルネットワークの内部表現が、他の学習手法や生物の視覚システムと比較してどのような相違点があるかについての数値的評価を行った。特に、事前訓練の際に得られていないラベルに対応する画像データの内部表現について、幾何的な性質や内部表現を元にしたラベルの識別性能が一般的な教示情報で訓練したネットワークと定性的に類似していることを明らかにした。これらのデータ間の類似情報に基づいた教示を利用した表現学習手法はデータの背後の構造を抽出する上で有用であると考えられるため、今後は解釈性の高い特定の内部表現の構造に焦点を当てた学習方法の開発をすすめる。