グラフ表現学習の転移性・構成性の獲得とその実践

本研究では、グラフの表現学習に「転移性」「構成性」を実現するための技術研究を行う。グラフ表現学習は近年GNNを用いた多くの研究報告があるものの、先行成功例である画像や言語のような実用性は未達のままである。本研究では、現行GNNの畳み込み操作を廃し、グラフ同様に非定型入力の言語タスクで有効な多層Transformerの自己教師あり学習による「転移性」の獲得を目指す。同時に、分子の「構成性」を反映できる深いモデル構造と自己教師あり事前学習タスクの設計を行う。進展が非常に速い分野であり本年度はグラフ表現学習における事前学習/転移性の検証・調査とともに、Transformer型のGNNおよび幾何的学習・群作用同変な学習のアーキテクチャ設計の検証・調査も行った。特に、Materials Project, QQMD, AFLOWなどの大規模な無機化合物データベースを用いてTransformerに基づくモデルで事前学習を行い(formation energyを予測)、その事前学習タスクとは異なる実際の実験反応(RWGS反応)の400点弱のCO formation rateの予測評価により転移性を検証したところ、一定の良い結果が得られた。ここでは各構成要素となる元素を埋め込み表現の学習で獲得しその表現が帰納的バイアスとして有効であったと考えられる。また、構成性の検証については、分子構造を化学者が描画する際の構造補完をGNNに基づく分子グラフの生成モデルをバックエンドとして生成的に行う手法研究を引き続き行っており、実際にユーザがインタラクト可能なプロトタイプシステムも構築した。

本研究では、グラフの表現学習に「転移性」「構成性」を実現するための技術研究を行う。グラフ表現学習は近年GNNを用いた多くの研究報告があるものの、先行成功例である画像や言語のような実用性は未達のままである。本研究では、現行GNNの畳み込み操作を廃し、グラフ同様に非定型入力の言語タスクで有効な多層Transformerの自己教師あり学習による「転移性」の獲得を目指す。同時に、分子の「構成性」を反映できる深いモデル構造と自己教師あり事前学習タスクの設計を行う。進展が非常に速い分野であり本年度はグラフ表現学習における事前学習/転移性の検証・調査とともに、Transformer型のGNNおよび幾何的学習・群作用同変な学習のアーキテクチャ設計の検証・調査も行った。特に、Materials Project, QQMD, AFLOWなどの大規模な無機化合物データベースを用いてTransformerに基づくモデルで事前学習を行い(formation energyを予測)、その事前学習タスクとは異なる実際の実験反応(RWGS反応)の400点弱のCO formation rateの予測評価により転移性を検証したところ、一定の良い結果が得られた。ここでは各構成要素となる元素を埋め込み表現の学習で獲得しその表現が帰納的バイアスとして有効であったと考えられる。また、構成性の検証については、分子構造を化学者が描画する際の構造補完をGNNに基づく分子グラフの生成モデルをバックエンドとして生成的に行う手法研究を引き続き行っており、実際にユーザがインタラクト可能なプロトタイプシステムも構築した。