自然言語処理向け深層学習技術の応用によるプログラムの並列性抽出

本研究の全体構想は，静的プログラム解析技術と自然言語処理向けの深層学習モデル（Transformer；以降，TX）を組み合わせて，並列プログラムの構造を学習する教師あり学習手法を開発し，プログラムに含まれる本質的な並列性・並列化可能性の抽出を実現することである．この構想の下，本研究では次の2つの目的の達成を目指している．(1)プログラムの並列性解析に適したTX向け表現形式の探求，および(2)TXを応用したOpenMP並列プログラムの自動生成．令和4年度は，目的(1）の研究を対象に，「TXはforループの並列化可能性を理解できるか？」という問いを探求した．具体的には，OpenMP並列プログラムを学習データとして，プログラミング言語向けに拡張を施したTXを訓練し，訓練したTXを用いてC言語プログラムにおけるforループの並列化可能性を判定する手法を考案した．その結果，データ依存関係が明示的な場合については，0.9を越える高い適合率で並列化可能性を判定できた．この研究過程を通じて，自然言語と同様の単語分散埋め込み表現がプログラミング言語に対しても有用であること，およびプログラミング言語特有の概念である変数を一般化することでTXの理解を促進できることの2点を明らかにした．この結果は，高度な自然言語処理向けに開発されている様々なTXの拡張を，わずかな変更でプログラミング言語処理に応用可能であると示した点で重要である．

本研究の全体構想は，静的プログラム解析技術と自然言語処理向けの深層学習モデル（Transformer；以降，TX）を組み合わせて，並列プログラムの構造を学習する教師あり学習手法を開発し，プログラムに含まれる本質的な並列性・並列化可能性の抽出を実現することである．この構想の下，本研究では次の2つの目的の達成を目指している．(1)プログラムの並列性解析に適したTX向け表現形式の探求，および(2)TXを応用したOpenMP並列プログラムの自動生成．令和4年度は，目的(1）の研究を対象に，「TXはforループの並列化可能性を理解できるか？」という問いを探求した．具体的には，OpenMP並列プログラムを学習データとして，プログラミング言語向けに拡張を施したTXを訓練し，訓練したTXを用いてC言語プログラムにおけるforループの並列化可能性を判定する手法を考案した．その結果，データ依存関係が明示的な場合については，0.9を越える高い適合率で並列化可能性を判定できた．この研究過程を通じて，自然言語と同様の単語分散埋め込み表現がプログラミング言語に対しても有用であること，およびプログラミング言語特有の概念である変数を一般化することでTXの理解を促進できることの2点を明らかにした．この結果は，高度な自然言語処理向けに開発されている様々なTXの拡張を，わずかな変更でプログラミング言語処理に応用可能であると示した点で重要である．