自然言語処理向け深層学習技術の応用によるプログラムの並列性抽出

应用深度学习技术进行自然语言处理提取程序并行性

• 批准号: 22K11972
• 负责人: 置田 真生
• 金额: $ 2.75万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K11972/
• 关键词: 自動並列化; Transformer; OpenMP; 文脈理解; ソースコード解析; 並列化ディレクティブ

本研究の全体構想は，静的プログラム解析技術と自然言語処理向けの深層学習モデル（Transformer；以降，TX）を組み合わせて，並列プログラムの構造を学習する教師あり学習手法を開発し，プログラムに含まれる本質的な並列性・並列化可能性の抽出を実現することである．この構想の下，本研究では次の2つの目的の達成を目指している．(1)プログラムの並列性解析に適したTX向け表現形式の探求，および(2)TXを応用したOpenMP並列プログラムの自動生成．令和4年度は，目的(1）の研究を対象に，「TXはforループの並列化可能性を理解できるか？」という問いを探求した．具体的には，OpenMP並列プログラムを学習データとして，プログラミング言語向けに拡張を施したTXを訓練し，訓練したTXを用いてC言語プログラムにおけるforループの並列化可能性を判定する手法を考案した．その結果，データ依存関係が明示的な場合については，0.9を越える高い適合率で並列化可能性を判定できた．この研究過程を通じて，自然言語と同様の単語分散埋め込み表現がプログラミング言語に対しても有用であること，およびプログラミング言語特有の概念である変数を一般化することでTXの理解を促進できることの2点を明らかにした．この結果は，高度な自然言語処理向けに開発されている様々なTXの拡張を，わずかな変更でプログラミング言語処理に応用可能であると示した点で重要である．

This study has an overall conception of プログラム, static プログラム parsing technology と natural language processing to け <s:1> deep learning モデ (Transformer; , TX) を group み close わ せ て, tied for プ ロ グ ラ ム を の structure learning す る teachers あ り learning technique を open 発 し, プ ロ グ ラ ム に containing ま れ る な tied for the nature of sex, tied for the possibility of の spare を be presently す る こ と で あ る. Under the concept of <s:1> る, the objective of this study is to achieve を objective, which is て て る る. (1) プ ロ グ ラ ム の tied for analytical に close-fitting し た TX to form け の quest, お よ び (2) the TX を 応 with し た OpenMP parallel プ ロ グ ラ ム の automatically generated. In the fourth year of the Reiwa era, を, objective (1) を study the を object に, "TX を for る プ プ を the possibility of を parallelization を understanding で る る に?" Youdaoplaceholder0 と う ask を to explore た. Specific に は, OpenMP parallel プ ロ グ ラ ム を learning デ ー タ と し て, プ ロ グ ラ ミ ン グ words to け に company を zhang shi し た TX し を training, training し た TX を with い て C language プ ロ グ ラ ム に お け る for ル ー プ の tied for the possibility of を determine す る gimmick を test case し た. そ の results, デ ー タ dependent masato is expressly が な occasions に つ い て は, 0.9 を え more high る い rate で tied for the possibility of を determine で き た. こ の research process を tong じ て, with others in natural speech と の 単 language spread buried め 込 み performance が プ ロ グ ラ ミ ン グ words に し seaborne て も useful で あ る こ と, お よ び プ ロ グ ラ ミ ン グ speech characteristic の concept で あ る - several を generalization す る こ と で understand TX の を promote で き る こ と の 2 を Ming ら か に し た. は こ の results, highly な natural speech 処 principle to け に open 発 さ れ て い る others 々 な TX の company, zhang を, わ ず か な - more で プ ロ グ ラ ミ ン グ words 処 Richard に 応 may use で あ る と shown し た point で important で あ る.

项目成果

ニューラルアーキテクチャ探索におけるガウス過程回帰の精度向上のためのバギング手法

Bagging 方法提高神经架构搜索中高斯过程回归的准确性

• 发表时间: 2022
• 作者: 羽田遼音;置田真生;伊野文彦
• 通讯作者: 伊野文彦

Forループの並列化可能性の判定における穴埋め言語学習の応用

应用填空语言学习确定 For 循环的并行性

• 发表时间: 2022
• 作者: 西村佳;置田真生;伊野文彦
• 通讯作者: 伊野文彦

量子回路の反復シミュレーションにおける実行パスの集約による重複計算の排除

通过聚合量子电路迭代模拟中的执行路径来消除重复计算

• 发表时间: 2022
• 作者: 青山昂生;置田真生;伊野文彦
• 通讯作者: 伊野文彦