自然言語処理向け深層学習技術の応用によるプログラムの並列性抽出

应用深度学习技术进行自然语言处理提取程序并行性

• 批准号: 22K11972
• 负责人: 置田 真生
• 金额: $ 2.75万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K11972/
• 关键词: 自動並列化; Transformer; OpenMP; 文脈理解; ソースコード解析; 並列化ディレクティブ

本研究の全体構想は，静的プログラム解析技術と自然言語処理向けの深層学習モデル（Transformer；以降，TX）を組み合わせて，並列プログラムの構造を学習する教師あり学習手法を開発し，プログラムに含まれる本質的な並列性・並列化可能性の抽出を実現することである．この構想の下，本研究では次の2つの目的の達成を目指している．(1)プログラムの並列性解析に適したTX向け表現形式の探求，および(2)TXを応用したOpenMP並列プログラムの自動生成．令和4年度は，目的(1）の研究を対象に，「TXはforループの並列化可能性を理解できるか？」という問いを探求した．具体的には，OpenMP並列プログラムを学習データとして，プログラミング言語向けに拡張を施したTXを訓練し，訓練したTXを用いてC言語プログラムにおけるforループの並列化可能性を判定する手法を考案した．その結果，データ依存関係が明示的な場合については，0.9を越える高い適合率で並列化可能性を判定できた．この研究過程を通じて，自然言語と同様の単語分散埋め込み表現がプログラミング言語に対しても有用であること，およびプログラミング言語特有の概念である変数を一般化することでTXの理解を促進できることの2点を明らかにした．この結果は，高度な自然言語処理向けに開発されている様々なTXの拡張を，わずかな変更でプログラミング言語処理に応用可能であると示した点で重要である．

The overall hypothesis of this study is that static language analysis techniques and natural speech processing are directed to deep learning. Under this conjecture, this study is aimed at achieving the goal. (1)To explore the expression form of TX direction in the analysis of juxtaposition of TX direction, TX direction is automatically generated by OpenMP juxtaposition. In the fourth year of the year, the research on the purpose (1) was carried out,"TX is for the understanding of the possibility of parallelization." Ask me what I want to know. Specifically, OpenMP is used for parallel learning, training, and evaluation of the possibility of parallel learning. As a result, the dependency relationship is expressed in the case where the probability of parallelism is determined by 0.9. This research process is a generalization of natural speech and the same language. It is also a generalization of natural speech and the same language. It is a generalization of natural speech and the same language. As a result, natural speech processing is highly developed, and speech processing applications are likely to be important.

项目成果

ニューラルアーキテクチャ探索におけるガウス過程回帰の精度向上のためのバギング手法

Bagging 方法提高神经架构搜索中高斯过程回归的准确性

• 发表时间: 2022
• 作者: 羽田遼音;置田真生;伊野文彦
• 通讯作者: 伊野文彦

Forループの並列化可能性の判定における穴埋め言語学習の応用

应用填空语言学习确定 For 循环的并行性

• 发表时间: 2022
• 作者: 西村佳;置田真生;伊野文彦
• 通讯作者: 伊野文彦

量子回路の反復シミュレーションにおける実行パスの集約による重複計算の排除

通过聚合量子电路迭代模拟中的执行路径来消除重复计算

• 发表时间: 2022
• 作者: 青山昂生;置田真生;伊野文彦
• 通讯作者: 伊野文彦