权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

トポロジーの形式化における深層学習の適用の研究

深度学习在拓扑形式化中的应用研究

基本信息

批准号：
20K20340
负责人：
久我健一
金额：
$ 13.31万
依托单位：
Chiba University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Challenging Research (Pioneering)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

証明支援系を用いた数学の形式化は一般に非常に困難であるので、この研究では位相幾何学を起点とする数学の形式化において、深層学習を適用することを目標においている。そのために、自然言語処理の深層学習アーキテクチャーであるtransformerを利用するための研究を行なった。研究開始当初は当時主流であったRNN特にLSTMの利用を計画していたが、2018年以降、BERTやGPT等のtransformerベースの学習が自然言語処理において高い性能をあげることが報告されたので、この研究ではtransformerベースの汎用モデルとも考えられるT5(Text To Text Transfer Transformer)を用いて証明支援系Coqによる定理証明の形式化を効率化・自動化することを目指した。まず技術的な課題として、CoqがOCamlで記述されており、他方でC++等で作成されPython等で使用されることが想定されているPyTorch、TensorFlow等の深層学習フレームワークとの連携が直接的には取れない点がある。これについては、当研究で開発したpicoqをHuggingFace社のTransformersと連携が取れるように調整した。これによって、既存の数学形式化coqライブラリについてはほぼ完全に学習データが作成できる状態になった。また学習データ作成における課題として、通常の自然言語学習のGPT等のようにビッグデータを収集するのみでは、数学的及び論理的に複雑な内容を学習できないと考えられる点、および、数学の形式化データ自身が少なく、受動的な学習では効果がないと考えられる点でがあげられる。そこで我々はcoqからのインターラクティブなレスポンスから学習データを作成するプログラムを作成した。これによって様々な数学形式化coqライブラリからT5学習データを作成することができた。

The Department of Ming support uses the formalization of mathematics in general, it is very difficult to study the phase, how to learn the starting point, how to learn the starting point, how to formalize the mathematics, and how to use the mathematics. The reason for this is that you need to learn more about it. You can learn more about it. You can use it to study your transformer. At the beginning of the study, the current mainstream RNN special LSTM made use of the planning program, 2018, and BERT GPT to learn the natural language of high-performance performance reports. In this paper, we use the theory of transformer (Text To Text Transfer Transformer) to explain the formalization of the support system of Coq. The technical problems, Coq OCaml records, other parties' C++, etc., and so on. Python, etc., the use of in-depth learning systems such as PyTorch, TensorFlow, etc., to directly access the information point of the link. During the study, the picoq and HuggingFace social Transformers will be linked to collect information and adjust the information. The existing mathematical formalization, coq, mathematics, mathematics. The purpose of this paper is to make a series of computer science, such as computer science, GPT, etc., mathematical and theoretical physics, mathematics, mathematics, science, science, mathematics, science, mathematics, science, science, mathematics, mathematics, science, science and technology. I'm sorry, coq, I'm sorry, I'm sorry. The formalization of mathematics, coq, mathematics, mathematics.