权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

ニューラルネットワークの情報熱力学の構築

神经网络信息热力学的构建

基本信息

批准号：
18J13097
负责人：
山本峻平
金额：
$ 0.96万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2018
资助国家：
日本
起止时间：
2018-04-25 至 2020-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-18J13097/
关键词：
情報熱力学ニューラルネットワーク統計力学機械学習

项目摘要

機械学習において、表現学習とは、与えられたデータを有用な情報を保存した形の別の表現に変換する方法を探索することである。離散変数で表される表現をとくに離散表現という。言語など、対応する表現が離散であるほうが望ましいデータは多いが、近年発展している深層ニューラルネットワークは、誤差逆伝播法を基本とするアルゴリズムを用いるため、微分不可能な離散表現の学習アルゴリズムの研究は乏しい。表現学習の手法として最も普及しているのはVAEと呼ばれる枠組みである。これは、確率的なエンコーダー・デコーダーに対して、変分上界と呼ばれる量でKL- ダイバージェンスを上から評価し、これを最小化する。しかしながら、この手法もやはり誤差逆伝播法により中間層、すなわち表現に対応する層を学習する必要があるため、離散表現を学習する事はできない。我々は、従来のVAEと異なり、エンコード・デコードの組を、それ自体の逆過程で推論するときの変分上界を評価することで、離散表現の教師なし学習を行うことに成功した。この変分上界は、単にアルゴリズムのために導入された量ではなく、統計力学において重要な、エントロピー生成と呼ばれる量と同一の性質を持っている。このため我々はこの量を変分ベイズエントロピー生成(VBEP)と名付けた。これを最小化するアルゴリズムを、変分ベイズエントロピー生成オートエンコーダとして提案した。これは単なるアルゴリズム提案にとどまらず、統計力学が機械学習と深い関連があることを示唆する結果と言える。先行研究に置いて、機械学習やニューラルネットワークに関連する系にエントロピー生成を導入する試みはいくつかある。しかし、直接アルゴリズムに関連するものではなく、それらの重要性は明らかではない。これに対し VBEPはエントロピー生成であり、かつ学習目標でもある。

Mechanical learning, performance learning, and other useful information to preserve the performance of the method to explore Discreteness is the expression of the number. Speech and contrast performance are discrete, but there are many things to look forward to. In recent years, deep-level networking has been developed, and the basic inverse error propagation method has been used. There is a lack of research on the learning of discrete performance based on differential impossibility. Performance learning techniques are most popular. The upper bound of the probability is determined by the minimum of the probability. For example, if you want to learn from the middle layer, you can learn from the middle layer. I am a teacher of discrete performance, and I am a teacher of discrete performance. The upper bound of this classification is the same as that of statistical mechanics. This is the first time I've ever been in a relationship with someone else. This is the first time I've seen a proposal that I've been able to minimize the amount of money I've been able to make. The results of this study are as follows: The first study is to study the relationship between the two systems, and to try to introduce them into the system. The importance of direct and indirect communication is clear. VBEP is not for learning purposes.