ニューラルネットワークの情報熱力学の構築

点击翻译按钮获取中文摘要

機械学習において、表現学習とは、与えられたデータを有用な情報を保存した形の別の表現に変換する方法を探索することである。離散変数で表される表現をとくに離散表現という。言語など、対応する表現が離散であるほうが望ましいデータは多いが、近年発展している深層ニューラルネットワークは、誤差逆伝播法を基本とするアルゴリズムを用いるため、微分不可能な離散表現の学習アルゴリズムの研究は乏しい。表現学習の手法として最も普及しているのはVAEと呼ばれる枠組みである。これは、確率的なエンコーダー・デコーダーに対して、変分上界と呼ばれる量でKL- ダイバージェンスを上から評価し、これを最小化する。しかしながら、この手法もやはり誤差逆伝播法により中間層、すなわち表現に対応する層を学習する必要があるため、離散表現を学習する事はできない。我々は、従来のVAEと異なり、エンコード・デコードの組を、それ自体の逆過程で推論するときの変分上界を評価することで、離散表現の教師なし学習を行うことに成功した。この変分上界は、単にアルゴリズムのために導入された量ではなく、統計力学において重要な、エントロピー生成と呼ばれる量と同一の性質を持っている。このため我々はこの量を変分ベイズエントロピー生成(VBEP)と名付けた。これを最小化するアルゴリズムを、変分ベイズエントロピー生成オートエンコーダとして提案した。これは単なるアルゴリズム提案にとどまらず、統計力学が機械学習と深い関連があることを示唆する結果と言える。先行研究に置いて、機械学習やニューラルネットワークに関連する系にエントロピー生成を導入する試みはいくつかある。しかし、直接アルゴリズムに関連するものではなく、それらの重要性は明らかではない。これに対し VBEPはエントロピー生成であり、かつ学習目標でもある。