大規模な確率推論への情報統計力学的アプローチ

点击翻译按钮获取中文摘要

線形の分離規則にもとづいてN次元ベクトルを正負の２クラスに分類するパーセプトロンはパターン認識の基本要素として広く利用されている．線形分離面を決定するパラメータ（法線ベクトル）を+1,-1の2値の成分からなるベクトルに限定したパーセプトロンを２値パーセプトロンとよぶ．線形分離可能なパターンセットに対して収束性の保証された学習アルゴリズムが知られている通常のパーセプトロンに対し，2値パーセプトロンはパターンセットが線形分離可能である場合でさえ解探索が計算量的に難しい問題として知られている．これは効率的な近似アルゴリズムが多数提案されているSAT問題と比較して対照的である．この計算量的難しさの起源を解明するために，上述のランダムパターン問題に対し，2値パーセプトロンの典型的な許容解の周囲に他の解がどのように分布しているのか，を統計力学におけるFranz-Parisi ポテンシャルの方法で調べた．その結果，パターン数がNに比例する程度存在する場合には，最も近い解はO(N)程度ハミング距離が離れていることがわかった．このことは，現時点で得られている解を中心にして新しい解を局所的にランダムサーチする場合，許容解を見つける確率はNに関して指数関数的に小さくなることを意味しており，このことが２値パーセプトロンの学習の学習に関する計算量的困難性の起源に関わっていると考えられる．以上の成果はPhys. Rev. E 90, 052813 (2014) [7 pages]として公表された．