大規模な確率推論への情報統計力学的アプローチ

大规模概率推理的信息统计力学方法

• 批准号: 12F02049
• 负责人: 樺島 祥介
• 金额: $ 1.47万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2012
• 资助国家: 日本
• 起止时间: 2012-04-01 至 2015-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-12F02049/
• 关键词: 統計力学; 計算機科学; 確率推論; レプリカ法; 平均場近似; 逆イジング問題; パーセプトロン; 適応TAP法

線形の分離規則にもとづいてN次元ベクトルを正負の２クラスに分類するパーセプトロンはパターン認識の基本要素として広く利用されている．線形分離面を決定するパラメータ（法線ベクトル）を+1,-1の2値の成分からなるベクトルに限定したパーセプトロンを２値パーセプトロンとよぶ．線形分離可能なパターンセットに対して収束性の保証された学習アルゴリズムが知られている通常のパーセプトロンに対し，2値パーセプトロンはパターンセットが線形分離可能である場合でさえ解探索が計算量的に難しい問題として知られている．これは効率的な近似アルゴリズムが多数提案されているSAT問題と比較して対照的である．この計算量的難しさの起源を解明するために，上述のランダムパターン問題に対し，2値パーセプトロンの典型的な許容解の周囲に他の解がどのように分布しているのか，を統計力学におけるFranz-Parisi ポテンシャルの方法で調べた．その結果，パターン数がNに比例する程度存在する場合には，最も近い解はO(N)程度ハミング距離が離れていることがわかった．このことは，現時点で得られている解を中心にして新しい解を局所的にランダムサーチする場合，許容解を見つける確率はNに関して指数関数的に小さくなることを意味しており，このことが２値パーセプトロンの学習の学習に関する計算量的困難性の起源に関わっていると考えられる．以上の成果はPhys. Rev. E 90, 052813 (2014) [7 pages]として公表された．

Linear の separation rule に も と づ い て N yuan ベ ク ト ル を plus or minus 2 ク の ラ ス に classification す る パ ー セ プ ト ロ ン は パ タ ー ン know の basic elements と し て hiroo く using さ れ て い る. Linear separation surface を decided す る パ ラ メ ー タ (normal ベ ク ト ル) を + 1, 1 2 numerical の の composition か ら な る ベ ク ト ル に qualified し た パ ー セ プ ト ロ ン を 2 nt パ ー セ プ ト ロ ン と よ ぶ. Linear separation may な パ タ ー ン セ ッ ト に し seaborne て 収 beam の ensure さ れ た learning ア ル ゴ リ ズ ム が know ら れ て い る usually の パ ー セ プ ト ロ ン に し, seaborne 2 nt パ ー セ プ ト ロ ン は パ タ ー ン セ ッ ト が linear separation may で あ る occasions で さ computation explore が え に difficult し い problem と し て know ら れ て い る. こ れ は sharper rate な approximate ア ル ゴ リ ズ ム が most proposals さ れ て い る と SAT problem is し て polices according to the で あ る. こ の computation of difficult し さ の を origin interpret す る た め に, the の ラ ン ダ ム パ タ ー ン problem に し, seaborne 2 nt パ ー セ プ ト ロ ン の typical な allowable solution の weeks 囲 に he の が ど の よ う に distribution し て い る の か, を statistical mechanics に お け る Franz - Parisi ポ テ ン シ ャ ル の way で adjustable べ た. そ の results, パ タ ー ン number が N に proportion す す る degree る occasions に は, the も nearly い solution は O (N) degree ハ ミ ン が グ distance from れ て い る こ と が わ か っ た. こ の こ と は, present some で ら れ て い を る solution center に し て new し い solution を bureau に ラ ン ダ ム サ ー チ す る occasions, allowable solution を see つ け る probabilistic は N に masato し て index, the number of masato に small さ く な る こ と を mean し て お り, こ の こ と が 2 nt パ ー セ プ ト ロ ン の learn の に masato す る calculation difficulty の origin に masato わ っ て い る と exam え ら れ る. The above results are て Phys. Rev.E 90, 052813 (2014) [7 pages]と published て public table された.

项目成果

Statistical mechanics approach to 1-bit compressed sensing

1 位压缩感知的统计力学方法

• DOI: 10.1088/1742-5468/2013/02/p02041
• 发表时间: 2013
• 期刊: Journal of Statistical Mechanics
• 作者: Haiping Huang;Yoshiyuki Kabashima;Yingying Xu and Yoshiyuki Kabashima
• 通讯作者: Yingying Xu and Yoshiyuki Kabashima

Adaptive Thouless-Anderson-Palmer approach to inverse Ising problems with quenched random fields

自适应 Thouless-Anderson-Palmer 方法解决淬灭随机场的伊辛逆问题

• 发表时间: 2013
• 期刊: Phys. Rev. E
• 作者: Haiping Huang;Yoshiyuki Kabashima
• 通讯作者: Yoshiyuki Kabashima

Entropy landscape of solutions in the binary perceptron problem

• DOI: 10.1088/1751-8113/46/37/375002
• 发表时间: 2013-04
• 期刊: Journal of Physics A: Mathematical and Theoretical
• 作者: Haiping Huang;Haiping Huang;K. Y. Wong;Y. Kabashima

Entropy landscape analysis of the binary perceptron problem

二元感知器问题的熵景观分析

• 发表时间: 2013
• 作者: Haiping Huang;Yoshiyuki Kabashima;Haiping Huang;Haiping Huang;Haiping Huang and K Y Michael Wong
• 通讯作者: Haiping Huang and K Y Michael Wong

Origin of the computational hardness for learning with binary synapses

• DOI: 10.1103/physreve.90.052813
• 发表时间: 2014-08
• 期刊: Physical review. E, Statistical, nonlinear, and soft matter physics
• 作者: Haiping Huang;Y. Kabashima