データ複雑性に基づく階層的学習モデル最適化と大規模時系列データマイニングへの応用

基于数据复杂度的层次学习模型优化及其在大规模时序数据挖掘中的应用

• 批准号: 13J09077
• 负责人: 木脇 太一
• 金额: $ 1.54万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2013
• 资助国家: 日本
• 起止时间: 2013-04-01 至 2015-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13J09077/
• 关键词: Deep Learniing; Generative Models; AIS; RBMs; Boltzmann Machines; DBMs; GRBM; RNN

系列データに対する将来的な学習アーキテクチャとして，本年度はBoltzmann Machine (BM)を主に取り扱った．具体的にはBMの評価手法と学習手法に分けてそれぞれ以下の研究を行った．まず評価手法に関する研究としてAnnealed Importance Sampling (AIS)を対象とする研究を２件行った．AISはBMの規格化定数を精度よく推定する方法であり，BMの定量評価には欠かせない．まず一つめはGaussian RBM (GRBM)を対象とした提案分布の効率的な設定法に関する研究である．この研究では対角共分散行列をもつ初期分布が使われる従来法に対して，非対角共分散行列が使用できる様に改良を行った．AISに関する二つめの研究ではAnnealing速度の最適化を扱った（現在投稿中）．この研究ではPerfect transitionの仮定のもと解析した推定誤差を数値的に最小化することで，近似精度の向上を試みた．これら方法を複数のRBMに対する規格化定数の推定に用いたところ，近年報告されていた従来法に比べて高い推定精度を達成できることを示した．次に学習アルゴリズムの改良として，Ratio Matching (RM)法に関する研究とDBMの表現能力に関する研究の二件を行った．まずRMは規格化定数の近似評価を必要としない学習法であるが，多モードデータの学習に困難がある．この研究ではランダムに組み合わせたデータ点間の確率値を均一化する新たな学習基準を提案し人工データに対する実験で効果を確認した．　最後にDeep BM (DBM)の表現能力に関する解析および改良に関する研究を行った（現在投稿準備中）．この研究ではDBMの表現能力の指標を提案し，DBMが期待以上の表現能力を持っていないことを示した．またDBMの問題を改善する新たなBMを提案し，実験的に効果を確かめた．

This year's Boltzmann Machine (BM) is the main choice for future learning. Specific BM evaluation methods and learning methods are divided into the following research. A study on the evaluation method of the Annealed Importance Sampling (AIS) is carried out. A study on the method of estimating the accuracy of the normalized AIS BM is carried out. A study of Gaussian RBM (GRBM) on the efficiency of proposal distribution. This study is aimed at optimizing the Annealing speed by improving the initial distribution of angular co-dispersed arrays and by improving the use of angular co-dispersed arrays.AIS is currently in submission. This study aims to minimize the accuracy of the approximation by analyzing the determination of the Perfect transition and estimating the error of the numerical value. This method has been reported in recent years to be more accurate than RBM. Second, the study of DBM performance ability by Ratio Matching (RM) method. RM is not necessary for the approximate evaluation of normalized fixed numbers. This study aims to standardize the accuracy of data sets and to identify the results of artificial data sets. Finally, Deep BM (DBM) performance related analysis and improvement related research was carried out (submission preparation now). This study proposes indicators of DBM performance, and DBM expects these indicators to continue. The problem of DBM is solved by new proposals.

项目成果

An effect of initial distribution covariance for annealing Gaussian restricted Boltzmann machines

• DOI: 10.5430/air.v4n1p53
• 发表时间: 2015-01
• 期刊: Artif. Intell. Res.
• 作者: Taichi Kiwaki;K. Aihara

Ratio Matching法の拡張

比率匹配法的扩展

• 发表时间: 2014
• 作者: 木脇太一;合原一幸
• 通讯作者: 合原一幸

Approximated Infomax Early Stopping : Revisiting Gaussian RBMs on Natural Images

近似 Infomax 提前停止：重新审视自然图像上的高斯 RBM

• 发表时间: 2014
• 作者: Taichi Kiwaki;Takaki Makino;Aihara Kazuyuki
• 通讯作者: Aihara Kazuyuki

On Importance of Base Model Covariance for Annealing Gaussian RBMs

论基本模型协方差对于退火高斯 RBM 的重要性

• 发表时间: 2014
• 作者: Y. Tsunoda;T. Otsuka;N. Shimizu;M. Honma;Y. Utsuno;Taichi Kiwaki and Kazuyuki Aihara;Taichi Kiwaki and Kazuyuki Aihara
• 通讯作者: Taichi Kiwaki and Kazuyuki Aihara

Controlling the Generalization Power of Restricted Boltzmann Machines

控制受限玻尔兹曼机的泛化能力

• 发表时间: 2013
• 作者: Taichi Kiwaki;Takaki Makino;Aihara Kazuyuki
• 通讯作者: Aihara Kazuyuki