情報空間における位相解析を用いた学習理論に関する研究

点击翻译按钮获取中文摘要

情報理論や統計的推定において用いられる情報計量とは,2つ確率分布間の差異を表す.本研究においては,ある限定されて分布族において情報計量の役割を持つ,特殊な形式を持つ擬情報量という概念を導入した.数学的には,その擬情報量は,分布全体集合のある特定の部分集合に対しては,近傍系の計量として表現され,位相生成において,部分集合という適用範囲が限定されることで,情報計量の広い定式化につながるものである.このような定式化は数学的な要請からではなく,ニューラルネットワークのような非線形システムのパラメータ学習に用いられる最小自乗法を,情報量最小化学習の視点から陽に拡張し,自在な擬情報量を学習問題に適用するという情報論的学習の応用分野からの発展に基づくものである.本年度の研究では,以下の成果が得られている.(1)α-ダイバージェンス最小化と同じ効果を持ち,一般の入出力システムの確率モデルであるガウス密度モデル上で情報計量となる擬α-情報量を定式化し,その基盤を整備した.(2)擬α-情報量を,極端なノイズを含むデータからの学習問題に適用した.そしてノイズに対し頑健な学習が容易に行われることを,ロバスト推定の理論モデルを用い証明を行った.また,多層パーセプトロン学習問題に適用し,数値実験で有効性を確認した.(3)汎化性能が高い学習手法として知られるアンサンブル学習に対しても,擬α-情報量を基準とした学習アルゴリズムが容易に定式化されることを確認した.(4)ノイズに対する頑健性を,確率モデルを用いる情報システムに適用し,擬情報量の補助的利用における有効性について考察した.対象としては,環境的知識ネットワークを備える強化学習システム等を用い,ノイズ除去などの擬α-情報量の利用に関する検証を行い,今後の発展的応用への準備的研究を行った.