情報空間における位相解析を用いた学習理論に関する研究

基于信息空间拓扑分析的学习理论研究

• 批准号: 13780261
• 负责人: 塩谷 浩之
• 金额: $ 1.02万
• 依托单位: Muroran Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2001
• 资助国家: 日本
• 起止时间: 2001 至 2002
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13780261/
• 关键词: 擬情報量; 位相解析; ロバスト推定; ノイズ除去; 確率システム; ニューラルネットワーク; 最小自乗法; α-ダイバージェンス; 情報計量; 分布空間の位相; 最小2乗法; 階層型ニューラルネット; ノイズデータ; αダイバージェンス; KL情報量

情報理論や統計的推定において用いられる情報計量とは,2つ確率分布間の差異を表す.本研究においては,ある限定されて分布族において情報計量の役割を持つ,特殊な形式を持つ擬情報量という概念を導入した.数学的には,その擬情報量は,分布全体集合のある特定の部分集合に対しては,近傍系の計量として表現され,位相生成において,部分集合という適用範囲が限定されることで,情報計量の広い定式化につながるものである.このような定式化は数学的な要請からではなく,ニューラルネットワークのような非線形システムのパラメータ学習に用いられる最小自乗法を,情報量最小化学習の視点から陽に拡張し,自在な擬情報量を学習問題に適用するという情報論的学習の応用分野からの発展に基づくものである.本年度の研究では,以下の成果が得られている.(1)α-ダイバージェンス最小化と同じ効果を持ち,一般の入出力システムの確率モデルであるガウス密度モデル上で情報計量となる擬α-情報量を定式化し,その基盤を整備した.(2)擬α-情報量を,極端なノイズを含むデータからの学習問題に適用した.そしてノイズに対し頑健な学習が容易に行われることを,ロバスト推定の理論モデルを用い証明を行った.また,多層パーセプトロン学習問題に適用し,数値実験で有効性を確認した.(3)汎化性能が高い学習手法として知られるアンサンブル学習に対しても,擬α-情報量を基準とした学習アルゴリズムが容易に定式化されることを確認した.(4)ノイズに対する頑健性を,確率モデルを用いる情報システムに適用し,擬情報量の補助的利用における有効性について考察した.対象としては,環境的知識ネットワークを備える強化学習システム等を用い,ノイズ除去などの擬α-情報量の利用に関する検証を行い,今後の発展的応用への準備的研究を行った.

Information theory and statistical estimation are used to measure information. In this study, the concept of information measurement is introduced into distribution families, special forms and quasi-information quantities. Mathematical theory is concerned with the quantity of quasi information, the distribution of the whole set, the measurement of the near system, the phase generation, the application of the partial set, the definition of the information measurement. In this paper, we discuss the application of the minimum self-optimization method in the study of mathematics. This year's research, the following results were obtained. (1)α-information minimization, uniform effect maintenance, general input force system accuracy, information density, information measurement, quasi α-information formulation, and substrate preparation. (2)The quasi α-information quantity is extremely high, and the extreme information quantity is suitable for the learning problem. It's easy to learn, but it's hard to prove. For example, if a multi-layer learning problem is applicable, the number of problems is determined. (3)Generalization performance is high. Learning techniques are easy to formalize. (4)The robustness of the information system and the accuracy of the information system in the use of the information system are investigated. For example, environmental knowledge is available on the Internet, intensive learning systems are used, and verification related to the use of pseudo-α-information is carried out, and research on future development uses and preparations is carried out.

项目成果

H.Shioya, T.Date: "Pseudo Information Divergence Defined on the Family of Specific Probability Distributions"International Journal of Computing Anticipatory Systems. Vol.11. 375-386 (2002)

H.Shioya，T.Date：“特定概率分布族上定义的伪信息散度”国际计算预期系统杂志。