非加法的情報理論の構築とその学習理論への応用に関する研究

従来の情報理論は,シャノンエントロピーを基本情報量として用いていたため,取り扱う系が,指数分布族によって支配されているのに対して,本研究課題で進めていた非加法的情報理論では,シャノンエントロピーの1パラメータ拡張であるサリスエントロピーを基本情報量として用いてきた.この拡張により,取り扱う系が,指数分布族からべき分布族に拡張された.本年度,この拡張における非常に重要な結果を得た.具体的には,ガウスの誤差法則・スターリングの公式・多項係数・パスカルの三角形・中心極限定理などの,指数分布族における非常に重要な定理や公式がことごとく,べき分布族の系に拡張され,それらの関係についても数学的に証明された.(中心極限定理のみ,数値計算による確認.)これらについて,国際会議・国内の学会・論文投稿などを行い,驚きを持って迎えられた.さらに,従来,サリスエントロピー最大化原理による結果に付随していた問題を,本研究課題で用いた手法により,解析的に解決できた.これについても,現在,論文投稿中である.これらの結果は,べき分布族の系の基本定理であり,カオス・フラクタル・スケールフリーネットワークなどべき分布が本質的に重要になる系への応用が将来十分に見込まれる.上記の結果を,学習理論に現れるカオスへの応用を試みた.具体的には,フィードバックをもつリカレントニューラルネットワークにおいて,ロボットなどの行動を低い次元のパラメータに対応させることができるRNNPBモデルの学習に,カオスが現れることが知られており,その機構をサリスエントロピーのパラメータqとの関係を導きたかったが,これに関しては,PB空間の性質などを調べるにとどまり,具体的な関係を明らかにできなかった.今後,この研究については,随時進めていく予定である.

従来の情報理論は,シャノンエントロピーを基本情報量として用いていたため,取り扱う系が,指数分布族によって支配されているのに対して,本研究課題で進めていた非加法的情報理論では,シャノンエントロピーの1パラメータ拡張であるサリスエントロピーを基本情報量として用いてきた.この拡張により,取り扱う系が,指数分布族からべき分布族に拡張された.本年度,この拡張における非常に重要な結果を得た.具体的には,ガウスの誤差法則・スターリングの公式・多項係数・パスカルの三角形・中心極限定理などの,指数分布族における非常に重要な定理や公式がことごとく,べき分布族の系に拡張され,それらの関係についても数学的に証明された.(中心極限定理のみ,数値計算による確認.)これらについて,国際会議・国内の学会・論文投稿などを行い,驚きを持って迎えられた.さらに,従来,サリスエントロピー最大化原理による結果に付随していた問題を,本研究課題で用いた手法により,解析的に解決できた.これについても,現在,論文投稿中である.これらの結果は,べき分布族の系の基本定理であり,カオス・フラクタル・スケールフリーネットワークなどべき分布が本質的に重要になる系への応用が将来十分に見込まれる.上記の結果を,学習理論に現れるカオスへの応用を試みた.具体的には,フィードバックをもつリカレントニューラルネットワークにおいて,ロボットなどの行動を低い次元のパラメータに対応させることができるRNNPBモデルの学習に,カオスが現れることが知られており,その機構をサリスエントロピーのパラメータqとの関係を導きたかったが,これに関しては,PB空間の性質などを調べるにとどまり,具体的な関係を明らかにできなかった.今後,この研究については,随時進めていく予定である.