一般化相対エントロピーの幾何学的、情報論的性質の解明と工学的応用

阐明广义相对熵的几何和信息性质及其工程应用

• 批准号: 12750058
• 负责人: 下川 英敏
• 金额: $ 1.41万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 2000
• 资助国家: 日本
• 起止时间: 2000 至 2001
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-12750058/
• 关键词: 相対エントロピー; レニーエントロピー; 仮説検定; 多端子システム; エラーレート; 双対問題; 平均場近似

相対エントロピー(カルバックライブラーダイバージェンス)の定義を拡張して得られる,一般化相対エントロピー,あるはα-ダイバージェンスと呼ばれる,2つの確率分布と1次元のパラメータによって定まる確率分布の空間における擬距離について.統計学や情報理論,情報幾何学の観点から研究を行なった.本年度においては,情報理論的な枠組において,多端子システム(Slepian-Wolf system)における情報源圧縮の問題を研究した.多端子システムの信頼性関数のランダム符号化限界が,条件付きエントロピーに対応する一般化相対エントロピーと双対な関係にあることは,代表者の研究によって明らかにされていたが,その信頼性関数の下界はレートが高い部分に関しては,一般に知られている上界と一致しない.本研究では,情報理論的な符号化方法,具体的には,線形符号化とタイプを利用した数え上げ符号を,情報源の出力に応じて,適応的に組み合わせることによって,その下界が改善される可能性を理論的に示した.また,バイナリ通信路に関しては,数値計算によって,今まで知られている下界に比べて,レートが高い領域において,確かに改善されていることを示した.この新たに導出された下界は,最適化問題の解として与えられるが,この問題の双対問題を考えることによって,一般化エントロピーに似た量が得られる.この量は,多端子システムに固有のエントロピーと考えられるが,多端子システム以外にどのような操作的な意味を持つかを解明すること,また,この下界を達成することができる実用的な符号を構成することが,現在の課題である.

Phase エ seaborne ン ト ロ ピ ー (カ ル バ ッ ク ラ イ ブ ラ ー ダ イ バ ー ジ ェ ン ス) の definition を company, zhang し て have ら れ る, generalized phase エ seaborne ン ト ロ ピ ー, あ る は alpha ダ イ バ ー ジ ェ ン ス と shout ば れ る, 2 つ の probabilistic distribution と 1 yuan の パ ラ メ ー タ に よ っ て set ま る の space of probabilistic distribution に お け る quasi distance に つ い て. Statistics や intelligence theory, intelligence geometry の 観 point か ら を line な っ た. This year's に お い て は, intelligence theory な 枠 group に お い て, more terminal シ ス テ ム (Slepian - Wolf system) に お け る intelligence source 圧 shrinkage の を study し た. More terminal シ ス テ ム の 頼 sex masato few の ラ ン ダ ム symbolic limits が, conditions to pay き エ ン ト ロ ピ ー に 応 seaborne す る generalized phase エ seaborne ン ト ロ ピ ー と double な seaborne masato is に あ る こ と は, representatives の research に よ っ て Ming ら か に さ れ て い た が, そ の 頼 sex masato few の lower は レ ー ト が high い part に masato し て は, general に know ら れ て い る The world と unanimously agrees な な. This study で は, intelligence theory な symbolic methods, specific に は, linear symbolic と タ イ プ を using し た げ symbols on several え を, intelligence source の output に 応 じ て, optimum 応 み に group and わ せ る こ と に よ っ て, そ の lower が improve さ れ に を る possibility theory in し た. ま た, バ イ ナ リ communication way に masato し て は, the numerical calculation に よ っ て Know, today ま で ら れ て い る lower に than べ て, レ ー ト が high い field に お い て, indeed か に improve さ れ て い る こ と を shown し た. こ の new た に export さ れ た lower は, optimization problem の solution と し て and え ら れ る が, こ の の double moral problems を exam え る こ と に よ っ て, generalized エ ン ト ロ ピ ー に like が た quantity to ら れ る. こ の は, terminal シ ス テ ム に inherent の エ ン ト ロ ピ ー と exam え ら れ る が, more terminal シ ス テ ム outside に ど の よ う な operation な mean を hold つ か を interpret す る こ と, ま た, こ の lower を reached す る こ と が で き る be used な symbol を す る こ と が, now の subject で あ る.

项目成果

下川 英敏: "多端子システムの高レート領域における信頼性関数"第24回情報理論とその応用シンポジウム予稿集. I. 39-42 (2001)

Hidetoshi Shimokawa：“多终端系统高速率区域的可靠性函数”第 24 届信息理论及其应用研讨会论文集 I. 39-42 (2001)。

S.Amari, S.Ikeda, H.Shimokawa: "Information Geometry of α-projection in Mean Field Approximation"Advanced Mean Field Methods : Theory and Practice Man fred Opper and David Saad(eds.) MIT press. 241-257 (2001)

S.Amari、S.Ikeda、H.Shimokawa：“平均场近似中 α 投影的信息几何”高级平均场方法：理论与实践 Man fred Opper 和 David Saad（编辑）麻省理工学院出版社 241-257（2001 年） ）

S.Amari,S.Ikeda and H.Shimokawa: "Information Geometry of α-projection in Mean Field Approximation"Advanced Mean Field Methods : Theory and Practice Mantred Opper and David Saad (eds.) MIT Press. 241-257 (2001)

S.Amari、S.Ikeda 和 H.Shimokawa：“平均场近似中 α 投影的信息几何”高级平均场方法：理论与实践 Mantred Opper 和 David Saad（编辑）麻省理工学院出版社 241-257（2001）。