情報空間の位相構造における情報量の諸性質と学習理論への応用に関する研究

信息空间拓扑结构中信息内容的属性及其在学习理论中的应用研究

• 批准号: 08780230
• 负责人: 塩谷 浩之
• 金额: $ 0.58万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1996
• 资助国家: 日本
• 起止时间: 1996 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-08780230/
• 关键词: 一般化情報量; 位相; 統計的学習; 双対性; 凸関数の変換

本研究の目的は,これまで情報理論において用いられてきたエントロピーやダイバージェンスなどの情報量を,確率密度の全体の空間における位相構造に関する諸質を検討すること,さらに,それらと計算論的学習,モデル選択,統計的推定,ニューラルネットワークなどにおける学習や推定の精度など応用の局面で重要とされる必要事例数や収束などの諸性質との対応を明らかにすることであった.研究実績の概要としては,一般化情報量のクラスであるCsiszarのf-divergenceを,確率密度の全体の空間との性質を考慮しつつ凸関数の変換とも対応させながら,情報量を用いた統計的学習において学習評価を行なうのに用いる学習評価に適応できる情報量評価不等式を導出したことにある.これは先にHermite-Hadamard型の情報量の性質についての研究が行なわれたものを基礎として発展させたものである.そして本研究の一貫として,その情報量の最大値と確率密度の対応に関する必要十分条件を証明しつつ,情報量評価不等式に至ったものである.凸関数の変換と情報量の双対性との関係についても知見が得られた.それは,カルバック情報量については,通常の共役な凸関数から凸関数への変換以外でも双対な情報量(Dualなカルバック情報量)が得られる特殊な変換が存在し,かつその変換は,先の研究(一般化情報量の有界性と位相条件の同等性)において用いられたf-divergenceの値を不変とする凸関数の変換と同等な性質を満たすことも朗かにした.このことは,その変換がf-divergenceという情報量の定義形式に用いる凸関数に施す変換としては妥当であることも意味している.また,これらは,本研究における基礎理論的部分に相当するものであると考えられる.一般化情報量のクラスで特徴的なダイバージェンスであるカルバック情報量に対してもの双対な関係をもたらす凸関数の特殊な変換は,凸関数全体の空間を,有限回の変換によって得られる同値類を導入することで,関数空間を射影化することで,情報量の意味での双対と関数空間の射影幾何的構造と,双対接続(測地線でいうとカルバック情報量と双対なカルバック情報量)に代表される情報幾何学との対応の手がかりともなる.

The purpose of this study is to study the information quantity of the information theory, to determine the density of the information, to study the quality of the information theory, to study the selection of the information, to estimate the statistics. The accuracy of learning and estimation is important for the application of the situation. The number of necessary cases is important for the analysis of the properties of the bundle. A summary of the results of the study is presented in this paper, which generalizes the information quantity and its f-diversity, and determines the density and spatial properties of the whole population. This is the first time that the Hermite-Hadamard type information quantity has been studied. In this paper, we prove the necessary conditions for the maximum value of the information quantity and the correlation between the density of the accuracy rate and the information quantity. The relationship between the number of convexities and the amount of information and the duality of information is discussed. In this paper, the author studies the equivalence of boundedness and phase condition of generalized information quantity, and discusses the equivalence of boundedness and phase condition of generalized information quantity. The definition of information quantity is used in the form of convex number. The basic theory of this study is equivalent to that of the previous study. A special transformation of the convex number, a finite transformation of the convex number, a space of the whole convex number, a transformation of the finite loop, a transformation of the same value class, a projectionization of the relation space, a construction of the projective geometry of the double pair relation space of the meaning of the information amount. Double pair connection (geodesic line) represents information geometry and information geometry.

项目成果

H. Taniguch, T. Murai, H. Shioya and Y. Sato: "Interactive Logical Properties in Multimodal Semantics for Data Analysis Based on Attribute Valve and Time" IEEE International Conference on Systems, Mans and Cybernetics. vol. 4 of 4 96CH35929. 2947-2950 (19

H. Taniguch、T. Murai、H. Shioya 和 Y. Sato：“基于属性阀和时间的数据分析多模态语义中的交互逻辑属性”IEEE 国际系统、人类和控制论会议。

塩谷浩之,伊達淳: "凸関数の変換とダイバージェンスの関係不等式" 電子情報通信学会 和文誌(A). volJ80-A NO3. 509-515 (1997)

Hiroyuki Shioya，Jun Date：“凸函数变换与散度之间的关系不等式”IEICE 日本期刊（A）第 80 卷第 509-515 卷（1997 年）。