高次元・大規模・多ドメインデータの特徴抽出と情報統合による統計的学習

通过高维、大规模、多领域数据的特征提取和信息整合进行统计学习

• 批准号: 19H04071
• 负责人: 金森 敬文
• 金额: $ 11.07万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19H04071/
• 关键词: 機械学習; 数理統計学; 数理統計; 機械学修; 最適化; 最適輸送; 多ドメインデータ; 転移学習; 情報転送

本研究では，データサイズ，次元，タイプなどが異なる多様なデータを用いて，予測や推論，構造推定など複数のタスクを行うための学習アルゴリズムを，数理な知見に基づいてい提案，開発することを目指している．理論的解析を行うことで，予測精度を向上させるためのハイパーパラメータの調整などが容易になり，さらなる性能向上につなげることが可能になる．多様な多ドメインデータを扱う上で重要なことは，ドメイン間の統計的な性質を適切に把握することである．応用例として，解像度の異なる画像データ，音声データ，タグ，その他の付加データからなるヘテロなデータを用いた関連性分析などの知見を取り入れ，検索や推薦システムの高精度化へとつなげていくことを目指して，研究をさらに推進している．とくに2022年度は，単ドメインにおけるデータを解析するため学習アルゴリズムを非一様な多ドメイン学習に展開するための統一的な方法論を確立する研究が進展した．まずドメイン間の違いをデータ分布の違いとして定式化し，ドメイン間の乖離度を適切に計測するための方法の開発と実装に取り組んだ．データの標本空間がドメイン間で共有されている場合であっても，高次元標本空間の場合には適切なドメインマッチングが必要である．共通する不変なデータ構造を推定し抽出することで，適切なデータ解析を行うことができる．ここで問題となるのは，「不変性」を実データに則して適切に定義し，その特定や抽出を効率的に行うことである．これまで培ってきた単ドメインにおける機械学習アルゴリズムを，不変構造を有する非一様な多ドメイン学習に適用するパラダイムに関する研究成果を論文としてまとめている段階である．この研究の方向性は，機械学習の適用範囲が飛躍的に拡大することを意味し，多ドメイン学習における研究としての意義が極めて大きいと考えられる．

In this paper, we study the relationship between the number of variables, the number of dimensions, the number of variables, and the number of variables. The theoretical analysis is easy to adjust, the prediction accuracy is easy to adjust, and the performance is easy to adjust. The statistical properties of the multi-dimensional data are properly grasped. For example, the resolution of different images, audio data, images, images, In 2022, the research progress was made in establishing a unified methodology for multi-disciplinary learning. The development and implementation of the method for calculating the deviation between the two parameters are discussed. In the case of high dimensional space, it is necessary to change the space. The common structure is not extracted. The problem is that "invariance" is the definition of invariance. This paper discusses the research results of mechanical learning in different stages. The research direction is opposite, the machine study applies the scope to leap forward the big meaning, many kinds of machine study the big meaning.

项目成果

Estimating Density Models with Truncation Boundaries using Score Matching

• 发表时间: 2019-10
• 期刊: J. Mach. Learn. Res.
• 作者: Song Liu;T. Kanamori;Daniel J. Williams

Variable Selection for Nonparametric Learning with Power Series Kernels

使用幂级数核进行非参数学习的变量选择

• DOI: 10.1162/neco_a_01212
• 发表时间: 2019
• 期刊: Neural Computation
• 影响因子: 2.9
• 作者: Matsui Kota;Kumagai Wataru;Kanamori Kenta;Nishikimi Mitsuaki;Kanamori Takafumi
• 通讯作者: Kanamori Takafumi

Uncertainty propagation for dropout-based Bayesian neural networks

• DOI: 10.1016/j.neunet.2021.09.005
• 发表时间: 2021-09
• 期刊: Neural networks : the official journal of the International Neural Network Society
• 作者: Yuki Mae;Wataru Kumagai;T. Kanamori

Fisher Efficient Inference of Intractable Models

• 发表时间: 2018-05
• 作者: Song Liu;T. Kanamori;Wittawat Jitkrittum;Yu Chen

A Unified Statistically Efficient Estimation Framework for Unnormalized Models

• 发表时间: 2020-06
• 作者: Masatoshi Uehara;T. Kanamori;Takashi Takenouchi;T. Matsuda