Evolution of data science theory through analysis of solvable models

通过分析可解模型来推动数据科学理论的发展

• 批准号: 22K12179
• 负责人: 小渕 智之
• 金额: $ 2.58万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12179/
• 关键词: 情報統計力学; データ科学; 機械学習; 可解モデル

本研究は，ランダム特徴モデルという可解モデルの解析を行い，それを通じて機械学習・データ科学に現れる問題群の深い数理的理解と実用的数値解法を得ることを目標とする． 具体的課題として申請時に３つの課題を設定したが，特に初年度は「課題2：ランダム特徴量を用いた連合学習・ゼロショット学習の理論解析」に関連した解析を行った．より具体的には，実際に本課題を遂行をする上で理論モデルの基礎となるだろう，混合ガウスモデルの理論解析を通常の分類問題の文脈で行った．まず，不均衡ラベルデータにおいて，リサンプリングやリウェイティングの効果を調べる研究を行い，特徴量学習の精度においてはリサンプリングやリウェイティングが役に立たない状況があることを見出した．これは実験的に発見された分離学習と呼ばれる概念を理論的に追証した結果となる．この結果を現在論文にまとめている．また，半教師有り学習における推定精度の解析も別途おこない，ラベルなしデータの推定精度向上における効果を定量的に検証した．正則化付き最尤法とベイズ最適な場合の解析を行い，その推定精度の比較も行った．これにより，推定量がゼロに潰れた状態からそうでなくなる状態への相転移が，ラベル無しデータのみかつラベル分布が均衡している状態では現れること，その相転移がラベル不均衡やラベル付きデータによって消えること，ベイズ最適推定量が基本的に常に精度としては優越するが，最尤推定量も精度でそれほど劣っているわけではないこと，などが明らかとなった．この結果も現在論文にまとめている．これ以外に，ニューラル崩壊という現象の理論解析を新しく始めた．この現象は，深層学習において同じクラスの特徴量ベクトルが同一のベクトルに縮退するというもので，分類問題を高精度に解く上で重要な役割を果たしていると考えられている．この現象を示す理論モデルを解析する手法を開発している段階である．

In this study, the characteristics of the problem group can be solved by mechanical learning, mathematical understanding and practical numerical solution. The specific topic and application time are set up according to the topic and the initial year is set up according to the topic and the related analysis is carried out according to the topic 2: the characteristics of the topic and the theoretical analysis of the topic. The concrete, practical and practical aspects of this topic are based on the theoretical analysis of the general classification of problems. In this paper, the author studies the effect of the study on the uneven distribution of information, and the accuracy of the feature quantity learning. This is the result of theoretical verification of the concepts of separation learning and call learning. The result of this paper is: For example, the semi-teacher has the ability to analyze the estimated accuracy of the learning process, and the accuracy of the estimation of the learning process is improved. Regularization of the most appropriate method for the analysis of the case, the estimation of the accuracy of the comparison. In this case, the phase shift of the estimated quantity is equal to the phase shift of the estimated quantity. The phase shift of the estimated quantity is equal to the phase shift of the estimated quantity. In particular, the accuracy of quantitative estimation is not good enough. The result of this is that the paper is now published. A new theoretical analysis of the phenomenon of. This phenomenon is a deep learning problem. It can be solved with high accuracy. It can be solved with high accuracy. This phenomenon is described in detail below.

项目成果

On Model Selection Consistency of Lasso for High-Dimensional Ising Models

高维Ising模型Lasso的模型选择一致性研究

• 发表时间: 2023
• 期刊: Proceedings of The 26th International Conference on Artificial Intelligence and Statistics
• 作者: Xiangming Meng;Tomoyuki Obuchi;Yoshiyuki Kabashima
• 通讯作者: Yoshiyuki Kabashima