Statistical mechanics of heuristic methods in multi-stage learning

多阶段学习中启发式方法的统计机制

基本信息

  • 批准号:
    21K21310
  • 负责人:
  • 金额:
    $ 1.91万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Research Activity Start-up
  • 财政年份:
    2021
  • 资助国家:
    日本
  • 起止时间:
    2021-08-30 至 2024-03-31
  • 项目状态:
    已结题

项目摘要

今年度は、(i)自己学習におけるラベルバイアスの影響の精密漸近論による解析、および(ii)バギングによる不偏推定量の振る舞いの精密漸近論による解析を行った。以下でそれぞれの研究の内容について説明する。(a) 自己学習におけるラベルバイアスの影響: 昨年度の研究で、2成分混合ガウス分布の分類における線形モデルの学習に対して自己学習を行った場合の振る舞いについての精密漸近論を構築した。場合によっては自己学習で用いる疑似ラベルが真のラベルに匹敵する性能を持つことが明らかとなっていたが、様々に条件を変えた際の汎化誤差について網羅的に解析し、疑似ラベルの性質が真のラベルに匹敵する条件を調査した。その結果、ラベルバイアスが小さい場合には長時間極限でほぼ教師あり学習と等価な性能を持つが、ラベルバイアスが大きくなると急速に教師あり学習に対する相対的な性能が悪化することが明らかとなった。この結果をまとめて現在論文にまとめ、現在査読中である。(b) バギングによる不偏推定量の分散低減: 線形回帰において近似確率伝搬法によって不偏推定量が構築できることが知られている。本研究では、この不偏推定量を様々なブートストラップデータに対して平均するバギング操作を行って得られる統計量の性質を精密漸近論によって解析した。この結果、バギングを行ってもやはり不偏推定量であり、かつ取得データの性質と仮定している正則化の合致度に応じて、バギングの効果がほとんどない領域からバギングが積極的に分散を低減させる領域への相転移が生じることを明らかにした。この結果は論文にまとめ国際会議に投稿した。
This year's は, (i) I studied the precise asymptotic theory of におけるラベルバイアスの's influence by myself and によるanalysis, および (ii) バギングによる Unbiased inference of quantity の Vibration る Dance い の Precision asymptotic theory に よ る Analysis を 行 っ た. The following is an explanation of the content of the research. (a) The influence of learning におけるラベルバイアスの by myself: Last year's research, classification of 2-component mixture distribution and linear pattern learning対してlearn on your own を行ったoccasion の Vibration る Dance いについてのPrecision Asymptotic Theory をConstruction した. Occasion によってはlearn by yourselfで Use いるsimilarly ラベルが真のラベルに rivals the performance of the つことが明らかとなっていたが、様々にconditionsを変えたたのgeneralization errorについてNetworkにanalyticし、suspectedラベルの性が真のラベルにmatchするconditionsをinvestigationした.そのRESULT, ラベルバイアスが小さい occasion にはLong time limit でほぼ teacher ありlearning とEQ価なperformance をhold つが, ラベルバイアスが大きくなるとhurry teacher ありlearn the performance of に対するphase対が悪化することが明らかとなった.このRESULTS をまとめてNow thesis にまとめ、Now check the results である. (b) Reduce the dispersion of the unbiased estimated amount of the バギングによるLinear return method, approximate accuracy, transfer method, unbiased estimation, construction, and knowledge. The purpose of this study is to unbiasedly estimate the quantitative and average values.るバギングOperation を行ってGet the properties of られるstatisticsをPrecision asymptotic theoryによってanalyticsした.このRESULT、バギングを行ってもやはり unbiased estimation of quantityであり、かつ Obtain the consistency degree of the regularization and regularization of the properties of the データの,バギングのeffectがほとんどない区からバギングがpositiveに分Scatter を reduce さ せ る field へ の phase change が 生 じ る こ と を 明 ら か に し た. The results of the paper were submitted to international conferences.

项目成果

期刊论文数量(7)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
ブートストラップ平均化された不偏推定量の統計力学的解析
自举平均无偏估计量的统计力学分析
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹,BIRKHOLZ Peter,鵜木祐史;鳥谷輝樹,BIRKHOLZ Peter,鵜木祐史;Takashi Takahashi;髙橋昂;髙橋昂
  • 通讯作者:
    髙橋昂
Sharp Asymptotics of Self-training with Linear Classifier
线性分类器自训练的尖锐渐近
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹,BIRKHOLZ Peter,鵜木祐史;鳥谷輝樹,BIRKHOLZ Peter,鵜木祐史;Takashi Takahashi
  • 通讯作者:
    Takashi Takahashi
反復型自己学習アルゴリズムのレプリカ解析
迭代自学习算法的副本分析
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹,BIRKHOLZ Peter,鵜木祐史;鳥谷輝樹,BIRKHOLZ Peter,鵜木祐史;Takashi Takahashi;髙橋昂
  • 通讯作者:
    髙橋昂
半教師あり学習の平衡統計力学的解析
半监督学习的平衡统计力学分析
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹,BIRKHOLZ Peter,鵜木祐史;鳥谷輝樹,BIRKHOLZ Peter,鵜木祐史;Takashi Takahashi;髙橋昂;髙橋昂;髙橋昂
  • 通讯作者:
    髙橋昂
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

高橋 昂其他文献

高橋 昂的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('高橋 昂', 18)}}的其他基金

Constructing a mathematical foundation for heuristics based on transfer learning
构建基于迁移学习的启发式数学基础
  • 批准号:
    23K16960
  • 财政年份:
    2023
  • 资助金额:
    $ 1.91万
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
A statistical mechanics approach to reliability assessment in large scale statistical inference
大规模统计推断中可靠性评估的统计力学方法
  • 批准号:
    19J10711
  • 财政年份:
    2019
  • 资助金额:
    $ 1.91万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows

相似海外基金

データ駆動型アンサンブル学習による出芽酵母中心代謝シミュレーターの構築
使用数据驱动的集成学习构建酿酒酵母中央代谢模拟器
  • 批准号:
    23K23147
  • 财政年份:
    2024
  • 资助金额:
    $ 1.91万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
アンサンブル学習及び公開データベースを用いた造血幹細胞移植予後予測モデルの開発
利用集成学习和公共数据库开发造血干细胞移植预后预测模型
  • 批准号:
    22K21082
  • 财政年份:
    2022
  • 资助金额:
    $ 1.91万
  • 项目类别:
    Grant-in-Aid for Research Activity Start-up
アンサンブル学習による多種リモートセンシングデータの画像分類アルゴリズムと応用
基于集成学习的各类遥感数据图像分类算法及应用
  • 批准号:
    16F16053
  • 财政年份:
    2016
  • 资助金额:
    $ 1.91万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
アンサンブル学習のアルゴリズム開発と理論的解析
集成学习的算法开发与理论分析
  • 批准号:
    17700277
  • 财政年份:
    2005
  • 资助金额:
    $ 1.91万
  • 项目类别:
    Grant-in-Aid for Young Scientists (B)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了