主観的ラベル付きデータに基づく機械学習の研究

基于主观标记数据的机器学习研究

• 批准号: 20J11937
• 负责人: 石田 隆
• 金额: $ 1.47万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J11937/
• 关键词: 機械学習

ラベラーによってデータに対する感じ方が異なり、結果としてラベル付けが異なるという主観性が絡む問題を研究の対象とし、２つのアプローチによる研究を行った。１つ目のアプローチとして、主観的ラベルの問題を、データが与えられたときのクラスの事後確率が１未満である問題（もしくは背後にあるベイズ誤差が正の値になる問題）と捉えた。表現力の高いモデルを用いた場合には、学習中に訓練損失は容易にゼロ付近にまで下がってしまうが、ベイズ誤差が正であるならば、訓練損失がゼロ付近まで下がってしまうことは過学習がすでに起きていることを示唆している。この問題に対して、ある程度訓練損失が小さくなれば、それ以上下がらないようなアルゴリズムを設計した。様々なベンチマークデータセットを用いた実験により、提案手法により過学習が回避され、汎化性能が向上することを確認し、理論的な性質についても解析を行った。本研究は機械学習のトップ国際会議の一つであるICML2020に採択され、電子情報通信学会第23回情報論的学習理論ワークショップにて優秀発表賞ファイナリストとして選ばれた。２つ目のアプローチとして、主観的ラベルの問題を、ラベラーのラベル付けの誤差の問題として捉えた。通常の教師あり学習では、訓練データのラベルにノイズが加わる問題は近年活発に研究されてきたが、ラベルノイズは補ラベル学習の訓練データにも生じることがある。補ラベル学習というのは、各データに対してデータが所属しないクラスが一つ与えられる問題設定で、正解ラベルが一つも与えられない中で正解ラベルを予測する分類器の学習を試みる問題である。学習アルゴリズムが補ラベルに対する雑音の影響を受けないような損失関数の条件を導出し、実験によりその条件を満たす損失関数が良い分類性能を示すことがわかった。本研究は国内学会の第４２回IBISML研究会で発表した。

ラベラーによってデータに対するSenseじ方がdifferentなり、RESULTSとしてラベルFUけがdifferentなるという主榳性がむISSUEをStudyの対相とし、２つのアプローチによるStudy を行った. １つ目のアプローチとして、主観的ラベルのquestionを、データが与えられたときのクラスの事The accuracy of the post-accuracy problem is the problem of the error behind the accuracy of the data and the problem of catching the error. The expressive power is high, the occasion is good, and the learning loss is easy, the training loss is easy, the nearness is close, the error is low, and the error is The training loss is the same as the training loss.うことはlearned がすでに出きていることをshows instigation している.このquestionに対して、あるdegree training lossが小さくなれば、それ上下がらないようなアルゴリズムをdesignした.様々なベンチマークデータセットを用いた実験により、Proposal technique によりpassed the learning process Confirmation of generalization performance, improvement of generalization performance, and analysis of theoretical properties. This research was conducted at the International Conference on Mechanical Learning, ICML2020, and Electronic Information and Communication The 23rd chapter of the Learning Theory of Information Theory will be awarded to the outstanding student, ばれた. ２つ目のアプローチとして, main 観的ラベルのquestionを,ラベラーのラベルpayけのErrorのquestionとしてCATCHえた. Normally, the teacher has studied and trained, and the training has been carried out in recent years. Study and study, ラベルノイズはsupplement ラベル学のtraining データにも生じることがある. Supplementary training of というのは, each データに対してデータが belongs to しないクラスが一つ and えられる problem settingで、positive solution ラベルが一つも and えられない中でpositive solution ラベルをpretest するclassifier のlearning をtrial みるproblem である. Learn the influence of アルゴリズムが complement the ラベルに対する雑音のconditionsを affected by the けないようなloss level number をDerived し, 実験によりその condition を満たす loss level がgood い classification performance をshow すことがわかった. This research was presented at the 42nd IBISML Research Conference of Domestic Societies.

项目成果

Do We Need Zero Training Loss After Achieving Zero Training Error?

• 发表时间: 2020-02
• 期刊: ArXiv
• 作者: Takashi Ishida;Ikko Yamane;Tomoya Sakai;Gang Niu;Masashi Sugiyama

Learning from Noisy Complementary Labels with Robust Loss Functions

• DOI: 10.1587/transinf.2021edp7035
• 发表时间: 2021-02
• 期刊: IEICE Trans. Inf. Syst.
• 作者: Hiroki Ishiguro;Takashi Ishida;Masashi Sugiyama