Robust estimation with effective learning

通过有效学习进行稳健估计

• 批准号: 17K00065
• 负责人: 藤澤 洋徳
• 金额: $ 2.91万
• 依托单位: The Institute of Statistical Mathematics
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2017
• 资助国家: 日本
• 起止时间: 2017-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17K00065/
• 关键词: ロバスト統計; 逆確率重み法; 二重頑健推定; 敵対的汚染; スパース推定; 非漸近理論; 収束レート; 歪正規分布; EMアルゴリズム; モメンタム構造; 一般化線形回帰モデル; 確率的最適化; 最尤推定; ダイバージェンス; スパース・モデリング; 潜在変数モデル; MMアルゴリズム; 学習

因果推論で使われる逆確率重み法や二重頑健推定は外れ値に弱いことが知られている．これまでの研究は中央値を使ったアドホックなものであったため，べき密度を利用して，外れ値により強くより妥当な手法を開発した．研究の詳細は前年度までの実績に記述している．投稿中の論文は Statistica Sinica に受理された．外れ値などが存在するときに，その汚染によっても推定値がずれにくいパラメータ推定手法として，ロバスト推定がある．データが通常のHuberタイプの汚染よりも強力な，敵対的汚染にさらされた場合に，ロバスト推定の収束レートを調べる研究は，この数年，非常にホットな話題である．敵対的汚染は，データの状況を見てから汚染が可能なため，非常に強力な汚染を可能にする．本研究では，線形回帰において，ノイズだけでなく，特徴量も敵対的汚染にさらされる場合を考察した．加えて，特徴量が高次元であり，真の回帰係数はスパースであるという，スパース高次元回帰の設定で研究を進めた．ノイズに関しては裾が重い分布，特徴量に関してはLサブガウス分布と，過去よりも緩い仮定とした．特徴量の共分散が既知の場合と未知の場合を分けて考察を進めたが，共分散が既知の場合は，ある特定の推定量に対しては，過去の研究よりも鋭い収束レートを得た．証明には generic chain という最近の技法を使っており，これが鋭い収束レートを得るためのコアの技法となっている．論文を完成して現在投稿中である．

Causal inference で make わ れ る inverse method of probabilistic heavy み や double operations, presumption of outside は れ numerical に weak い こ と が know ら れ て い る. は こ れ ま で の research on central numerical を make っ た ア ド ホ ッ ク な も の で あ っ た た め, べ き density を using し て, outside れ numerical に よ り strong く よ り appropriate な gimmick を open 発 し た. Study <s:1> detailed previous year まで <s:1> actual achievements に record て て る る. Submission in progress: Statistica Sinica に accepted された. Outside れ numerical な ど が exist す る と き に, そ の pollution に よ っ て も presumption of numerical が ず れ に く い パ ラ メ ー タ constructive technique と し て, ロ バ ス ト presumption が あ る. デ ー タ が usually の Huber タ イ プ の pollution よ り も powerful な, enemy ain pollution に さ ら さ れ に た situations, ロ バ ス ト presumption の 収 beam レ ー ト を adjustable べ は る study, こ の years, very に ホ ッ ト な topic で あ る. Enemy ain pollution は デ ー タ の condition を see て か ら pollution can が な た め, very に powerful な pollution can を に す る. In this study, で で, linear circuit 帰にお 帰にお て て, ノ ズだけでなく ズだけでなく, and the pollution of the specific enemy pair にさらされる was investigated in を to see た. Amount, plus え て 徴 が high dimensional で あ り, true の back 帰 coefficient は ス パ ー ス で あ る と い う, ス パ ー ス high dimensional back 帰 の set を で research into め た. ノ イ ズ に masato し て は fringing が い distributions, especially 徴 quantity に masato し て は L サ ブ ガ ウ と ス distribution, and the past よ り も slow い 仮 set と し た. Amount, 徴 の covariance が already know の occasions と unknown の occasions を points け て investigation を into め た が, covariance が は の occasions, both あ る specific の estimator に し seaborne て は, past の research よ り も sharp い 収 beam レ ー ト を た. Prove に は generic chain と い う の techniques recently を make っ て お り, こ れ が sharp い 収 beam レ ー ト を have る た め の コ ア の techniques と な っ て い る. The paper を completed て is now in submission である.

项目成果

統計科学と機械学習の違いについて

关于统计科学和机器学习之间的区别

• 发表时间: 2018
• 作者: Izumi;S.;Hatayama;M.;藤澤洋徳
• 通讯作者: 藤澤洋徳

一般化線形回帰のロバスト化およびスパース化

使广义线性回归更加稳健和稀疏

• 发表时间: 2017
• 作者: 川島孝行;藤澤洋徳
• 通讯作者: 藤澤洋徳

University of Washington(米国)

华盛顿大学（美国）

外れ値に頑健な二重ロバスト推定

对异常值具有稳健性的双稳健估计

• 发表时间: 2021
• 作者: 原田和治;藤澤洋徳
• 通讯作者: 藤澤洋徳

ロバストな推定を導くダイバージェンス

差异导致稳健的估计

• 发表时间: 2020
• 作者: 船渡川伊久子;船渡川隆;藤澤洋徳
• 通讯作者: 藤澤洋徳