Study on fast and accurate classifier learning method from unlabeled big data

无标签大数据快速准确分类器学习方法研究

• 批准号: 20K21815
• 负责人: 鷲尾 隆
• 金额: $ 4.08万
• 依托单位: Osaka University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Research (Exploratory)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-07-30 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K21815/
• 关键词: 機械学習; 分類器; 回帰式; 教師無し学習; UUC学習; 非結合回帰; クラス事前分布推定; ガウス過程回帰; 弱学習; 教師無し分類器学習; ラベル無しデータ; ビッグデータ

近年、ビッグデータから分類器や回帰式を学習するニーズが増しているが、データ収集の制約やコストから目的変数値が教師信号として得られ難いことが問題となっている。これに対し近年、目的変数値無し事例集合とその目的変数値の分布情報のみが与えられる場合に、正負例割合の異なる２つの事例集合から分類器を学習するUUC手法や、事例間の目的変数値の大小関係のみが知られた事例集合と目的変数値無し事例集合から回帰式を学習する非結合回帰手法が提案されている。何れも事例集合中の正負例の割合など目的変数値の分布が予め知られていることを前提としている。しかし、現実のビッグデータでは目的変数値の分布が知られていることは少なく、これらの手法を実適用する上で障害となっている。さらに、真の目的変数値が全く得られない条件で、如何に学習した分類器や回帰式の精度や不確実性を評価するかも問題である。そこで本研究では令和３年度までに、(1)目的変数値の分布が知られていないデータから目的変数値の分布を推定し、分類器や回帰式を学習する手法の研究、さらに(2)教師信号無しに学習した分類器や回帰式の精度・不確実性を評価する手法の研究に取り組んだ。しかしながら各々の研究項目についてコロナ禍の状況下で研究が十分進まず、(1)については目的変数値分布を用いないUUC手法の開発、(2)については分類器や回帰式のパラメータや目的変数値の事後分布推定手法の構築が積み残しとなった。令和４年度は、(1)について目的変数値の分布が得られなくても分類器を学習可能な条件を探求し、それに基づくUUC分類器学習原理と学習アルゴリズムの開発を行った。(2)については対象問題に関する事前知識を反映したモデルを補助情報として用いることで、モデルパラメータや目的変数値の事後分布を推定可能な原理とアルゴリズムを開発した。

In recent years, the classification system has been increasing in size and size, and the classification system has been increasing in size and size. The UUC method is used to learn the relationship between the target value and the size of the target value. The method is used to learn the relationship between the target value and the size of the target value. What is the distribution of the negative number in the case set? The distribution of the value of the object is known, and the method is applied. In this paper, the objective value is obtained from all the conditions, and the accuracy of the classifier and the algorithm is evaluated. This study includes three parts: (1) the study of the method of learning classifier and regression model,(2) the study of the method of evaluating the accuracy and inaccuracy of classifier and regression model without teacher signal. (1) The development of UUC method for the distribution of target values;(2) The construction of cumulative residual method for the estimation of target values by the method of classification and regression. In the fourth year,(1) the distribution of the target number is obtained, and the conditions for the classifier to learn are explored. (2)A priori knowledge of the problem is reflected in the estimation of the probability distribution of the target value.

项目成果

Isolation Distributional Kernel: A New Tool for Kernel based Anomaly Detection

• DOI: 10.1145/3394486.3403062
• 发表时间: 2020-07
• 期刊: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining
• 作者: K. Ting;Bi-Cun Xu;T. Washio;Zhi-Hua Zhou

アンサンブル最近傍距離を用いたラベル無しデータからの分類器学習

使用集成最近邻距离从未标记数据中学习分类器

• 发表时间: 2020
• 作者: 松本 瑞季;鷲尾 隆
• 通讯作者: 鷲尾 隆

Class Prior Probability Estimation Using Density Ratio from Unlabeled and Contaminated Positive Datasets

使用未标记和污染的阳性数据集的密度比进行类先验概率估计

• 发表时间: 2021
• 作者: Takemoto Ayumi;Iwaki Sunao;Duo Zhoumao;Yasumuro Shinobu;Kumada Takatsune;伊東亮太，小川奈美，鳴海拓志，廣瀬通孝;関本大勢・本吉勇;Takeshi Yoshida and Eitaro Shinya
• 通讯作者: Takeshi Yoshida and Eitaro Shinya

Isolation kernel: the X factor in efficient and effective large scale online kernel learning

• DOI: 10.1007/s10618-021-00785-1
• 发表时间: 2019-07
• 期刊: Data Mining and Knowledge Discovery
• 影响因子: 4.8
• 作者: K. Ting;Jonathan R. Wells;T. Washio

Nanjing University(中国)

南京大学（中国）