高次の組合せ特徴を用いる機械学習アルゴリズムの解釈性・性能の向上に関する研究

利用高阶组合特征提高机器学习算法的可解释性和性能的研究

• 批准号: 20J13620
• 负责人: 新 恭兵
• 金额: $ 1.09万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-24 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J13620/
• 关键词: Factorization Machine; 特徴の組合せ; ランダム特徴

令和2年度は、特徴の組合せを扱う手法であるFactorization Machine（FM）とその拡張において、予測に有用な特徴の組合せを選択する方法の開発に主に取り組んだ。この方法により、予測モデルの解釈可能性を向上させることができる。既存の方法は、特徴の組合せではなく特徴そのものしか選択できないが、提案法は特徴の組合せを選択することができ高速に動作する。また、提案法に関していくつかの理論的な結果も示した。さらに、近年提案されている深層学習ベースの方法と、前述の方法のアイデアを上手く融合し、「入力に依存した特徴の組合せの選択」を行う手法を提案した。この手法は、前述の手法と比較し、予測モデルの解釈可能性だけでなく予測性能も大きく向上させる。特徴の組合せはランダム特徴という手法によっても扱うことができる。ランダム特徴を用いた場合、データの数が膨大であっても高速に学習することができる一方で、データのスパース性をうまく活用できないといった問題もあった。申請者は、データのスパース性を利用し、より高速かつ省メモリに動作する、特徴の組合せを扱うランダム特徴を提案した。特徴の組合せを用いる方法として、FMやランダム特徴だけでなく、決定木といった木ベースの方法も知られている。申請者は、決定木ベースの方法・FMの拡張・ランダム特徴の間の数理的な関係を示した。これによって、新たな予測モデルの提案や、より効率の良い学習アルゴリズムの提案、FMやランダム特徴ベースの手法を木ベースの手法に変換しグラフィカルに表現することで解釈可能性を向上させる、といったことが可能になりうる。さらには、特徴量がいくつものパーティに分割されて保持されているときに、データを直接共有することなく、FM及びFMを拡張したモデルを学習するアルゴリズムを提案した論文が国際会議に採択された。

In the second year, the combination of features and methods is selected from Factorization Machine (FM), expansion, prediction and useful features. This method is used to predict the probability of solution. Existing methods include: combination of features; selection of features; and high speed of motion. The results of the proposed method are shown in the following paragraphs. In recent years, the proposal has been made for the method of deep learning, the integration of the above methods, and the selection of the combination of input and dependent features. This method is opposite to the method described above, and the solution probability of the prediction method is higher than that of the prediction method. The combination of characteristics is not easy to find. The number of characters in the game is increasing, and the number of characters is increasing. The applicant shall propose a proposal for the utilization of the characteristics of the data, the combination of characteristics, the operation of the data, and the characteristics of the data. The combination of characteristics is used in the method of identification, FM and FM. The characteristics are divided into three parts: identification, determination and identification. The applicant shall demonstrate the mathematical relationship between the characteristics of the system and the method for determining the system parameters. This is a new way to predict, predict, For example, if you are interested in a topic, please contact us.

项目成果

Vertical Federated Learning for Higher-order Factorization Machines

高阶分解机的垂直联合学习

• 发表时间: 2021
• 作者: 松田知華;緒方はづき;菅野萌;石川明良;山田満月;亀本佳世子;甘賢俊;小泉和史;中村真理子;髙橋英幸;須永美歌子;Kyohei Atarashi and Masakazu Ishihata
• 通讯作者: Kyohei Atarashi and Masakazu Ishihata