高次の組合せ特徴を用いる機械学習アルゴリズムの解釈性・性能の向上に関する研究

点击翻译按钮获取中文摘要

令和2年度は、特徴の組合せを扱う手法であるFactorization Machine（FM）とその拡張において、予測に有用な特徴の組合せを選択する方法の開発に主に取り組んだ。この方法により、予測モデルの解釈可能性を向上させることができる。既存の方法は、特徴の組合せではなく特徴そのものしか選択できないが、提案法は特徴の組合せを選択することができ高速に動作する。また、提案法に関していくつかの理論的な結果も示した。さらに、近年提案されている深層学習ベースの方法と、前述の方法のアイデアを上手く融合し、「入力に依存した特徴の組合せの選択」を行う手法を提案した。この手法は、前述の手法と比較し、予測モデルの解釈可能性だけでなく予測性能も大きく向上させる。特徴の組合せはランダム特徴という手法によっても扱うことができる。ランダム特徴を用いた場合、データの数が膨大であっても高速に学習することができる一方で、データのスパース性をうまく活用できないといった問題もあった。申請者は、データのスパース性を利用し、より高速かつ省メモリに動作する、特徴の組合せを扱うランダム特徴を提案した。特徴の組合せを用いる方法として、FMやランダム特徴だけでなく、決定木といった木ベースの方法も知られている。申請者は、決定木ベースの方法・FMの拡張・ランダム特徴の間の数理的な関係を示した。これによって、新たな予測モデルの提案や、より効率の良い学習アルゴリズムの提案、FMやランダム特徴ベースの手法を木ベースの手法に変換しグラフィカルに表現することで解釈可能性を向上させる、といったことが可能になりうる。さらには、特徴量がいくつものパーティに分割されて保持されているときに、データを直接共有することなく、FM及びFMを拡張したモデルを学習するアルゴリズムを提案した論文が国際会議に採択された。