機械学習上の非線形最適化の発展と深化

机器学习中非线性优化的发展和深化

• 批准号: 20K14986
• 负责人: 中山 舜民
• 金额: $ 2.08万
• 依托单位: The University of Electro-Communications (2022)Chuo University (2020-2021)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K14986/
• 关键词: 非線形最適化; 近接勾配法; ニュートン法; 多様体; 無制約最適化; スパース最適化; 準ニュートン法; DC最適化; 近接DCA; 機械学習; 勾配法

目的関数が微分可能な関数と微分不可な関数の和で表される最適化問題に対するアルゴリズムとして、ニュートン型近接勾配法に注目した。ニュートン型近接勾配法において、重み付き近接写像と呼ばれる部分問題の計算効率の悪さが課題である。本研究では、比較的簡単に部分問題を解くことのできる、対称ランクワン公式を用いたニュートン型近接勾配法を開発し、アルゴリズム全体の計算効率改善に成功した。また提案手法の収束性解析を行い、数値実験を通じて有効性を示した。上述のニュートン型近接勾配法とは異なるアプローチとして、ヘッセ行列の対角成分だけを取り出したニュートン型近接勾配法（近接対角ニュートン法）を開発した。既存のニュートン型近接勾配法とは異なり、対角行列を用いた重み付き近接写像は閉形式で計算ができるといった利点が挙げられる。提案手法の収束性を解析し、特定の条件下では提案手法が優れていることを示した。昨年度の研究成果として刈り込みL1関数を用いたロバストなスパース回帰問題のモデルを提案している。このモデルを画像処理におけるイメージレジストレーションと呼ばれる画像の位置合わせ手法に応用した。この方法は画像の外れ値に影響されない頑健な手法であることが大きな特徴である。現在まで取り組んできたユークリッド空間上の最適化問題に対するメモリーレス準ニュートン法をリーマン多様体上の最適化問題に拡張した。提案手法の収束性について解析し、数値実験を通じて提案手法の有効性を示した。上下限制約付き最適化問題に対する有効制約ブロックBarzilai-Borwein（BB）法を提案した。応用上の問題では、問題の変数の属性ごとに独立した性質を持つことに注目した。通常の有効制約BB法はすべての変数に対してスケーリングを施すことに対して、提案手法では変数をブロック分割し、属性ごとに異なるスケーリングを施すことを試みた。

Objective: To study the optimization problem of differential probability and differential probability. The calculation efficiency of some problems in the near connection method is discussed. In this research, some problems have been solved in terms of simplicity of comparison, and the equivalent Linkwan formula has been developed using the Itani-type proximity matching method, which has successfully improved the calculation efficiency of the entire system. The analysis of the proposed method is carried out in a number of ways. The above-mentioned approach to close contact method is developed in the following ways: the first step is to select the corresponding angle component of the array; the second step is to select the corresponding angle component of the array. The existing close connection method is different, the opposite angle array is used, the close connection image is closed, the calculation is used, and the advantage point is used. The analysis of the binding property of the proposal method shows that the proposal method is optimal under certain conditions. Last year's research results were published in the journal L1. This is the first time I've ever seen a picture of myself. The method of painting and the external value of the painting affect the characteristics of the painting. The optimization problem on the multi-dimensional space is solved by the method of multi-dimensional optimization. The analysis and numerical value of the proposed method are shown through the effectiveness of the proposed method. Barzilai-Borwein (BB) method for upper and lower bound constraint optimization problems The problem of using the problem is not, the problem of the number of attributes is not independent of the nature of the problem. Usually, the BB method is used to divide and divide the data.

项目成果

悪条件の問題に対する近接対角ニュートン法の提案とその優位性について

病态问题的近似对角牛顿法的提出及其优越性

• 发表时间: 2023
• 作者: 柳下翔太郎;中山舜民
• 通讯作者: 中山舜民

A proximal quasi-Newton method based on memoryless modified symmetric rank-one formula

基于无记忆修正对称一阶公式的近端拟牛顿法

• DOI: 10.3934/jimo.2022123
• 发表时间: 2023
• 期刊: Journal of Industrial and Management Optimization
• 影响因子: 1.3
• 作者: Yasushi Narushima;Shummin Nakayama
• 通讯作者: Shummin Nakayama

内部反復を改良したメモリーレスBFGS公式に基づく非厳密ニュートン型近接勾配法

基于改进内部迭代的无记忆BFGS公式的非精确牛顿邻近梯度法

• 发表时间: 2021
• 作者: 中山舜民;成島康史;矢部博
• 通讯作者: 矢部博

An inexact proximal difference-of-convex algorithm based on memoryless quasi-Newton methods

基于无记忆拟牛顿法的不精确近端差凸算法

• 发表时间: 2021
• 作者: 中山舜民;成島康史;矢部博
• 通讯作者: 矢部博

無制約最適化アルゴリズム ～準ニュートン法を中心に～

无约束优化算法~重点关注拟牛顿法~

• 发表时间: 2021
• 作者: Li-Yu Chen;Seike Miho;Kawabata Nobuyoshi;Hasegawa Masato;Chien Shen-Wen;Shen Tzu-Sheng;松永浩貴，加藤勝美，羽生宏人，野田賢，三宅淳巳;中山舜民
• 通讯作者: 中山舜民