進化計算による関数最適化の効率化および自動化

当初の研究計画の通り,進化計算を用いた関数最適化を効率化および自動化するためには,進化計算を理論的に理解することが必要であるとの考えに基づき,進化計算の理論解析を行った.まず,進化計算の初期収束に関する理論的考察を行った.多点探索である進化計算が最適解でない点に対して収束してしまう現象であり,多くの進化計算手法が抱える初期収束と呼ばれる問題に対し,根本的な解決策を求め,進化計算のうち特に優れた探索アルゴリズムであるCMA-ESが,連続的一階微分可能な目的関数のもとで初期収束を起こさない十分条件を導出した.また,具体的な二つの類似したアルゴリズムにおいて,導出された条件の充足・未充足を解析することで,僅かなアルゴリズムの差異により探索性能が大きく変化することを示し,初期収束を防ぐためのアルゴリズムの設計指針を与えた.次に,CMA-ESの更なる発展のため,情報幾何の観点からCMA-ESの振る舞いを理論的に考察した.まず,CMA-ESにおけるパラメータ更新が,目的関数の探索点生成分布の下での期待評価値関数の自然勾配方向となっていることを示した.また,期待評価値関数の特徴を考察することで,期待評価値の単調減少を保証するための,自然勾配方向に対するステップサイズの範囲を導出した.さらに,EM法としてのCMA-ESの解釈を加えることで,統計モデルにおけるCMA-ESの探索点生成分布の移り変わりと期待評価値の関係を,幾何的に示した.これにより,これまで直観的に理解されてきた進化計算のパラメータ更新方法が,勾配法という伝統的な関数最適化法と関係していることが明らかとなった.勾配法は既に良く理論解析がなされており,また,幾何的にも考察しやすいため,CMA-ESの理論研究アルゴリズム設計の両面において,ブレイクスルーとなりうる.また,自然勾配やEMアルゴリズムといった機械学習において用いられてきた方法との関係が見えてきたことにより,既に機械学習においてなされている工夫を取り入れることによる効率化や自動化が期待できる.

当初の研究計画の通り,進化計算を用いた関数最適化を効率化および自動化するためには,進化計算を理論的に理解することが必要であるとの考えに基づき,進化計算の理論解析を行った.まず,進化計算の初期収束に関する理論的考察を行った.多点探索である進化計算が最適解でない点に対して収束してしまう現象であり,多くの進化計算手法が抱える初期収束と呼ばれる問題に対し,根本的な解決策を求め,進化計算のうち特に優れた探索アルゴリズムであるCMA-ESが,連続的一階微分可能な目的関数のもとで初期収束を起こさない十分条件を導出した.また,具体的な二つの類似したアルゴリズムにおいて,導出された条件の充足・未充足を解析することで,僅かなアルゴリズムの差異により探索性能が大きく変化することを示し,初期収束を防ぐためのアルゴリズムの設計指針を与えた.次に,CMA-ESの更なる発展のため,情報幾何の観点からCMA-ESの振る舞いを理論的に考察した.まず,CMA-ESにおけるパラメータ更新が,目的関数の探索点生成分布の下での期待評価値関数の自然勾配方向となっていることを示した.また,期待評価値関数の特徴を考察することで,期待評価値の単調減少を保証するための,自然勾配方向に対するステップサイズの範囲を導出した.さらに,EM法としてのCMA-ESの解釈を加えることで,統計モデルにおけるCMA-ESの探索点生成分布の移り変わりと期待評価値の関係を,幾何的に示した.これにより,これまで直観的に理解されてきた進化計算のパラメータ更新方法が,勾配法という伝統的な関数最適化法と関係していることが明らかとなった.勾配法は既に良く理論解析がなされており,また,幾何的にも考察しやすいため,CMA-ESの理論研究アルゴリズム設計の両面において,ブレイクスルーとなりうる.また,自然勾配やEMアルゴリズムといった機械学習において用いられてきた方法との関係が見えてきたことにより,既に機械学習においてなされている工夫を取り入れることによる効率化や自動化が期待できる.