High precision blind image deconvolution based on image feature extraction

申請者は，ぶれ除去を含む画像劣化問題を一般化し，画像に発生する劣化を画像再構成問題によって復元する手法を取り上げた．本研究では超解像の事前情報を解消し，高速な処理を実現した．またぶれ除去問題において特徴抽出を活用した高精度な処理と，共役勾配法を用いた高速な処理を両立させた．これらの技術は一般の画像再構成問題にも応用可能であり，今後の画像処理技術を発展させる大きな発見であるといえる．また，申請者はぶれ除去技術を深層学習を用いて実現する手法の開発を行った．畳み込みニューラルネットワークを用いた深層学習は，計算環境の進歩に伴い，物体識別の分野に始まり，画像処理の多くの分野において高い性能を持ち，注目されている．深層学習技術の画像信号処理への応用例としては，ノイズ除去，超解像，画像生成などがある．深層学習に基づく画像のぶれ除去においては，画像に発生するぶれの種類が多岐にわたり，またその特性が未知である点が問題となる．画像のぶれは，焦点ぼけ，モーションぶれの組み合わせによって発生しており，それぞれのぶれの程度は写真によって大きく変化する．また，同一写真内においても，被写体の遠近による焦点ぼけの大小，３次元回転によるモーションぶれの場所依存性が発生する．これらの多様な種類のぼけを単一のネットワークによる統一的な処理で実現するのは非常に困難である．申請者は深層学習に基づくぶれ画像の処理方式として，2つの方式を提案した．1つ目の方式は，ぶれ軌跡を既知としつつ，ぶれ画像をDeep Image Priorを用いて再構成を行うもので，深層学習ネットが画像の特徴的な部分を優先的に学習する性質を用いて，事前学習が不要な画像再構成手法を提案した．もう1つの方式では，非線形最適化によるブレ除去と深層学習によるリンギング除去を組み合わせ，入力ブレ軌跡の多様性の影響を抑えた画像補正を実現した．

申請者は，ぶれ除去を含む画像劣化問題を一般化し，画像に発生する劣化を画像再構成問題によって復元する手法を取り上げた．本研究では超解像の事前情報を解消し，高速な処理を実現した．またぶれ除去問題において特徴抽出を活用した高精度な処理と，共役勾配法を用いた高速な処理を両立させた．これらの技術は一般の画像再構成問題にも応用可能であり，今後の画像処理技術を発展させる大きな発見であるといえる．また，申請者はぶれ除去技術を深層学習を用いて実現する手法の開発を行った．畳み込みニューラルネットワークを用いた深層学習は，計算環境の進歩に伴い，物体識別の分野に始まり，画像処理の多くの分野において高い性能を持ち，注目されている．深層学習技術の画像信号処理への応用例としては，ノイズ除去，超解像，画像生成などがある．深層学習に基づく画像のぶれ除去においては，画像に発生するぶれの種類が多岐にわたり，またその特性が未知である点が問題となる．画像のぶれは，焦点ぼけ，モーションぶれの組み合わせによって発生しており，それぞれのぶれの程度は写真によって大きく変化する．また，同一写真内においても，被写体の遠近による焦点ぼけの大小，３次元回転によるモーションぶれの場所依存性が発生する．これらの多様な種類のぼけを単一のネットワークによる統一的な処理で実現するのは非常に困難である．申請者は深層学習に基づくぶれ画像の処理方式として，2つの方式を提案した．1つ目の方式は，ぶれ軌跡を既知としつつ，ぶれ画像をDeep Image Priorを用いて再構成を行うもので，深層学習ネットが画像の特徴的な部分を優先的に学習する性質を用いて，事前学習が不要な画像再構成手法を提案した．もう1つの方式では，非線形最適化によるブレ除去と深層学習によるリンギング除去を組み合わせ，入力ブレ軌跡の多様性の影響を抑えた画像補正を実現した．