深層学習によるCGイラスト制作自動化に向けた、CGイラスト制作補助システムの開発

今年度はCGイラスト制作補助システムを構成する要素について、イラストの3次元的な理解と着色制御について研究を行った。データセットの作成及び提案着色モデルの分析など、大きく分類して次の3点を行った。①法線マップを用いた着色の実現。昨年度に作成した法線マップ予測モデルを活用し、着色結果から予測される法線と線画から予測される法線の誤差を最小化する手法を新規提案実装し、法線編集による着色制御の可能性を研究した。開発した法線マップ予測モデルをスタイル変換能力の観点から分析した。結果として現状のモデルは主に線画情報を元として法線を予測するため、着色に与える影響が少ないことが判明した。線画情報だけでなく着色情報により重きをおいて法線を予測するモデルが、着色改善のために必要である。また、既存手法において問題となる様々なアーティファクトの生成を防ぐために、新規に法線マップ空間での近傍ベクトル差に対して正則化を研究し、改善した。②深度マップデータセットの作成及び深度マップの予測。イラストについて、より詳細な空間的情報を解釈可能なモデルを学習するため、法線マップに加えて深度マップのデータセットを作成した。既存手法による線画深度マップ予測においては精度に深刻な問題があったが、セグメンテーションモデルを前段階として導入した２段式のモデルを提案し、顕著な改善を確認した。③法線を使用した2段式線画着色モデルの検証。着色工程において、グリザイユ画法と呼ばれるように明度情報を先に決定した上で色相情報を後から追加する手法がある。昨年度の線画のみを用いた事前実験では明度情報の予測に難があることが確認されたが、法線マップを入力することにより顕著な改善が見られた。

今年度はCGイラスト制作補助システムを構成する要素について、イラストの3次元的な理解と着色制御について研究を行った。データセットの作成及び提案着色モデルの分析など、大きく分類して次の3点を行った。①法線マップを用いた着色の実現。昨年度に作成した法線マップ予測モデルを活用し、着色結果から予測される法線と線画から予測される法線の誤差を最小化する手法を新規提案実装し、法線編集による着色制御の可能性を研究した。開発した法線マップ予測モデルをスタイル変換能力の観点から分析した。結果として現状のモデルは主に線画情報を元として法線を予測するため、着色に与える影響が少ないことが判明した。線画情報だけでなく着色情報により重きをおいて法線を予測するモデルが、着色改善のために必要である。また、既存手法において問題となる様々なアーティファクトの生成を防ぐために、新規に法線マップ空間での近傍ベクトル差に対して正則化を研究し、改善した。②深度マップデータセットの作成及び深度マップの予測。イラストについて、より詳細な空間的情報を解釈可能なモデルを学習するため、法線マップに加えて深度マップのデータセットを作成した。既存手法による線画深度マップ予測においては精度に深刻な問題があったが、セグメンテーションモデルを前段階として導入した２段式のモデルを提案し、顕著な改善を確認した。③法線を使用した2段式線画着色モデルの検証。着色工程において、グリザイユ画法と呼ばれるように明度情報を先に決定した上で色相情報を後から追加する手法がある。昨年度の線画のみを用いた事前実験では明度情報の予測に難があることが確認されたが、法線マップを入力することにより顕著な改善が見られた。