权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

深層学習によるCGイラスト制作自動化に向けた、CGイラスト制作補助システムの開発

开发利用深度学习实现CG插画制作自动化的CG插画制作辅助系统

基本信息

批准号：
20J12006
负责人：
増井建斗
金额：
$ 1.09万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-24 至 2022-03-31
项目状态：
已结题

项目摘要

今年度はCGイラスト制作補助システムを構成する要素について、イラストの3次元的な理解と着色制御について研究を行った。データセットの作成及び提案着色モデルの分析など、大きく分類して次の3点を行った。①法線マップを用いた着色の実現。昨年度に作成した法線マップ予測モデルを活用し、着色結果から予測される法線と線画から予測される法線の誤差を最小化する手法を新規提案実装し、法線編集による着色制御の可能性を研究した。開発した法線マップ予測モデルをスタイル変換能力の観点から分析した。結果として現状のモデルは主に線画情報を元として法線を予測するため、着色に与える影響が少ないことが判明した。線画情報だけでなく着色情報により重きをおいて法線を予測するモデルが、着色改善のために必要である。また、既存手法において問題となる様々なアーティファクトの生成を防ぐために、新規に法線マップ空間での近傍ベクトル差に対して正則化を研究し、改善した。②深度マップデータセットの作成及び深度マップの予測。イラストについて、より詳細な空間的情報を解釈可能なモデルを学習するため、法線マップに加えて深度マップのデータセットを作成した。既存手法による線画深度マップ予測においては精度に深刻な問題があったが、セグメンテーションモデルを前段階として導入した２段式のモデルを提案し、顕著な改善を確認した。③法線を使用した2段式線画着色モデルの検証。着色工程において、グリザイユ画法と呼ばれるように明度情報を先に決定した上で色相情報を後から追加する手法がある。昨年度の線画のみを用いた事前実験では明度情報の予測に難があることが確認されたが、法線マップを入力することにより顕著な改善が見られた。

This year's CG production subsidy system is composed of elements, three-dimensional understanding and coloring control research. The three points of analysis and classification of the color of the proposal are as follows: 1. The method of coloring is realized. This paper studies the possibility of color control by making new rules and implementing new methods to minimize the error of the method of prediction, color control by using the method of prediction, color control and color control. Open the door to the front of the room. The main line of information is: Line drawing information is necessary for coloring information. The problem of existing methods is to study and improve the regularization of existing methods. (2) Creation and prediction of depth. The information of the detailed space can be solved by adding the depth of the information of the normal line to the learning. The existing method is to predict the depth of the line and to confirm the accuracy of the line. 3. Use of two-segment line coloring to verify the accuracy of the method. Color engineering, color engineering There have been significant improvements in the use of line drawings last year, which made it difficult to confirm the prediction of brightness information and improved the effectiveness of the method.