人間視覚に基づく画材に依存しない動画への絵画風効果付与

基于人类视觉，为视频添加不依赖艺术材料的绘画效果

• 批准号: 14J00211
• 负责人: 谷田川 達也
• 金额: $ 1.09万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2014
• 资助国家: 日本
• 起止时间: 2014-04-25 至 2016-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14J00211/
• 关键词: 双方向拡散表面反射分布関数; 画像に基づく物理パラメータ推定; 逆問題; 画像・動画編集; 情報圧縮; スパース正則化

本年は非均質半透明物体が持つ光学的性質を単一画像から推定する方法について研究を実施した。絵画に用いられる画材の多くは厳密にいえば半透明であり、半透明な物体に光が当たると、その物体表面下で複雑な光の拡散、吸収が起こる。この光学現象は表面化散乱と呼ばれ、絵画に限らず多くの実物体が持つ特有の見た目を作り上げている。この現象の物理的性質を少ない入力情報から推定できれば、CG画像の生成のほかにも広い用途に推定結果を利用できるため、この推定には本研究の主目的である絵画の見た目の忠実な再現以上に重要な意味がある。従来研究では、半透明物体の物理的性質を定めるパラメータの多さから測定対象が液体に限定されていたり、大量の計算リソースや特殊な撮影機材が必要であったりするなど多くの制約があった。本研究では、より多くの人が手軽に利用できることが重要と考え、単一の入力画像から非均質半透明物体の光学的性質を推定する方針とした。単一画像から複雑な光学的性質を推定する研究は少なく、唯一Munozらの研究[1]が均質な半透明物体に対して推定を試みたのみであった。Munozらの研究を追実験して、有効性を検証した結果、物理的な厳密さに妥協を許せば、得られるCG画像は実用に耐えうることが分かった。Munozらの研究では、物体の光学的性質を双方向拡散表面反射分布関数(以下BSSRDF)の形で推定した。Munozらの手法を非均質の半透明物体に拡張するため、本研究ではBSSRDFを扱いの容易な二つの関数の相乗平均で近似して、入力画像が持つ情報の少なさを補った。また見た目の近い画素同士を画像上でクラス分けし、同クラス内の画素が同様の光学的性質を持つと仮定することで、さらに推定パラメータを減らした。実験の結果、上記の近似によって物理的な厳密性が多少失われるものの、推定結果からCG画像を生成した際の見た目は十分に実物体に近いリアルさを再現できることが分かった。

This year, the study of optical properties of heterogeneous translucent objects was carried out by a method of image estimation. There are many painting materials used in painting, such as translucent materials, translucent objects, and complex light scattered and absorbed under the surface of objects. This optical phenomenon is characterized by surface scattering, noise and noise, and limited to multiple objects. The physical properties of these phenomena are derived from information on the forces involved in the estimation and use of CG images. The estimation results are used to reproduce the main purpose of this study. To study the determination of physical properties of translucent objects, a large number of computational solutions and special imaging devices are necessary to determine the number of measurements of objects. This study is aimed at estimating the optical properties of heterogeneous translucent objects. A study on the estimation of the optical properties of a single image [1] Munoz's research is based on the results of scientific research, physical research, and research. Munoz's research on the optical properties of objects and the shape estimation of the bi-directional scattering surface reflection distribution coefficient (hereinafter BSSRDF) Munoz's technique is not homogeneous and translucent objects are stretched. This study is to supplement the lack of information in BSSRDF The optical properties of the pixels in the same image are determined and reduced. The result of the experiment, the approximation of the physical data, the number of missing data, the estimation of the CG image, the generation of the CG image, the observation of the object, and the reproduction of the CG image.

项目成果

Sparse Pixel Samplingの研究紹介

稀疏像素采样研究简介

Sparse pixel sampling for appearance edit propagation

• DOI: 10.1007/s00371-015-1094-y
• 发表时间: 2015-06
• 期刊: The Visual Computer
• 作者: Tatsuya Yatagawa;Yasushi Yamaguchi

スパース放射基底関数マップによるリアルタイム画像・動画編集法

使用稀疏径向基函数图的实时图像/视频编辑方法

• 发表时间: 2014
• 作者: 谷田川 達也;山口 泰
• 通讯作者: 山口 泰

Temporally Cohenrent Video Editingの研究紹介

时间一致视频编辑研究介绍

Temporally coherent video editing using an edit propagation matrix

• DOI: 10.1016/j.cag.2014.05.001
• 发表时间: 2014-10
• 期刊: Comput. Graph.
• 作者: Tatsuya Yatagawa;Yasushi Yamaguchi