人間視覚に基づく画材に依存しない動画への絵画風効果付与

本年は非均質半透明物体が持つ光学的性質を単一画像から推定する方法について研究を実施した。絵画に用いられる画材の多くは厳密にいえば半透明であり、半透明な物体に光が当たると、その物体表面下で複雑な光の拡散、吸収が起こる。この光学現象は表面化散乱と呼ばれ、絵画に限らず多くの実物体が持つ特有の見た目を作り上げている。この現象の物理的性質を少ない入力情報から推定できれば、CG画像の生成のほかにも広い用途に推定結果を利用できるため、この推定には本研究の主目的である絵画の見た目の忠実な再現以上に重要な意味がある。従来研究では、半透明物体の物理的性質を定めるパラメータの多さから測定対象が液体に限定されていたり、大量の計算リソースや特殊な撮影機材が必要であったりするなど多くの制約があった。本研究では、より多くの人が手軽に利用できることが重要と考え、単一の入力画像から非均質半透明物体の光学的性質を推定する方針とした。単一画像から複雑な光学的性質を推定する研究は少なく、唯一Munozらの研究[1]が均質な半透明物体に対して推定を試みたのみであった。Munozらの研究を追実験して、有効性を検証した結果、物理的な厳密さに妥協を許せば、得られるCG画像は実用に耐えうることが分かった。Munozらの研究では、物体の光学的性質を双方向拡散表面反射分布関数(以下BSSRDF)の形で推定した。Munozらの手法を非均質の半透明物体に拡張するため、本研究ではBSSRDFを扱いの容易な二つの関数の相乗平均で近似して、入力画像が持つ情報の少なさを補った。また見た目の近い画素同士を画像上でクラス分けし、同クラス内の画素が同様の光学的性質を持つと仮定することで、さらに推定パラメータを減らした。実験の結果、上記の近似によって物理的な厳密性が多少失われるものの、推定結果からCG画像を生成した際の見た目は十分に実物体に近いリアルさを再現できることが分かった。

本年は非均質半透明物体が持つ光学的性質を単一画像から推定する方法について研究を実施した。絵画に用いられる画材の多くは厳密にいえば半透明であり、半透明な物体に光が当たると、その物体表面下で複雑な光の拡散、吸収が起こる。この光学現象は表面化散乱と呼ばれ、絵画に限らず多くの実物体が持つ特有の見た目を作り上げている。この現象の物理的性質を少ない入力情報から推定できれば、CG画像の生成のほかにも広い用途に推定結果を利用できるため、この推定には本研究の主目的である絵画の見た目の忠実な再現以上に重要な意味がある。従来研究では、半透明物体の物理的性質を定めるパラメータの多さから測定対象が液体に限定されていたり、大量の計算リソースや特殊な撮影機材が必要であったりするなど多くの制約があった。本研究では、より多くの人が手軽に利用できることが重要と考え、単一の入力画像から非均質半透明物体の光学的性質を推定する方針とした。単一画像から複雑な光学的性質を推定する研究は少なく、唯一Munozらの研究[1]が均質な半透明物体に対して推定を試みたのみであった。Munozらの研究を追実験して、有効性を検証した結果、物理的な厳密さに妥協を許せば、得られるCG画像は実用に耐えうることが分かった。Munozらの研究では、物体の光学的性質を双方向拡散表面反射分布関数(以下BSSRDF)の形で推定した。Munozらの手法を非均質の半透明物体に拡張するため、本研究ではBSSRDFを扱いの容易な二つの関数の相乗平均で近似して、入力画像が持つ情報の少なさを補った。また見た目の近い画素同士を画像上でクラス分けし、同クラス内の画素が同様の光学的性質を持つと仮定することで、さらに推定パラメータを減らした。実験の結果、上記の近似によって物理的な厳密性が多少失われるものの、推定結果からCG画像を生成した際の見た目は十分に実物体に近いリアルさを再現できることが分かった。