权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

omni-directional image generation from snapshot image

从快照图像生成全方位图像

基本信息

批准号：
21K11943
负责人：
山中高夫
金额：
$ 2.08万
依托单位：
Sophia University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

本研究では，通常のスナップ写真から全天球画像を生成する課題を研究対象とした。全天球画像とは，カメラの全方向を同時に撮影して得られる画像のことで，仮想現実感(VR)や拡張現実感(AR)のコンテンツを作成する際に利用される。全天球画像の活用は徐々に増えつつあるが，通常のカメラで撮影されるスナップ写真に比べると，まだ限られた用途にしか活用されていない。本研究では手軽に撮影できるスナップ写真から全天球画像を生成する手法を確立することを目的とした。本年度は、(1) 階層型全天球画像生成モデルの検討、(2) MLPMixerを用いた手法に対する多様性の評価、(3) 任意のカメラ方向で撮影した画像から全天球画像の生成、(4) 拡散モデルの活用の検討の4点について検討を行った。(1)において、従来、単一のU-Netを用いて全天球画像を生成していたが、階層型全天球画像生成モデルでは、はじめに低解像度の画像から生成を初めて徐々に解像度の高い画像を生成する手法を提案した。(2)において、昨年度MLPMixerを利用した全天球画像生成手法を提案したが、本年度はその手法において中央に埋め込んだ入力画像の情報が全天球画像全体に効率的に伝達できているかを評価するために、生成された画像の多様性の評価を行った。(3)において、昨年度CNNを利用した手法で、任意のカメラ方向で撮影した画像から全天球画像を生成する手法を検討したが、本年度はMLPMixerを利用した手法でも任意のカメラ方向の入力で利用できるように検討した。(4)において、従来GANを利用して全天球画像生成を行っていたが、近年画像生成モデルとして利用されている拡散モデルの適用を検討した。現時点ではGANよりも精度の良い画像生成はできていないが、今後、その原因を検討することで拡散モデルの活用方法を検討する。

The purpose of this study is to create a portrait of the all-celestial sphere. The portrait of the all-celestial sphere is full of pictures, and the pictures are made in all directions at the same time. The portraits are made to make use of the images, and the images are made to make use of the images of the sky. The images of the omni-celestial sphere (VR), the images of the sky (AR), the images of the celestial sphere, the images of the celestial sphere, the image of the sky, the image of the sky, The portrait of the all-celestial sphere is used flexibly, usually in the context of photography, and limited use. The purpose of this study is to create a portrait of the all-celestial sphere. This year, (1) the image of the omni-celestial sphere is generated, (2) the MLPMixer is used to manipulate the image of the omni-celestial globe, (2) the image of the omni-celestial sphere is generated, (2) the image of the omni-celestial sphere is generated, (2) the image of the omni-celestial sphere is generated, (2) the image of the omni-celestial sphere is generated, (2) the image of the omni-celestial sphere is generated, (2) the image of the omni-celestial sphere is generated, (2) the image of the omni-celestial sphere is generated, (2) the image of the omni-celestial sphere is generated, (2) the image of the omni-celestial sphere is generated, (2) the image (1) the U-Net uses the image of the all-celestial sphere to generate the image of the all-celestial sphere, to generate the image of the all-celestial sphere, to generate the portrait of low resolution, to generate a high-resolution portrait, to generate a technique, to propose a proposal. (2) in the past year, MLPMixer has made use of the method of creating a panoramic portrait to propose a proposal, and this year, the central government has embedded itself in the portrait of the whole celestial globe. (3) Last year's CNN made use of the gimmick, the random direction, the portrait, the all-sky portrait, and this year's MLPMixer used the gimmick, the arbitrary direction, the force. (4) Lai GAN makes use of all-celestial portraits to generate lines and images. In recent years, portraits have been generated. In time to improve the accuracy of the GAN image is generated. In the future, the reason is to improve the accuracy of the method.