Explore how to facilitate the human creative process from the perspective of Computer G raphics

从计算机图形学的角度探索如何促进人类的创造过程

• 批准号: 21F20075
• 负责人: 五十嵐 健夫
• 金额: $ 1.47万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21F20075/
• 关键词: コンピューターグラフィックス; 機械学習; コンピュータグラフィックス; 設計支援アルゴリズム

In the past year, I have worked on seven projects and had four papers accepted.The main theme of these projects is (1) to increase the ability of the generative model by providing user inputs and (2) to assist users in creating ML algorithms. These projects are relevant to edit nerf model and capturing nerf model, image-based shape part manipulation, indoor scene reconstruction from 360 images, and layout generation for graphic design.In more detail, I introduce the first framework that enables users to remove unwanted objects or retouch undesired regions in a 3D scene represented by a pre-trained NeRF without any category-specific data and training. On the other hand, I proposed a novel containment-aware loss function for layout generation.

在过去的一年里，我参与了七个项目，并有四篇论文被接受。这些项目的主题是（1）通过提供用户输入来提高生成模型的能力，（2）帮助用户创建ML算法。这些项目与编辑nerf模型和捕获nerf模型、基于图像的形状部件操作、从360图像重建室内场景以及平面设计的布局生成相关。更详细地说，我介绍了第一个框架，该框架使用户能够删除不需要的对象或修饰由预训练的NeRF表示的3D场景中不需要的区域，无需任何特定类别的数据和训练。另一方面，我提出了一种新的包含感知的布局生成损失函数。

项目成果

360MVSNet

360MVS网

Per Garment Capture and Synthesis for Real-time Virtual Try-on

• DOI: 10.1145/3472749.3474762
• 发表时间: 2021-09
• 期刊: The 34th Annual ACM Symposium on User Interface Software and Technology
• 作者: T. Chong;I-Chao Shen;Nobuyuki Umetani;T. Igarashi

ODEN: ニューラルネットワークアーキテクチャ編集のためのライブプログラミング

ODEN：神经网络架构编辑的实时编程

Data-Driven Sketch Beautification With Neural Feature Representation

• DOI: 10.1109/mcg.2021.3115181
• 发表时间: 2021-09
• 期刊: IEEE Computer Graphics and Applications
• 影响因子: 1.8
• 作者: I-Chao Shen

360MVSNet: Deep Multi-view Stereo Network with 360° Images for Indoor Scene Reconstruction

• DOI: 10.1109/wacv56688.2023.00307
• 发表时间: 2023-01
• 期刊: 2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)
• 作者: Ching-Ya Chiu;Yu-Ting Wu;I-Chao Shen;Yung-Yu Chuang