質感再現のための任意視点画像生成ネットワーク

用于纹理再现的任意视点图像生成网络

基本信息

  • 批准号:
    22K12088
  • 负责人:
  • 金额:
    $ 2.66万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
  • 财政年份:
    2022
  • 资助国家:
    日本
  • 起止时间:
    2022-04-01 至 2025-03-31
  • 项目状态:
    未结题

项目摘要

本年度は、質感再現に向けての第一歩として、鏡面反射を伴う金属物体の視点補間を試みた。画像変換によく用いられる深層ニューラルネットワークであるU-Netを改良し、四隅での撮影画像と視点座標を入力とし、任意の視点位置における画像を出力するようにした。CGを用いた実験により、金属物体の反射が提案手法により再現できることを確認した。本研究成果はCG分野の主要国際会議である Computer Graphics International 2022 (CGI 2022) で発表し、後に論文が Virtual Reality & Intelligent Hardware に掲載された。さらに、表面化散乱を伴う物体に対しても同様の実験を行い、金属物体だけでなくより複雑な反射特性を持つ物体にも提案手法が適用できることを示した。また、スタイル変換により法線画像から金属物体の質感を再現する実験を行った。環境マップを使用して周囲環境が映り込んだ金属物体の画像をCGで生成し、ネットワークの訓練に用いた。スタイル変換の代表的なネットワークであるpix2pixのネットワーク構成や損失関数を変更することで、リアルな映り込みを再現することができた。この実験により、映り込みが物体の質感提示において重要な役割を果たすことが再認識され、今後の視点補間の実験にも生かすことができる知見を得られた。このほか、GANの導入やARアプリケーションの実装など、二年目以降に予定していた計画の一部を先行して行うなど、順調なペースで研究を進めている。
This year, the first step of the に, texture reproduction に to けて <e:1> is と <s:1> て, and the mirror reflection を with う metal object <s:1> viewpoint completion を test みた. Portrait variations in に よ く with い ら れ る deep ニ ュ ー ラ ル ネ ッ ト ワ ー ク で あ る U -.net を improved し, four corner で の portraits of shadow と point coordinates を と into force し, arbitrary の viewpoint position に お け る portrait を output す る よ う に し た. CG を with い た be 験 に よ り の reflection が proposal, metal object technique に よ り reappearance で き る こ と を confirm し た. The research results of this study are で CG field である major International conference である Computer Graphics International 2022 (CGI 2022) で presentation で, subsequent に paper が Virtual Reality & Intelligent Hardware Youdaoplaceholder0 publishes された. さ ら に, superficial scattered を objects with う に し seaborne て も with others の be 験 を line だ い, metal object け で な く よ り complex 雑 な reflection characteristics を hold つ object に も proposal gimmick が applicable で き る こ と を shown し た. Youdaoplaceholder0, スタ, <s:1>, the transformation of によ, the normal portrait of によ, the <s:1> texture of the metal object を, the reproduction of する, the experience of を, and the った. Environmental マ ッ プ を use し て weeks 囲 environment が reflected り 込 ん だ metal objects の portrait を CG で generated し, ネ ッ ト ワ ー ク の training に with い た. ス タ イ ル variations in の representative な ネ ッ ト ワ ー ク で あ る pix2pix の ネ ッ ト ワ ー ク constitute や loss masato number を - more す る こ と で, リ ア ル な reflected り 込 み を reappearance す る こ と が で き た. こ の be 験 に よ り, reflected り 込 み が の texture object prompt に お い て important な "を cut fruit た す こ と が reinterprets さ れ, future の viewpoint between の be 験 に も raw か す こ と が で き る knowledge を must ら れ た. こ の ほ か, GAN の import や AR ア プ リ ケ ー シ ョ ン の be loaded な ど, two years in に designated し て い た project の a を first し て line う な ど, shun な ペ ー ス を で research into め て い る.

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
View Interpolation Networks for Reproducing Material Appearance of Specular Objects
  • DOI:
    10.1016/j.vrih.2022.11.001
  • 发表时间:
    2023-02
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Chihiro Hoshizawa;T. Komuro
  • 通讯作者:
    Chihiro Hoshizawa;T. Komuro
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

小室 孝其他文献

ナカリピテクスとウラノピテクスの系統関係 : 形態地図法による下顎第2乳臼歯の形態解析
Nacalithecus 和 Uranopithecus 之间的系统发育关系:利用形态学作图对下颌第二乳磨牙进行形态学分析
  • DOI:
  • 发表时间:
    2016
  • 期刊:
  • 影响因子:
    0
  • 作者:
    渡辺 義浩;畑中 哲生;小室 孝;石川 正俊;森田航・森本直記・國松豊・Mazurier A・Zanoli C・中務真人
  • 通讯作者:
    森田航・森本直記・國松豊・Mazurier A・Zanoli C・中務真人
Manipulation and transport of antiprotons for an efficient production of antihydrogen atoms
反质子的操纵和传输以有效产生反氢原子
  • DOI:
  • 发表时间:
    2016
  • 期刊:
  • 影响因子:
    0
  • 作者:
    渡辺 義浩;畑中 哲生;小室 孝;石川 正俊;森田航・森本直記・國松豊・Mazurier A・Zanoli C・中務真人;石井加代子・野崎華世;Minori Tajima
  • 通讯作者:
    Minori Tajima
単一のウェアラブルカメラを用いた人間の歩行動作推定
使用单个可穿戴相机进行人体行走运动估计
低照度環境での生体画像計測に向けたマルチアパーチャカメラの確率的ノイズ低減
微光环境下生物图像测量多孔相机的随机降噪
  • DOI:
  • 发表时间:
    2017
  • 期刊:
  • 影响因子:
    0
  • 作者:
    石田 陽樹;香川 景一郎;小室 孝;津村 徳道;張 博;ソ ミン ウン;高澤 大志;安富 啓太;川人 祥二
  • 通讯作者:
    川人 祥二
松浦武四郎の蝦夷地探査と北海道の山道
松浦武四郎对虾夷地和北海道山路的探索
  • DOI:
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    0
  • 作者:
    鈴木 裕之;林宏樹;小尾 高史;大山 永昭;小室 孝;清水菜々子,東野利貴,曽我真人;箱﨑真隆;苅谷愛彦・高岡貞夫・齋藤めぐみ・小塚朋子;和田岳;下村通誉;蟹澤聰史;早川裕弌;下里瑞菜,久保典子,平英彰,中塚武,佐野雅規,安江恒;三浦泰之
  • 通讯作者:
    三浦泰之

小室 孝的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('小室 孝', 18)}}的其他基金

1MHzのビジュアルフィードバックを可能とするビジョンセンサの開発
开发可实现 1MHz 视觉反馈的视觉传感器
  • 批准号:
    17656113
  • 财政年份:
    2005
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Exploratory Research
VLSI技術を用いた集積化知能システムの研究
利用VLSI技术的集成智能系统研究
  • 批准号:
    00J08715
  • 财政年份:
    2000
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for JSPS Fellows

相似海外基金

未校正多視点カメラシステムを用いた任意視点画像の生成
使用未校准的多视图相机系统生成任意视点图像
  • 批准号:
    13750367
  • 财政年份:
    2001
  • 资助金额:
    $ 2.66万
  • 项目类别:
    Grant-in-Aid for Young Scientists (B)
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了