权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

カメラ幾何と深層学習の融合による画像を用いた環境のセマンティックモデリング

结合相机几何和深度学习，使用图像对环境进行语义建模

基本信息

批准号：
20J13300
负责人：
伊東聖矢
金额：
$ 1.22万
依托单位：
Aoyama Gakuin University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-24 至 2022-03-31
项目状态：
已结题

项目摘要

本年度は，昨年度に引き続いて画像から意味情報を持つ3次元環境地図を構築するセマンティックモデリングに関する研究を行い，画像と短距離深度情報から長距離深度情報を補完する方法，および，移動物体を含む環境でセマンティックモデリングを行う方法を開発して国際会議で発表した．長距離深度情報を補完する方法として，RGB-Dセンサで取得した画像と短距離深度画像のペアを用いて，深度補完モデルを自己教師あり学習で学習する手法を開発し，長距離深度情報を用いずに長距離深度の補完を可能にした．本技術により，計測可能な距離が限定されている安価なセンサであっても，計測した深度情報を利用しながらセンサで計測できない範囲の深度を高精度に推定できる．移動物体を含む環境でセマンティックモデリングを行う方法として，画像から推定した意味情報をもとに移動物体を特定し，入力画像から移動物体を取り除いて静的シーンのみをモデリングする手法を開発した．前年度に作成した3DCGデータセットを使用して開発を進め，物体の意味情報だけでなくインスタンス情報も考慮できるようにアルゴリズムを改良し，実世界シーンのデータセットを用いて手法の有効性を検証した．また，多視点画像から3次元モデルを効率的に復元するために，3次元畳み込みを双方向Gated Recurrent Unitに置き換えたニューラルネットワークモデルを提案した．このニューラルネットワークモデルは，計算時間が若干増加する代わりに，計算に必要なGPUメモリを削減しながら，高精度に3次元モデルを復元できることを確認した．さらに，単一画像から物体の3次元モデルを構築する強化学習手法を開発した．本技術により，画像から直接3次元モデルを出力する従来の深層学習手法と異なり，3次元モデルの構築過程を可視化することが可能となった．

は this year, yesterday's annual にき続いて portrait から mean intelligence を hold つ 3 dimensional environment 図を build するセマンティックモデリングに masato する research をい, portrait と short depth of intelligence から long deep intelligence を fill out する method, および, Moving object contains をむ environment でセマンティックモデリングを line う method を open 発して international conference で発 table した. Long deep intelligence を fill out する method として, RGB - D センサで obtain した portrait portraits と short depth のペアを with いて, depth of fill out モデルを his teacher あり learn でする gimmick を open 発し, depth of long-distance intelligence を with いずにの fill out long depth を may にした. This technical により, measuring distance may なが qualified されている Ann 価なセンサであっても, measuring し intelligence をた depth using しながらセンサで measuring できない van 囲の depth を high-precision に presumption できる. Moving object contains をむ environment でセマンティックモデリングを line う method として, portrait から presumption した mean intelligence をもとに moving object を specific し, portrait into force から moving object を take り except いて static シーンのみをモデリングする gimmick を open 発した. Annual に done before した 3 DCG データセットを use して open 発をめ, object の mean intelligence だけでなくインスタンス intelligence も consider できるようにアルゴリズムしを improvement, be world シーンのデータセットを with いて gimmick の have sharper sex を検 card した. また, multiple viewpoints portrait から 3 dimensional モデルを sharper rate に recovery するために, 3 dimensional 畳み込みを both sides to the Gated Recurrent Unit に buy き in えたニューラルネットワークモデルを proposal した. このニューラルネットワークモデルは, computing time が several rights and する generation わりに, calculate に necessary な GPU メモリを cut しながら, high-precision に 3 dimensional モデルを recovery できることを confirm した. Youdaoplaceholder0, 単 a portrait モデら an object <s:1> 3d モデをを construction する reinforcement learning technique を development た. This technical により, portrait から direct three dimensional モデルを output する従 deep learning technique to のと different なり, 3 dimensional モデルをの build process visualization することが may となった.