カメラ幾何と深層学習の融合による画像を用いた環境のセマンティックモデリング

点击翻译按钮获取中文摘要

本年度は，昨年度に引き続いて画像から意味情報を持つ3次元環境地図を構築するセマンティックモデリングに関する研究を行い，画像と短距離深度情報から長距離深度情報を補完する方法，および，移動物体を含む環境でセマンティックモデリングを行う方法を開発して国際会議で発表した．長距離深度情報を補完する方法として，RGB-Dセンサで取得した画像と短距離深度画像のペアを用いて，深度補完モデルを自己教師あり学習で学習する手法を開発し，長距離深度情報を用いずに長距離深度の補完を可能にした．本技術により，計測可能な距離が限定されている安価なセンサであっても，計測した深度情報を利用しながらセンサで計測できない範囲の深度を高精度に推定できる．移動物体を含む環境でセマンティックモデリングを行う方法として，画像から推定した意味情報をもとに移動物体を特定し，入力画像から移動物体を取り除いて静的シーンのみをモデリングする手法を開発した．前年度に作成した3DCGデータセットを使用して開発を進め，物体の意味情報だけでなくインスタンス情報も考慮できるようにアルゴリズムを改良し，実世界シーンのデータセットを用いて手法の有効性を検証した．また，多視点画像から3次元モデルを効率的に復元するために，3次元畳み込みを双方向Gated Recurrent Unitに置き換えたニューラルネットワークモデルを提案した．このニューラルネットワークモデルは，計算時間が若干増加する代わりに，計算に必要なGPUメモリを削減しながら，高精度に3次元モデルを復元できることを確認した．さらに，単一画像から物体の3次元モデルを構築する強化学習手法を開発した．本技術により，画像から直接3次元モデルを出力する従来の深層学習手法と異なり，3次元モデルの構築過程を可視化することが可能となった．