画像空間と画像変換学習システムの構造

图像变换学习系统的图像空间与结构

• 批准号: 20H00615
• 负责人: 石川 博
• 金额: $ 28.29万
• 依托单位: Waseda University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (A)
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20H00615/
• 关键词: CNN

まず、CNNの領域分割能力に着目し、一回の推論では十分な領域分割ができないことを確認した。この問題に対応するため、従来の領域分割アルゴリズムをニューラルネット内部で使用可能なモジュールとして実装することに取り組み、既存の深層学習フレームワーク上で動作するGPUを用いた領域分割モジュールの実装が完了した。また、本手法を利用することで既存のタスクでのCNNの性能改善ができるか検証したが、その学習の不安定さから、大きな性能改善には繋がらないことを確認した。また、最近大きな性能改善を達成している拡散生成モデルにおいては、CNNの推論を複数回行い画像を処理するため、推論回数を増やすことで特別な処理なく領域分割の性能を向上させることが可能である。そのため、領域分割の認識能力が出力の見た目を左右する動画像処理タスクにおいて、拡散生成モデルを使用し動画生成・補間の性能を向上させる手法の研究に取り組んだ。一方、昨年度取り組み始めたVQAの一種としての物体計数タスク、および画像の美的評価のタスクについて、前者では、急速に重要性を増している言語モデルと画像との連携を行うことにより、モデルを訓練するための学習データを生成することをめざして、数のわかっている人間の画像をできるだけ現実の写真に似るように生成することを目標とした。画像と言語を結べ居着けるモデルであるＣＬＩＰを使用し、それに導かせることによって合成された画像をより写真に近づけることにより、実際の画像中の物体を計数できるモデルを訓練し、その有効性を確かめた。この成果についてまとめた論文は国際会議に投稿した。また、画像の美的評価のタスクにおいても、ＣＬＩＰを使用することを検討中であるが、それ以外に、イラストレーションの美的評価のためのデータセットをウェブサイトの評価データから作成し、その手法についてまとめた論文を国際会議に投稿した。

まず, CNN's domain segmentation ability is focused on, one-time inference is very good, domain segmentation is very accurate, and domain segmentation is confirmed.このISSUEに対応するため, 従来の地综合アルゴリズムをThe interior of the ニューラルネット can be used as a なモジュールとして実装することにGETり集团み、Existing deep learning フレームワーク上で动するGPUを Use いた domain segmentation モジュールの実装が全した.また、This method uses the existing のタスクでのCNN performance improvement ができるか検したが, その学の unstable さから, 大きなperformance improvement には线がらないことをconfirmed した.また、Recently large performance improvement has been achieved している拡san generated モデルにおいては、CNN の inference をplural line いportrait をProcessing is done, the number of inferences is increased, special processing is performed, domain segmentation is performed, performance is improved, and performance is improved.そのため、Field segmentation cognitive ability が出力の见た目をleft and right animation image processing タスクにおいて、 The performance of the animation generation and tweening used in the animation generation and tweening is the research and development of the techniques. One side, last year's review of the group's VQA's one kind of object counting, およびimage's beauty価のタスクについて, the former では, the importance of rapidity を嗗している语 モデルとimage との连合を行うことにより, モデルをtraining するための学データをgenerate することをめざして, numerologyかっている人间のportraitsをできるだけappear実のphotographyに resembles るようにgenerated することをtarget とした. Imageと语にであるＣCLIＰを用し、それにDirectorかせることによって synthesizedされたportraitをより写真にNearly づけることにより, 実记の图片のObject をCOUNT できるモデルをtraining し, その Effectiveness を Indeed かめた. The result is the result and the paper is submitted to the international conference.また、Image no beauty comment価のタスクにおいても、ＣＬＩＰをUSEすることを検多中であるが、それ外に、イラストレーションの美Comments on The writing method and technique are the same as the paper submitted to the international conference.

项目成果

P2Net: A Post-Processing Network for Refining Semantic Segmentation of LiDAR Point Cloud based on Consistency of Consecutive Frames

• DOI: 10.1109/smc42975.2020.9283329
• 发表时间: 2020-10
• 期刊: 2020 IEEE International Conference on Systems, Man, and Cybernetics (SMC)
• 作者: Yutaka Momma;Weimin Wang;E. Simo-Serra;S. Iizuka;R. Nakamura;H. Ishikawa

Differentiable rendering-based pose-conditioned human image generation

基于可微渲染的姿势条件人类图像生成

• DOI: 10.1109/cvprw53098.2021.00437
• 发表时间: 2021
• 期刊: Proceedings - 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, CVPRW 2021
• 作者: Yusuke Horiuchi;Edgar Simo-Serra;Satoshi Iizuka;Hiroshi Ishikawa
• 通讯作者: Hiroshi Ishikawa