权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

単一深層特徴量生成による高速なVisual Attribute Transfer

具有单一深度特征生成的快速视觉属性传输

基本信息

批准号：
21J11093
负责人：
小杉哲
金额：
$ 0.96万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-28 至 2023-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J11093/
关键词：
スタイル転写深層学習

项目摘要

本研究ではVisual Attribute Transferという，スタイル画像とコンテンツ画像が見た目的には異なるものの意味的には似ている画像であることを前提とした上で意味的な対応を取りながらスタイルを転写するタスクに取り組んでいる．2021年度はスタイル画像1枚だけを用いて変換器を学習させ，高速なVisual Attribute Transferを実現する手法を提案した．2022年度はこの手法を発展させ，コンテンツを考慮した画像品質向上の個人適応に取り組んだ．画像品質向上の個人適応は数十枚の個人の好み画像をもとに，その個人の好みに即した画像品質向上結果を生成する課題である．既存研究では個人の好み画像から単一のスタイルベクトルを算出し，全ての入力画像に対して同じスタイルベクトルを適用していた．これに対して本研究では個人の好みは画像のコンテンツに依存するという事実に着目し，コンテンツを考慮した個人適応を実現するためにmasked language modelingという言語モデルを応用した手法を提案した．好みの画像からスタイル埋め込みとコンテンツ埋め込みを抽出し，未知の入力画像のコンテンツ埋め込みに適したスタイル埋め込みをTransformerを用いて予測する．実際のユーザーの好み画像を用いて提案モデルを訓練するために，画像投稿SNSからユーザーが投稿した写真を収集してデータセットを作成した．提案手法を用いて実験を行ったところ，コンテンツを考慮した個人適応が実現できており，コンテンツを考慮していなかった既存手法よりもより好みに即した結果を生成できていることがわかった．

The purpose of this study is to show that the portrait is the same as that of the Visual Attribute Transfer. In this study, the portrait, the image, the portrait, the purpose, the premise, the premise, the writing, the tissue, the image, the High-speed Visual Attribute Transfer equipment to realize the technique proposal. In the 2022 exhibition, the portrait quality is improved, and the portrait quality is improved. The portrait quality is up. In this study, you can learn how to do a good job, that is, if you want to make a good picture of yourself, you can create a problem. In the existing study, you can do the same thing as you do in the same way as you do in the same way. In this study, you can learn how to do it. I don't know. I don't know, I don't know what to do. I don't know how to do this. I don't know. I don't know. I don't know The result of the test is that the existing method is correct, that is, the result of the result is that the result is generated.