単一深層特徴量生成による高速なVisual Attribute Transfer

本研究ではVisual Attribute Transferという，スタイル画像とコンテンツ画像が見た目的には異なるものの意味的には似ている画像であることを前提とした上で意味的な対応を取りながらスタイルを転写するタスクに取り組んでいる．2021年度はスタイル画像1枚だけを用いて変換器を学習させ，高速なVisual Attribute Transferを実現する手法を提案した．2022年度はこの手法を発展させ，コンテンツを考慮した画像品質向上の個人適応に取り組んだ．画像品質向上の個人適応は数十枚の個人の好み画像をもとに，その個人の好みに即した画像品質向上結果を生成する課題である．既存研究では個人の好み画像から単一のスタイルベクトルを算出し，全ての入力画像に対して同じスタイルベクトルを適用していた．これに対して本研究では個人の好みは画像のコンテンツに依存するという事実に着目し，コンテンツを考慮した個人適応を実現するためにmasked language modelingという言語モデルを応用した手法を提案した．好みの画像からスタイル埋め込みとコンテンツ埋め込みを抽出し，未知の入力画像のコンテンツ埋め込みに適したスタイル埋め込みをTransformerを用いて予測する．実際のユーザーの好み画像を用いて提案モデルを訓練するために，画像投稿SNSからユーザーが投稿した写真を収集してデータセットを作成した．提案手法を用いて実験を行ったところ，コンテンツを考慮した個人適応が実現できており，コンテンツを考慮していなかった既存手法よりもより好みに即した結果を生成できていることがわかった．

本研究ではVisual Attribute Transferという，スタイル画像とコンテンツ画像が見た目的には異なるものの意味的には似ている画像であることを前提とした上で意味的な対応を取りながらスタイルを転写するタスクに取り組んでいる．2021年度はスタイル画像1枚だけを用いて変換器を学習させ，高速なVisual Attribute Transferを実現する手法を提案した．2022年度はこの手法を発展させ，コンテンツを考慮した画像品質向上の個人適応に取り組んだ．画像品質向上の個人適応は数十枚の個人の好み画像をもとに，その個人の好みに即した画像品質向上結果を生成する課題である．既存研究では個人の好み画像から単一のスタイルベクトルを算出し，全ての入力画像に対して同じスタイルベクトルを適用していた．これに対して本研究では個人の好みは画像のコンテンツに依存するという事実に着目し，コンテンツを考慮した個人適応を実現するためにmasked language modelingという言語モデルを応用した手法を提案した．好みの画像からスタイル埋め込みとコンテンツ埋め込みを抽出し，未知の入力画像のコンテンツ埋め込みに適したスタイル埋め込みをTransformerを用いて予測する．実際のユーザーの好み画像を用いて提案モデルを訓練するために，画像投稿SNSからユーザーが投稿した写真を収集してデータセットを作成した．提案手法を用いて実験を行ったところ，コンテンツを考慮した個人適応が実現できており，コンテンツを考慮していなかった既存手法よりもより好みに即した結果を生成できていることがわかった．