特定の被写体に対する印象操作を行うフェイク画像・映像の検出と生成

点击翻译按钮获取中文摘要

本研究の目的は、i)画像中で、肯定的もしくは否定的な印象操作がなされている可能性がある被写体領域の検出、及びii)特定の被写体に対する印象操作を行った画像の生成である。初年度である2022年度は具体的に以下の内容に取り組んだ。1) データセットの作成：商品などの特定の被写体に対し、肯定的もしくは否定的な印象を与えるように制作されていると考えられる広告画像に対し、被写体を示す矩形領域の位置とサイズを正解ラベルとして付与し、17種類のトピックに対する20,112枚の広告画像データセットを作成した。2) 被写体検出モデルの構築：広告画像は、印象操作の対象物以外の物体も用いて特定の印象を与えるよう制作されており、視覚特徴のみを用いて複数の物体の中から対象物を特定することは難しい。そこで広告画像が対象物に関係する内容のテキスト情報を含む場合が多いと考え、視覚特徴のみでなく、画像から取得したテキスト情報も考慮し、画像領域間、単語間、画像領域と単語間の関係などを考慮可能なモデルであるTransformerを用いた被写体検出モデルを構築した。1)で作成した広告画像データセットにより学習・評価を行った結果、テキスト情報を考慮することにより、特に誤検出が大幅に減少し、複数の物体の中からより適切に印象操作の対象物が特定できることを確認した。3)被写体に対する印象操作モデルの構築：複数の物体を含む画像を入力とし、指定した印象を持つように指定した被写体の外観変換を行う画像変換モデルを敵対的生成ネットワークを用いて構築した。これに加え、2022年度に大きな発展を遂げたテキストを用いた画像生成手法により、1)で作成した広告画像データセットに類似した画像が生成可能か予備的な実験検証を行った。