权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

特定の被写体に対する印象操作を行うフェイク画像・映像の検出と生成

检测和生成操纵特定主题印象的虚假图像和视频

基本信息

批准号：
22K12074
负责人：
新田直子
金额：
$ 2.66万
依托单位：
Mukogawa Women's University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12074/
关键词：
フェイク画像印象操作検出・生成フェイク画像・映像

项目摘要

本研究の目的は、i)画像中で、肯定的もしくは否定的な印象操作がなされている可能性がある被写体領域の検出、及びii)特定の被写体に対する印象操作を行った画像の生成である。初年度である2022年度は具体的に以下の内容に取り組んだ。1) データセットの作成：商品などの特定の被写体に対し、肯定的もしくは否定的な印象を与えるように制作されていると考えられる広告画像に対し、被写体を示す矩形領域の位置とサイズを正解ラベルとして付与し、17種類のトピックに対する20,112枚の広告画像データセットを作成した。2) 被写体検出モデルの構築：広告画像は、印象操作の対象物以外の物体も用いて特定の印象を与えるよう制作されており、視覚特徴のみを用いて複数の物体の中から対象物を特定することは難しい。そこで広告画像が対象物に関係する内容のテキスト情報を含む場合が多いと考え、視覚特徴のみでなく、画像から取得したテキスト情報も考慮し、画像領域間、単語間、画像領域と単語間の関係などを考慮可能なモデルであるTransformerを用いた被写体検出モデルを構築した。1)で作成した広告画像データセットにより学習・評価を行った結果、テキスト情報を考慮することにより、特に誤検出が大幅に減少し、複数の物体の中からより適切に印象操作の対象物が特定できることを確認した。3)被写体に対する印象操作モデルの構築：複数の物体を含む画像を入力とし、指定した印象を持つように指定した被写体の外観変換を行う画像変換モデルを敵対的生成ネットワークを用いて構築した。これに加え、2022年度に大きな発展を遂げたテキストを用いた画像生成手法により、1)で作成した広告画像データセットに類似した画像が生成可能か予備的な実験検証を行った。

The purpose of this study is: i) In the portrait, there is a possibility of positive and negative impression manipulationの検出 of the written form field, and びii) Specific のwritten form に対するImpression operationを行ったImageのGenerationである. The specific contents of the first year and 2022 are as follows. 1) Made of データセットの: Product などのSpecific の is written in に対し, Positive もしくはNo The fixed impression and the production of the されていると卡えられる広Announcement portrait に対し, 17 types of written characters such as the position of the rectangular area and the correct solution for the rectangular area. Class 20,112 pieces of 112 pieces of のトピックに対する were made by のトピックに対する. 2) The structure of the written form 検出モデルの: the image of the public notice, the impression operation of objects other than the object, the specific impression of いて and the えるようproducedされており、view覚特徴のみを用いてpluralのobjectの中から対肖物をspecificすることは difficultしい.そこで広広图片が対物に Relationship するcontent のテキストInformation をContains むOccasions がいとtestえ、view覚特徴のみでなく、portraits obtainedしたテキストinformationもconsiderし, the relationship between the image field, the slang language, the image field and the slang language, it is possible to consider the relationship between the image field and the slang language. 1) The result of making the publicity portrait, the study and evaluation, the information and the consideration, Special に検検がににし, plural の Object の中からよりに Impression operation の対 Object ができることを Confirm した. 3) The construction of the written object and the impression operation: the plural object and the image and the designated image and the holding of the image. The ように designated した is written in the の外観変change を行うimage 変 in the モデルをenemy enemy generation ネットワークをbuild した with いて.これに卡え, 2022 Annual に大きな発 exhibition を sui げたテキストをいた IMAGE GENERATION TECHNIQUE により, 1 )でした広Announcement portraitデータセットにsimilar to theしたportraitsがgenerationpossibleかpreparedな実験検证を行った.