深層生成モデルの潜在空間の探索からの異常パターンの生成と理解

2022年度では、『大規模生成モデルが獲得した潜在空間の探索』および『利用する大規模生成モデルの調査』を主要な研究課題として、大規模生成モデルの潜在空間からの異常パターンの生成と理解に取り組んだ。前述の課題について、写実的で現実的な画像を生成可能な生成モデルであるStyleGANを用いて、異常パターンを生成する方法について検討した。具体的には、StyleGANが獲得した潜在空間を利用して、ユーザから与えられた属性（例えば、対象の特定の構成要素など）を制御する手法について検討した。実験では、人の顔に関する標準的なデータセットを用いて、潜在変数からラベル属性情報を回帰するニューラルネットワークを構築することで、潜在空間上での属性分離を効果的に実現できることを実証した。結果は、異常ラベルが利用可能であれば、異常パターンを生成することができることを示し、これに基づいて、異常パターンを生成するための枠組みの構築に向けた取り組みを進めていく予定である。後者の課題として、拡散モデルの調査を行なった。拡散モデルは従来の生成モデルと比較して、より写実的で、細部まで意味が一貫した高品質な画像を生成できることが報告されている。拡散モデルの生成能力は、当初想定していたStyleGANよりも優れている可能性があるとされていることに加え、本研究課題は、StyleGANが持つ分布外生成能力に基づいているため、今後は異常検知のために画像生成の質と分布外生成能力を含め、大規模生成モデルの適切なモデリングについて検討する必要がある。

2022年度では、『大規模生成モデルが獲得した潜在空間の探索』および『利用する大規模生成モデルの調査』を主要な研究課題として、大規模生成モデルの潜在空間からの異常パターンの生成と理解に取り組んだ。前述の課題について、写実的で現実的な画像を生成可能な生成モデルであるStyleGANを用いて、異常パターンを生成する方法について検討した。具体的には、StyleGANが獲得した潜在空間を利用して、ユーザから与えられた属性（例えば、対象の特定の構成要素など）を制御する手法について検討した。実験では、人の顔に関する標準的なデータセットを用いて、潜在変数からラベル属性情報を回帰するニューラルネットワークを構築することで、潜在空間上での属性分離を効果的に実現できることを実証した。結果は、異常ラベルが利用可能であれば、異常パターンを生成することができることを示し、これに基づいて、異常パターンを生成するための枠組みの構築に向けた取り組みを進めていく予定である。後者の課題として、拡散モデルの調査を行なった。拡散モデルは従来の生成モデルと比較して、より写実的で、細部まで意味が一貫した高品質な画像を生成できることが報告されている。拡散モデルの生成能力は、当初想定していたStyleGANよりも優れている可能性があるとされていることに加え、本研究課題は、StyleGANが持つ分布外生成能力に基づいているため、今後は異常検知のために画像生成の質と分布外生成能力を含め、大規模生成モデルの適切なモデリングについて検討する必要がある。