深層学習に基づく写真の審美的品質評価に関する暗黙知の表出化

点击翻译按钮获取中文摘要

本課題は、深層学習に基づいた写真の審美的品質評価に関する暗黙知表出化に向けた取り組みである。写真の審美的品質とは、人の美的感覚によって評価される品質を意味している。写真の審美的品質評価について、Attention機構の注目個所をAttention mapとして顕在化することにより、審美性推定に寄与する特徴や領域を明らかにする。そして、写真撮影の重要な要素として広く知られている構図や色調等の形式知として知られている要素が、写真のジャンルによってどう寄与するかを明らかにする。Explainable AI技術による深層学習モデルの説明は「実用価値のあるモデル」の存在が前提である。したがって、Attentionの概念を取り入れた審美性推定モデルの高精度化に取り組んでいる。今年度は、視覚的説明機能を有する審美的品質推定モデル実現のため、Attention branch networkに基づく推定モデルを構築した。また、モデルへの入力画像について、画像全体から得られる特徴に対してパッチ抽出した局所特徴を考慮することで、多様な解像度での審美的品質評価を実現した。評価実験では、提案モデルの学習と評価用のデータセットとしてAVAを用い、既存研究との精度比較を行うことで提案手法の有効性を確認した。一方、写真に対する審美的品質評価の自動推定機能を持つ深層学習モデルに対して判断根拠の可視化技術を適用することにより、審美的品質推定に寄与する特徴を明らかにすることを最終目的とし、その第一歩として構図に注目した。今年度は、Grad-CAM++によって得られたAttention mapに対してクラスタリングを適用することで、審美性推定モデルが審美的品質推定の判断根拠として構図を考慮しているかについて実験的に検証を行った。