Image Classification Models based on Grid Neural Networks for Small Datasets

画像分類を行うための分類精度の高い深層学習モデルを作成するためには大規模な画像データセットが必要となるが、それぞれの画像分類の課題に対して適切な大規模データセットを作成することは容易ではない。そこで、本研究課題では、小規模のデータセットを用いて学習を行った場合であっても高い画像分類性能を達成するSkipResNetやSkipConvNeXtを開発した。これらの画像分類モデルは、従来より研究開発を行ってきたグリッドニューラルネットワークを発展させたものであり、新しい短絡経路と新たに開発したGate Moduleを用いることにより、従来の画像分類モデルよりも効率よい学習を実現している。標準的な画像分類データセットであるImageNetや小規模の画像分類データセットであるCIFARを用いた実験により、SkipResNetやSkipConvNeXtの画像分類性能は従来手法よりも高いことを確認した。また、MS-COCOやADE20Kを用いた画像認識に関する実験により、SkipResNetをBackboneとした画像認識モデルの画像認識性能が従来手法よりも高いことを確認した。さらに、本研究課題で新たに開発したGate ModuleはSwinTransformerなどのSelf-Attention機構を中心とした深層学習モデルにも導入可能であり、SwinTransformerにGate Moduleを導入したSkipSwinTransformerを開発した。ImageNetを用いた実験を行い、SkipSwinTransformerの画像分類性能が従来手法であるSwinTransformerよりも優れていることを確認した。本研究課題で開発したニューラルネットワークの実装と実験結果をGitHubにて公開している。

画像分類を行うための分類精度の高い深層学習モデルを作成するためには大規模な画像データセットが必要となるが、それぞれの画像分類の課題に対して適切な大規模データセットを作成することは容易ではない。そこで、本研究課題では、小規模のデータセットを用いて学習を行った場合であっても高い画像分類性能を達成するSkipResNetやSkipConvNeXtを開発した。これらの画像分類モデルは、従来より研究開発を行ってきたグリッドニューラルネットワークを発展させたものであり、新しい短絡経路と新たに開発したGate Moduleを用いることにより、従来の画像分類モデルよりも効率よい学習を実現している。標準的な画像分類データセットであるImageNetや小規模の画像分類データセットであるCIFARを用いた実験により、SkipResNetやSkipConvNeXtの画像分類性能は従来手法よりも高いことを確認した。また、MS-COCOやADE20Kを用いた画像認識に関する実験により、SkipResNetをBackboneとした画像認識モデルの画像認識性能が従来手法よりも高いことを確認した。さらに、本研究課題で新たに開発したGate ModuleはSwinTransformerなどのSelf-Attention機構を中心とした深層学習モデルにも導入可能であり、SwinTransformerにGate Moduleを導入したSkipSwinTransformerを開発した。ImageNetを用いた実験を行い、SkipSwinTransformerの画像分類性能が従来手法であるSwinTransformerよりも優れていることを確認した。本研究課題で開発したニューラルネットワークの実装と実験結果をGitHubにて公開している。