実世界理解に向けた，対話に基づく画像中の未知物体に関する情報獲得

点击翻译按钮获取中文摘要

画像に関する対話によって，未知物体に関する情報獲得を行う知能システムの研究を行った．ここで，対話とは，知能システムが人間に質問を行い，人間がその質問に回答するというプロセスの繰り返しとする．近年，深層学習技術が導入されたことで画像認識モデルの性能は大きく発展している．しかし，この性能向上は，テスト時に入力される物体クラスが，訓練データにも存在するという仮定のもとで実現されている．訓練データに存在しない「未知物体」を認識できないということ，また新規クラスを認識するには大規模なラベル付けと再訓練が必要であるということは，画像認識システムを実世界運用する上で大きな障害となる．そこで，実世界で遭遇した未知物体についての知識を随時獲得し，逐次的に学習を行うことが重要となる．本研究では，知識獲得の手段として，人間の発達段階における学習を参考とし，「画像に関する質問生成（VQG: Visual Question Generation）」に注目した．質問生成によって未知物体の情報獲得を行うことのメリットは，能動的なデータ獲得によってラベリングコストを低減できること，そして単なるラベルにとどまらない詳細な知識の獲得・活用が可能となることである．本年度は，質問生成による知識獲得と，獲得した知識に基づく新規物体認識を統合したパイプラインの構築に取り組んだ．特に，1回の質問生成にとどまらず，複数回の質問生成（対話）による知識獲得へと発展させることで，効率的かつ網羅的な知識獲得を実現した．実験では，実際に人間にモデルが生成した質問に回答してもらい，その回答をもとに画像認識モデルが知識を更新するというプロセスの評価を実施した．その結果，本手法により未知物体認識の精度が向上することが確認され，提案手法の有効性が示された．これらの成果は論文としてまとめてジャーナルに投稿中である．