階層型視覚的コモンセンスを考慮した動画質問応答

点击翻译按钮获取中文摘要

本研究課題の幼児の一人称視点動画からの視覚的コモンセンス獲得において、2022年度開始時は幼児の一人称視点動画の詳細な分析を行った。しかしながら、幼児の一人称視点動画は撮影条件や視点などが統一されておらず、機械学習の文脈において未来予測をすることは非常に困難であることが明らかとなった。そこで、近年深層学習において技術的転換点となったTransformerを用いてインタラクションを伴う行動計画タスク自体から初期的視覚的コモンセンスを創発させることができないかに取り組んだ。Transformerの自己注意機構を可視化した結果として、視覚的コモンセンスのPやFについての初期的視覚コモンセンスの獲得の傾向は見られたが、CとIとUについての創発は見られなかった。それゆえ、タスク自体の見直しを行うことにした。次に取り組んだタスクとして物理現象を伴うパズルであるPHYREを用いて、視覚的コモンセンスFPICU全ての創発を行うエージェントを開発することに取り組んだ。FPICUを全て創発させるために、FPICUを統一的に考慮する定式化を数学的に行い、実験を行った。しかしながら、因果性であるCの学習が困難を極め、Cの関連する技術であるVAEや統計的因果推論についてのサーベイを行った。結果として、2022年度はタスクの2度の見直しとFPICUの学習困難性のために論文出版を行うことはできなかった。しかしながら、近年登場したChatGPTがIとUを備えている可能性があり、ChatGPTを活用して視覚的コモンセンスを統一的に考慮するための初期的実験を開始した。