Language explanations about real-world based on human predictive functions that capture the physical environment

点击翻译按钮获取中文摘要

今年度はヒトのように実世界に存在する物体や事象についての物理的因果特性を捉え、次ステップ先の変化点を予測できる機械学習モデルを構築する。モデルを構築するにあたり、動画像のワンシーンに写っている対象を正しく認識したうえで、その対象の物理特性を捉えられるように機械学習モデルを構築する。本研究では画像そのものを入力情報とするのではなく、画像内に写っている物体をグラフ構造として表現した情報を用いる。画像内に写る物体を形状・色・素材を用いて物体認識をし、物体の種類と位置を取得することでグラフ構造を作成する。また同時に得られた位置情報から各物体の速度や加速度といった物理特性を算出する。これらの情報をあわせて訓練データを作成し、本研究の先行研究であるVariational Temporal Abstraction(VTA)を用いて実世界で起きている現象の変化点の抽出した。また正しく変化点が抽出できたかどうかを精度を算出して検証した。結果から物理特性の変化からも実環境の変化点を抽出することができた。また変化点として出力されたグラフを入力情報とした、将来のイベントに関する変化点予測モデルを構築した。構築したモデルの機能の正当性を検証するために、予測画像と予測変化点の抽出をし、変化点については正解データとの精度を算出した。結果から新たに構築した変化点予測モデルで、次ステップの変化点抽出とそのときの予測画像について正しく生成することができた。