Procedural Text Generation from Instructional Videos

点击翻译按钮获取中文摘要

本研究の目的は作業映像から手順書を生成することである。これを達成するために、(1) 映像中のイベントから正しい文を生成する手法の確立、 (2) 映像からイベントと文を同時学習する手法の提案, (3) 別ドメインへの適用を掲げて研究に取り組んでいる。このうち、(1)は昨年度に終えた。(2), (3)について集中的に今年度取り組んだ。まず、(2)について述べる。(2)の類似課題として、コンピュータビジョンの領域ではDense video captioning (DVC)という課題がある。この課題と入出力は共通しているが、DVCでは映像中から重要なイベントを徹底的に検出するという特徴がある。しかし、我々の課題では、イベントを過不足なく抽出して文を生成したい。この課題の違いに目をつけ、DVCの出力から正しい組み合わせになるようにイベントを選ぶ手法を開発した。(3)については、後輩の学生と共に、大阪医科薬科大学協力のもと撮影を始めた。撮影したデータセットを細かく分析し、BioVL2データセットと名付けた。このデータセットをもとに、応用課題として実験映像からプロトコルを生成する課題に取り組み、現時点の到達点について議論した。