Procedural Text Generation from Instructional Videos

从教学视频生成程序文本

• 批准号: 22KJ1666
• 负责人: 西村 太一
• 金额: $ 1.41万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22KJ1666/
• 关键词: マルチメディア; 手順書; 作業映像; コンピュータビジョン; 自然言語処理

本研究の目的は作業映像から手順書を生成することである。これを達成するために、(1) 映像中のイベントから正しい文を生成する手法の確立、 (2) 映像からイベントと文を同時学習する手法の提案, (3) 別ドメインへの適用を掲げて研究に取り組んでいる。このうち、(1)は昨年度に終えた。(2), (3)について集中的に今年度取り組んだ。まず、(2)について述べる。(2)の類似課題として、コンピュータビジョンの領域ではDense video captioning (DVC)という課題がある。この課題と入出力は共通しているが、DVCでは映像中から重要なイベントを徹底的に検出するという特徴がある。しかし、我々の課題では、イベントを過不足なく抽出して文を生成したい。この課題の違いに目をつけ、DVCの出力から正しい組み合わせになるようにイベントを選ぶ手法を開発した。(3)については、後輩の学生と共に、大阪医科薬科大学協力のもと撮影を始めた。撮影したデータセットを細かく分析し、BioVL2データセットと名付けた。このデータセットをもとに、応用課題として実験映像からプロトコルを生成する課題に取り組み、現時点の到達点について議論した。

The purpose of this study is to create a working map. (1) Establishment of methods for generating information from images,(2) Proposal of methods for simultaneous learning of information from images,(3) Application of information from images, and (4) Selection of methods for research.このうち、(1)は昨年度に终えた。(2), (3)まず、(2)について述べる。(2)Similar topics include Dense video captioning (DVC) and other topics in the field of computer graphics. The problem is that the input and output are common, and the DVC is important in the image. The problem is that we have to find a way out of this problem. The project is aimed at improving the efficiency of DVC and improving the efficiency of DVC. (3)When we work together, we will see the beginning of the collaboration between junior students and students at Osaka Medical and Pharmaceutical University. BioVL2 is the most important part of BioVL2 This is the first time I've ever seen a person who's been in a relationship with someone who's been in a relationship with someone else.

项目成果

Egocentric Biochemical Video-and-Language Dataset

以自我为中心的生化视频和语言数据集

• 发表时间: 2021
• 作者: Nishimura Taichi;Sakoda Kojiro;Hashimoto Atsushi;Ushiku Yoshitaka;Tanaka Natsuko;Ono Fumihito;Kameko Hirotaka;Mori Shinsuke
• 通讯作者: Mori Shinsuke

State-aware video procedural captioning

• DOI: 10.1007/s11042-023-14774-7
• 发表时间: 2021-10
• 期刊: Multimedia Tools and Applications
• 影响因子: 3.6
• 作者: Taichi Nishimura;Atsushi Hashimoto;Y. Ushiku;Hirotaka Kameko;Shinsuke Mori

Recipe Generation from Unsegmented Cooking Videos

• DOI: 10.48550/arxiv.2209.10134
• 发表时间: 2022-09
• 期刊: ACM Transactions on Multimedia Computing, Communications and Applications
• 作者: Taichi Nishimura;Atsushi Hashimoto;Y. Ushiku;Hirotaka Kameko;Shinsuke Mori

手順構造を考慮した作業映像からの手順書生成

考虑程序结构，从工作视频生成程序手册

• 发表时间: 2021
• 作者: 西村太一;橋本敦史;牛久祥孝;亀甲博貴;森信介
• 通讯作者: 森信介

BioVL2データセット: 生化学分野における一人称視点の実験映像への言語アノテーション

BioVL2数据集：生物化学第一人称实验视频的语言注释

• 发表时间: 2022
• 期刊: 自然言語処理
• 作者: 西村 太一;迫田 航次郎;牛久 敦;橋本 敦史;奥田 奈津子;小野 富三人;亀甲 博貴;森 信介
• 通讯作者: 森 信介