Self-supervised Multi-task Procedure Learning from Instructional Videos
Self-supervised Multi-task Procedure Learning from Instructional Videos
复制标题
从教学视频中学习的自监督多任务程序
DOI：
10.1007/978-3-030-58520-4_33
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Dat T. Huynh
中科院分区：
文献类型：
--
作者：
Ehsan Elhamifar;Dat T. Huynh
。我们使用深度神经网络（dnn）从多任务的教学视频中解决无监督过程学习的问题。与现有的工作不同，我们假设训练视频来自多个任务，没有关键步骤注释或语法，目标是将测试视频分类到底层任务并定位其关键步骤。我们的DNN在没有真值边界框的情况下，从每帧的信息区域中学习任务依赖的注意力特征，并通过使用无监督子集选择模块作为教师，学习在没有关键步骤注释的情况下发现和定位关键步骤。它还使用可学习的键步特征池机制学习使用发现的键步对输入视频进行分类，该机制提取并学习基于键步的特征组合以进行任务识别。通过在两个教学视频数据集上的实验，我们证明了该方法在过程步骤的无监督定位和视频分类方面的有效性。
. We address the problem of unsupervised procedure learning from instructional videos of multiple tasks using Deep Neural Networks (DNNs). Unlike existing works, we assume that training videos come from multiple tasks without key-step annotations or grammars, and the goals are to classify a test video to the underlying task and to localize its key-steps. Our DNN learns task-dependent attention features from informative regions of each frame without ground-truth bounding boxes and learns to discover and localize key-steps without key-step annotations by using an unsupervised subset selection module as a teacher. It also learns to classify an input video using the discovered key-steps using a learnable key-step feature pooling mechanism that extracts and learns to combine key-step based features for task recognition. By experiments on two instructional video datasets, we show the effectiveness of our method for unsupervised localization of procedure steps and video classification.
通过联合动态总结的无监督过程学习
DOI：
--
发表时间：
2019
期刊：
International Conference on Computer Vision
影响因子：
--
作者：
Elhamifar, E.;Zaing, Z.
通讯作者：
Zaing, Z.
深度监督摘要：算法及其在学习指令中的应用
DOI：
--
发表时间：
2019
期刊：
Neural Information Processing Systems (NeurIPS
影响因子：
--
作者：
Xu, C.;Elhamifar, E.
通讯作者：
Elhamifar, E.
DOI：
--
发表时间：
2019-05
期刊：
--
影响因子：
--
作者：
Ehsan Elhamifar
通讯作者：
Ehsan Elhamifar