Structure-Aware Procedural Text Generation From an Image Sequence
Structure-Aware Procedural Text Generation From an Image Sequence
复制标题
从图像序列生成结构感知的程序文本
DOI：
10.1109/access.2020.3043452
复制
发表时间：
2020
期刊：
影响因子：
3.9
通讯作者：
Y. Yamakata and S. Mori
中科院分区：
文献类型：
--
作者：
T. Nishimura;A. Hashimoto;Y. Ushiku;H. Kameko;Y. Yamakata and S. Mori
通过物质的组合创造新的价值是我们社会的一项重要活动。从日常烹饪到工业制造，我们经常将其描述为程序文本。正如一些自然语言理解的研究所指出的那样，过程文本的一个重要属性是它对上下文的依赖性，这是材料的合并操作，可以用图或树结构表示。本文旨在研究明确引入这样的结构的视觉和语言任务的程序文本生成从图像序列的影响。为此，我们提出了（1）一个新的数据集，它将树结构合并树的定义扩展到视觉和语言版本，以及（2）一个新的结构感知过程文本生成模型，它有效地学习上下文依赖。实验结果表明，该方法可以提高传统的通用方法的性能。
It is an important activity for our society to create new value by combining materials. From daily cooking to manufacturing for industry, we often describe the way to do it as a procedural text. As pointed by some previous studies for natural language understanding, one important property of the procedural text is its dependency of the context, which is the merging operations of materials and can be represented by a graph or tree structure. This paper aims to investigate the impact of explicitly introducing such a structure on the vision and language task of procedural text generation from an image sequence. To this end, we propose (1) a new dataset, which extends a definition of a tree structure merging tree to a vision and language version and (2) a novel structure-aware procedural text generation model, which learns the context dependency efficiently. Experimental results show that the proposed method can boost the performance of traditional versatile methods.
程序文本和 PT 图中操作的控制结构
DOI：
--
发表时间：
1980
期刊：
International Conference on Computational Linguistics
影响因子：
--
作者：
Yoshio Momouchi
通讯作者：
Yoshio Momouchi
食谱的故事板：扎根的情境生成
DOI：
10.18653/v1/p19-1606
发表时间：
2019
期刊：
--
影响因子：
--
作者：
Khyathi Raghavi Chandu;Eric Nyberg;A. Black
通讯作者：
A. Black