PUMICE: A Multi-Modal Agent that Learns Concepts and Conditionals from Natural Language and Demonstrations
PUMICE: A Multi-Modal Agent that Learns Concepts and Conditionals from Natural Language and Demonstrations
复制标题
PUMICE：从自然语言和演示中学习概念和条件的多模式代理
DOI：
10.1145/3332165.3347899
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Myers, Brad A.
中科院分区：
文献类型：
--
作者：
Li, Toby Jia-Jun;Radensky, Marissa;Jia, Justin;Singarajah, Kirielle;Mitchell, Tom M.;Myers, Brad A.
自然语言编程是一种很有前途的方法，可以让最终用户为智能代理指导新的任务。然而，我们的形成性研究发现，最终用户在用自然语言自然地指导任务时，尤其是在指定条件句时，往往会使用不清楚、含糊或模糊的概念。现有系统对让用户教给代理新概念或解释不清楚的概念的支持有限。在本文中，我们描述了一种新的多通道领域无关的方法，它结合了自然语言编程和演示编程，允许用户首先在高层次上自然地描述任务和相关条件，然后与代理协作，通过对话和演示递归地解决任何歧义或模糊。用户还可以通过演示和参考现有移动应用程序的图形用户界面中的内容来定义新的程序和概念。我们在浮石中演示了这种方法，浮石是实现这种方法的终端用户可编程代理。一项有10名用户参与的实验室研究显示了它的可用性。
Natural language programming is a promising approach to enable end users to instruct new tasks for intelligent agents. However, our formative study found that end users would often use unclear, ambiguous or vague concepts when naturally instructing tasks in natural language, especially when specifying conditionals. Existing systems have limited support for letting the user teach agents new concepts or explaining unclear concepts. In this paper, we describe a new multi-modal domain-independent approach that combines natural language programming and programming-by-demonstration to allow users to first naturally describe tasks and associated conditions at a high level, and then collaborate with the agent to recursively resolve any ambiguities or vagueness through conversations and demonstrations. Users can also define new procedures and concepts by demonstrating and referring to contents within GUIs of existing mobile apps. We demonstrate this approach in PUMICE, an end-user programmable agent that implements this approach. A lab study with 10 users showed its usability.
登录
查看更多内容
DOI：
--
发表时间：
2018
期刊：
AAAI Spring Symposia
影响因子：
--
作者：
Erik Harpstead;Christopher Maclellan;Robert P. Marinier;K. Koedinger
通讯作者：
K. Koedinger
使用移动应用程序演示对物联网设备进行编程
DOI：
--
发表时间：
2017
期刊：
International Symposium on End-User Development
影响因子：
--
作者：
Toby Jia;Yuanchun Li;Fanglin Chen;B. Myers
通讯作者：
B. Myers
让最终用户开发更加自然
DOI：
10.1007/978-3-319-60291-2_1
发表时间：
2017
期刊：
ArXiv
影响因子：
--
作者：
B. Myers;Amy J. Ko;Christopher Scaffidi;Steve Oney;Youngseok Yoon;K. Chang;Mary Beth Kery;Toby Jia
通讯作者：
Toby Jia
最终用户使用 vegemite 进行混搭编程
DOI：
10.1145/1502650.1502667
发表时间：
2009
期刊：
Proceedings of the 14th international conference on Intelligent user interfaces
影响因子：
--
作者：
James Lin;J. Wong;Jeffrey Nichols;A. Cypher;T. Lau
通讯作者：
T. Lau
用于运行时修复和增强移动应用程序可访问性的交互代理
DOI：
10.1145/3025453.3025846
发表时间：
2017
期刊：
Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Xiaoyi Zhang;A. S. Ross;A. Caspi;J. Fogarty;J. Wobbrock
通讯作者：
J. Wobbrock