SemanticOn: Specifying Content-Based Semantic Conditions for Web Automation Programs
SemanticOn: Specifying Content-Based Semantic Conditions for Web Automation Programs
复制标题
SemanticOn：为 Web 自动化程序指定基于内容的语义条件
DOI：
10.1145/3526113.3545691
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Grossman, Tovi
中科院分区：
文献类型：
--
作者：
Pu, Kevin;Fu, Rainey;Dong, Rui;Wang, Xinyu;Chen, Yan;Grossman, Tovi
数据科学家、研究人员和办事员经常创建Web自动化程序来执行重复但必不可少的任务，如数据抓取和数据录入。然而，现有的网络自动化系统缺乏用于定义条件行为的机制，其中系统可以基于语义过滤器智能地过滤候选内容(例如，基于关键思想提取文本或基于实体关系的图像)。我们介绍了SemancOn系统，该系统使用户能够通过两种方法在Web自动化程序中指定、提炼和合并视觉和文本语义条件：通过提示的自然语言描述或信息突出显示。当程序连续执行时，用户可以与SemantiOn协调以改进条件，或回收手动控制以修复错误。在一项用户研究中，参与者完成了一系列有条件的网络自动化任务。他们报告说，SemantiOn通过利用视觉和文本条件帮助他们有效地表达和提炼他们的语义意图。
Data scientists, researchers, and clerks often create web automation programs to perform repetitive yet essential tasks, such as data scraping and data entry. However, existing web automation systems lack mechanisms for defining conditional behaviors where the system can intelligently filter candidate content based on semantic filters (e.g., extract texts based on key ideas or images based on entity relationships). We introduce SemanticOn, a system that enables users to specify, refine, and incorporate visual and textual semantic conditions in web automation programs via two methods: natural language description via prompts or information highlighting. Users can coordinate with SemanticOn to refine the conditions as the program continuously executes or reclaim manual control to repair errors. In a user study, participants completed a series of conditional web automation tasks. They reported that SemanticOn helped them effectively express and refine their semantic intent by utilizing visual and textual conditions.
登录
查看更多内容
DOI：
10.1145/3453483.3454047
发表时间：
2021-04
期刊：
Proceedings of the 42nd ACM SIGPLAN International Conference on Programming Language Design and Implementation
影响因子：
--
作者：
Qiaochu Chen;Aaron Lamoreaux;Xinyu Wang;Greg Durrett;O. Bastani;Işıl Dillig
通讯作者：
Qiaochu Chen;Aaron Lamoreaux;Xinyu Wang;Greg Durrett;O. Bastani;Işıl Dillig
追求：视觉领域中的可视化编程
DOI：
--
发表时间：
1994
期刊：
影响因子：
--
作者：
F. Modugno;B. Myers
通讯作者：
B. Myers
VASTA：视觉和语言辅助的智能手机任务自动化系统
DOI：
--
发表时间：
2019
期刊：
International Conference on Intelligent User Interfaces
影响因子：
--
作者：
A. R. Sereshkeh;Gary Leung;K. Perumal;Caleb Phillips;Minfan Zhang;A. Fazly;Iqbal Mohomed
通讯作者：
Iqbal Mohomed
可解释的程序综合
DOI：
10.1145/3411764.3445646
发表时间：
2021
期刊：
Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
Tianyi Zhang;Zhiyang Chen;Yuanli Zhu;Priyan Vaithilingam;Xinyu Wang;Elena L. Glassman
通讯作者：
Elena L. Glassman
完美是优秀的敌人：尽力而为的程序综合（神器）
DOI：
10.4230/darts.6.2.16
发表时间：
2020
期刊：
2016 IEEE 32nd International Conference on Data Engineering (ICDE)
影响因子：
--
作者：
Hila Peleg;N. Polikarpova
通讯作者：
N. Polikarpova