App-Based Task Shortcuts for Virtual Assistants
App-Based Task Shortcuts for Virtual Assistants
复制标题
DOI：
10.1145/3472749.3474808
复制
发表时间：
2021-10
期刊：
影响因子：
--
通讯作者：
Deniz Arsan;Ali Zaidi;Aravind Sagar;Ranjitha Kumar
中科院分区：
文献类型：
--
作者：
Deniz Arsan;Ali Zaidi;Aravind Sagar;Ranjitha Kumar
当 Google Assistant 和 Siri 等虚拟助手无法直接执行任务时，它们通常会与外部应用程序交互。目前，开发人员必须使用 Android 上的应用程序操作或 iOS 上的快捷方式手动向虚拟助理公开其应用程序的功能。本文介绍了 savant，这是一个通过将用户任务映射到应用程序中相关 UI 屏幕来自动为虚拟助手生成任务快捷方式的系统。对于给定的自然语言任务（例如，“给 Joe 汇款”），savant 利用 UI 中包含的文本和语义信息来识别相关屏幕，并利用意图建模来解析实体（例如，“Joe”）并将其映射到所需的 UI 输入。因此，savant 允许虚拟助手与应用程序交互并处理新任务，而无需任何开发人员的努力。为了评估 savant，我们进行了一项用户研究，以确定用户使用虚拟助手执行的常见任务。然后，我们演示 savant 可以找到这些任务的相关应用程序屏幕并自动完成 UI 输入。
Virtual assistants like Google Assistant and Siri often interface with external apps when they cannot directly perform a task. Currently, developers must manually expose the capabilities of their apps to virtual assistants, using App Actions on Android or Shortcuts on iOS. This paper presents savant, a system that automatically generates task shortcuts for virtual assistants by mapping user tasks to relevant UI screens in apps. For a given natural language task (e.g., “send money to Joe”), savant leverages text and semantic information contained within UIs to identify relevant screens, and intent modeling to parse and map entities (e.g., “Joe”) to required UI inputs. Therefore, savant allows virtual assistants to interface with apps and handle new tasks without requiring any developer effort. To evaluate savant, we performed a user study to identify common tasks users perform with virtual assistants. We then demonstrate that savant can find relevant app screens for those tasks and autocomplete the UI inputs.