How to Ask What to Say?: Strategies for Evaluating Natural Language Interfaces for Data Visualization
How to Ask What to Say?: Strategies for Evaluating Natural Language Interfaces for Data Visualization
复制标题
如何问该说什么？：评估数据可视化自然语言界面的策略
DOI：
10.1109/mcg.2020.2986902
复制
发表时间：
2020
影响因子：
1.8
通讯作者：
Tory, Melanie
中科院分区：
文献类型：
--
作者：
Srinivasan, Arjun;Stasko, John;Keefe, Daniel F.;Tory, Melanie
我们讨论了评估自然语言接口（NLI）数据可视化的挑战和策略。通过检查以前的研究和反思自己的经验，在评估可视化NLI，我们强调的好处和考虑三个任务框架的策略：危险风格的事实，开放式任务，目标复制任务。我们希望本文中的讨论可以指导未来的可视化NLI研究人员，并帮助他们在评估这些系统时避免常见的挑战和陷阱。最后，为了激励未来的研究，我们强调了需要进一步研究的主题，包括开发新的评估指标，并考虑自然语言输入的类型（口语与打字）等。
We discuss challenges and strategies for evaluating natural language interfaces (NLIs) for data visualization. Through an examination of prior studies and reflecting on own experiences in evaluating visualization NLIs, we highlight benefits and considerations of three task framing strategies: Jeopardy-style facts, open-ended tasks, and target replication tasks. We hope the discussions in this article can guide future researchers working on visualization NLIs and help them avoid common challenges and pitfalls when evaluating these systems. Finally, to motivate future research, we highlight topics that call for further investigation including development of new evaluation metrics, and considering the type of natural language input (spoken versus typed), among others.
登录
查看更多内容
微软Power BI
DOI：
--
发表时间：
2017
期刊：
影响因子：
--
作者：
D. Vuljak
通讯作者：
D. Vuljak
清晰地跟我说话：在视觉分析中研究与用户语言相匹配的答案空间
DOI：
--
发表时间：
2019
期刊：
Conference on Designing Interactive Systems
影响因子：
--
作者：
Jan;Michael Rohs
通讯作者：
Michael Rohs
评论：“SPIRAL” SPIRAL 由美国佐治亚州亚特兰大佐治亚理工学院工业与系统工程系 Marc Goetschalckx 开发
DOI：
--
发表时间：
2000
期刊：
影响因子：
--
作者：
S. Heragu;Smart Khaewsukkho;S. Irani
通讯作者：
S. Irani
评估数据驱动的故事和讲故事的工具*
DOI：
--
发表时间：
2018
期刊：
影响因子：
--
作者：
Fereshteh Amini;M. Brehmer;G. Bolduan;Christine Elmer;B. Wiederkehr
通讯作者：
B. Wiederkehr
DOI：
10.1109/tvcg.2017.2745219
发表时间：
2018
影响因子：
5.2
作者：
Arjun Srinivasan;J. Stasko
通讯作者：
Arjun Srinivasan;J. Stasko