WebT-IDC: A Web Tool for Intelligent Dataset Creation A Use Case for Forums and Blogs
WebT-IDC: A Web Tool for Intelligent Dataset Creation A Use Case for Forums and Blogs
复制标题
WebT-IDC：用于智能数据集创建的 Web 工具 论坛和博客的用例
DOI：
10.1016/j.procs.2021.08.108
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Pappa Anna
中科院分区：
文献类型：
--
作者：
Boudabous Maroua;Pappa Anna
本文介绍了WebT-IDC，一个端到端的Web智能数据集创建工具，能够构建无噪声语料库的反馈不同的主题，在任何语言，从网络论坛和博客。该方法基于一种独立于DOM结构的分页元素模式提取模型。WebT-IDC是一个全面的工具，涵盖所有阶段，从用户的查询，抓取和抓取网页并提取相关数据，到构建文本语料库，没有样板和重复数据，适用于机器学习任务。输出是一个部分标记的数据集，准确地反映了市场的现实愿景，在基于Transformer的模型中进行了测试，以显示在ML任务中立即使用的相关性，在极性，语言和产品识别方面提供了高准确性。该系统的噪音过滤效率和计算时间，以及精度和召回方面进行评估。
This paper presents WebT-IDC, an end-to-end Web Tool for Intelligent Dataset Creation, able to construct noiseless corpora of feedback on different topics in any language, from web forums and blogs. The method is based on a unique extraction model of pagination element pattern, independent of DOM structure. WebT-IDC is a holistic tool covering all stages, from user’s query, crawling and scraping web pages and extracting relevant data, to building text corpora, free from boilerplate and repetitive data, useful in machine learning tasks. The output is a partially labeled dataset, accurate to reflecting a realistic vision of the market, tested in a Transformer based model in order to show the relevance for immediate use in ML task, offering high accuracy in polarity, language and product recognition. The system is evaluated in terms of noise filtering efficiency and computing time as well as precision and recall.
DOI：
10.1109/tkde.2019.2946162
发表时间：
2021-04-01
影响因子：
8.9
作者：
Roh, Yuji;Heo, Geon;Whang, Steven Euijong
通讯作者：
Whang, Steven Euijong