The web retrieval task and its evaluation in the third NTCIR workshop
The web retrieval task and its evaluation in the third NTCIR workshop
复制标题
第三届 NTCIR 研讨会上的网络检索任务及其评估
DOI：
10.1145/564376.564451
复制
发表时间：
2002
期刊：
影响因子：
--
通讯作者：
N. Kando
中科院分区：
文献类型：
--
作者：
K. Eguchi;K. Oyama;E. Ishida;K. Kuriyama;N. Kando
本文概述了目前正在进行的第三届 NTCIR 研讨会中网络检索任务所使用的评估方法。在Web检索任务中，我们尝试使用通用数据集评估每个Web搜索引擎系统的检索有效性，并尝试构建适合评估Web搜索引擎系统的可重用测试集合。为了实现这些目标，我们构建了 100 GB 和 10 GB 的文档集，主要从“.jp”域收集。对检索到的日文或英文文档进行相关性判断。
This paper gives an overview of the evaluation method used for the Web Retrieval Task in the Third NTCIR Workshop, which is currently in progress. In the Web Retrieval Task, we try to assess the retrieval effectiveness of each Web search engine system using a common data set, and attempt to build a re-usable test collection suitable for evaluating Web search engine systems. With these objectives, we have built 100-gigabyte and 10-gigabyte document sets, mainly gathered from the '.jp' domain. Relevance judgment is performed on the retrieved documents, which are written in Japanese or English.