A comparison of evaluation metrics for biomedical journals, articles, and websites in terms of sensitivity to topic.
A comparison of evaluation metrics for biomedical journals, articles, and websites in terms of sensitivity to topic.
复制标题
DOI：
10.1016/j.jbi.2011.03.006
复制
发表时间：
2011-08
影响因子：
4.5
通讯作者：
Aliferis CF
中科院分区：
文献类型：
--
作者：
Fu LD;Aphinyanaphongs Y;Wang L;Aliferis CF
评估生物医学文献和健康相关网站的质量是具有挑战性的信息检索任务。目前常用的方法包括期刊的影响因子，PubMed的临床查询过滤器和基于机器学习的文章过滤模型，以及网站的PageRank。以前的工作集中在这些方法的平均性能上，而没有考虑主题，并且还不清楚特定主题或集中搜索的性能如何变化。临床医生、研究人员和用户应该意识到，当特定主题的预期性能未达到时。目前的工作分析了这些方法在各种主题下的行为。影响因子、临床查询过滤器和PageRank在不同的主题中变化很大，而特定于主题的影响因子和基于机器学习的过滤器模型更稳定。结果表明，一种方法在平均水平上可能表现得很好，但在一些较窄的主题上使用时会遇到困难。在这种情况下，主题调整度量和其他主题健壮性方法具有优势。传统话题敏感指标的用户应该意识到它们的局限性。
Evaluating the biomedical literature and health-related websites for quality are challenging information retrieval tasks. Current commonly used methods include impact factor for journals, PubMed’s clinical query filters and machine learning-based filter models for articles, and PageRank for websites. Previous work has focused on the average performance of these methods without considering the topic, and it is unknown how performance varies for specific topics or focused searches. Clinicians, researchers, and users should be aware when expected performance is not achieved for specific topics. The present work analyzes the behavior of these methods for a variety of topics. Impact factor, clinical query filters, and PageRank vary widely across different topics while a topic-specific impact factor and machine learning-based filter models are more stable. The results demonstrate that a method may perform excellently on average but struggle when used on a number of narrower topics. Topic adjusted metrics and other topic robust methods have an advantage in such situations. Users of traditional topic-sensitive metrics should be aware of their limitations.
登录
查看更多内容
DOI：
10.1197/jamia.m1641
发表时间：
2005-03-01
影响因子：
6.4
作者：
Aphinyanaphongs, Y;Tsamardinos, I;Aliferis, CF
通讯作者：
Aliferis, CF
影响因子：
4.8
作者：
Burges, CJC
通讯作者：
Burges, CJC
DOI：
10.1136/jamia.1994.95153434
发表时间：
1994-11-01
影响因子：
6.4
作者：
HAYNES, RB;WILCZYNSKI, N;SINCLAIR, JC
通讯作者：
SINCLAIR, JC
影响因子：
3
作者：
Uehara, M;Takahashi, K;Tanaka, C
通讯作者：
Tanaka, C
影响因子：
3.9
作者：
Glanzel, W;Moed, HF
通讯作者：
Moed, HF